Zum Inhalt springen
Frank David Lee EN

Alle Projekte

Abgeschlossen

Star-Rating-Prediction

Sternebewertungen aus Kundenrezensionen vorhersagen.

Zeitraum
Juni – Sep. 2025
Rolle
Abschlussprojekt zum Zertifikat Data Scientist, im Dreierteam
Status
Abgeschlossen
Technik
  • Python
  • scikit-learn
  • TensorFlow/Keras
  • NLP
  • TF-IDF
  • Streamlit
Live-Vorhersage: Stimmung, erste und verfeinerte Sternebewertung für einen eingegebenen Text.
Rezensionen
≈ 14.000
Modelle verglichen
17
Weighted F1 (Stacking)
0,725

Produkttour im Video

Ohne Ton, mit Untertiteln. Alle Daten im Video sind erfunden.

Überblick

Aus dem Text einer Rezension die vergebenen Sterne vorhersagen: Grundlage sind rund 14.000 englischsprachige Trustpilot-Rezensionen zum Online-Händler Temu, gesammelt mit einem eigenen Python-Scraper. Im Dreierteam haben wir eine technische Spezifikation geschrieben und die Aufgabe von Regression auf Mehrklassen-Klassifikation umgestellt; genutzt wird nur der Text, keine Nutzer- oder Bestelldaten. Eine Streamlit-Oberfläche zeigt für jeden eingegebenen Text Stimmung, erste und verfeinerte Bewertung, führt ein exportierbares Protokoll und erlaubt die Wahl zwischen klassischem und Deep-Learning-Modell.

Daten und Methode

Die Daten sind stark unausgewogen: rund 52 % 1★, 29 % 5★, kaum Bewertungen dazwischen. Deshalb messen wir mit Weighted F1 statt nur Accuracy. Merkmale: TF-IDF (5.000 Begriffe) plus elf einfache Textmerkmale wie Länge, Satzzeichen und Großschreibung.

Verglichen wurden elf klassische Modelle mit scikit-learn – von Decision Tree bis XGBoost, Voting und Stacking – und sechs Keras-Modelle: Deep MLP, CNN, LSTM, CNN-LSTM, BiLSTM mit Attention und ein Transformer.

Ergebnis

Bestes klassisches Modell ist Stacking (Weighted F1 0,725, Accuracy 0,733); bei den neuronalen Modellen liegt das Deep MLP mit TF-IDF vorn (AUC ≈ 0,88). Der Transformer fällt bei dieser Datenmenge deutlich ab – mehr Komplexität ist nicht automatisch besser.

Die Mittelklassen bleiben schwer (Macro F1 0,45). Eine optionale 20-%-Korrektur für 3★ verringert die Neigung zur Mitte; eine farbcodierte 100er-Stichprobe zeigt offen, wo das Modell danebenliegt. Zusammen machen die Ansichten wiederkehrende Probleme der Lieferkette sichtbar, etwa späte Lieferungen oder Erstattungen.

Die wichtigste Erkenntnis: Deep Learning braucht mehr Rechenzeit und mehr Daten; klassische Modelle trainieren und antworten günstiger und schneller und funktionieren auf kleineren, gut aufbereiteten Daten gut. Die Wahl ist ein Abwägen von Genauigkeit, Erklärbarkeit und Betriebskosten. (AliExpress und Wish hatten wir anfangs ebenfalls untersucht, wegen begrenzter Rechenleistung dann auf Temu fokussiert.)

Bildschirmfotos

Aus 3★ werden nach der wahrscheinlichkeitsbasierten Anpassung 5★ – Balken: Wahrscheinlichkeit je Stern, Torte: Stimmung.
Elf klassische Modelle im Vergleich: Stacking gewinnt mit Weighted F1 0,725 und Accuracy 0,733.
Sechs Keras-Modelle: Das Deep MLP mit TF-IDF erreicht die höchste AUC (≈ 0,88), der Transformer fällt bei dieser Datenmenge ab.
Stichprobe von 100 Rezensionen: dunkelgrün exakt, hellgrün durch die Anpassung korrigiert, gelb ±1 Stern, rot ≥ 2 Sterne daneben.
Unausgewogene Daten: rund 52 % 1★ und 29 % 5★, kaum 2–4★ – deshalb Weighted F1 und die 3★-Korrektur.