Star-Rating-Prediction
Sternebewertungen aus Kundenrezensionen vorhersagen.
- Rezensionen
- ≈ 14.000
- Modelle verglichen
- 17
- Weighted F1 (Stacking)
- 0,725
Produkttour im Video
Überblick
Aus dem Text einer Rezension die vergebenen Sterne vorhersagen: Grundlage sind rund 14.000 englischsprachige Trustpilot-Rezensionen zum Online-Händler Temu, gesammelt mit einem eigenen Python-Scraper. Im Dreierteam haben wir eine technische Spezifikation geschrieben und die Aufgabe von Regression auf Mehrklassen-Klassifikation umgestellt; genutzt wird nur der Text, keine Nutzer- oder Bestelldaten. Eine Streamlit-Oberfläche zeigt für jeden eingegebenen Text Stimmung, erste und verfeinerte Bewertung, führt ein exportierbares Protokoll und erlaubt die Wahl zwischen klassischem und Deep-Learning-Modell.
Daten und Methode
Die Daten sind stark unausgewogen: rund 52 % 1★, 29 % 5★, kaum Bewertungen dazwischen. Deshalb messen wir mit Weighted F1 statt nur Accuracy. Merkmale: TF-IDF (5.000 Begriffe) plus elf einfache Textmerkmale wie Länge, Satzzeichen und Großschreibung.
Verglichen wurden elf klassische Modelle mit scikit-learn – von Decision Tree bis XGBoost, Voting und Stacking – und sechs Keras-Modelle: Deep MLP, CNN, LSTM, CNN-LSTM, BiLSTM mit Attention und ein Transformer.
Ergebnis
Bestes klassisches Modell ist Stacking (Weighted F1 0,725, Accuracy 0,733); bei den neuronalen Modellen liegt das Deep MLP mit TF-IDF vorn (AUC ≈ 0,88). Der Transformer fällt bei dieser Datenmenge deutlich ab – mehr Komplexität ist nicht automatisch besser.
Die Mittelklassen bleiben schwer (Macro F1 0,45). Eine optionale 20-%-Korrektur für 3★ verringert die Neigung zur Mitte; eine farbcodierte 100er-Stichprobe zeigt offen, wo das Modell danebenliegt. Zusammen machen die Ansichten wiederkehrende Probleme der Lieferkette sichtbar, etwa späte Lieferungen oder Erstattungen.
Die wichtigste Erkenntnis: Deep Learning braucht mehr Rechenzeit und mehr Daten; klassische Modelle trainieren und antworten günstiger und schneller und funktionieren auf kleineren, gut aufbereiteten Daten gut. Die Wahl ist ein Abwägen von Genauigkeit, Erklärbarkeit und Betriebskosten. (AliExpress und Wish hatten wir anfangs ebenfalls untersucht, wegen begrenzter Rechenleistung dann auf Temu fokussiert.)