Movie Recommender
End-to-End-MLOps-Pipeline für Filmempfehlungen.
- Bewertungen (MovieLens 20M)
- 20 Mio.
- RMSE auf der Teststichprobe (MAE ≈ 0,68)
- 0,90
- Training je Lauf
- ≈ 30 s
Produkttour im Video
Überblick
In sieben Wochen der MLOps-Weiterbildung mit Liora haben wir zu dritt ein Empfehlungssystem wie in der Produktion gebaut – von den Rohdaten bis zur Auslieferung – und es in eine Streamlit-App mit Präsentations- und Demo-Modus verpackt. Grundlage ist MovieLens 20M (20 Mio. Bewertungen, 138.493 Nutzer), entwickelt auf einer Stichprobe. Das Modell ist kollaboratives Filtern mit TruncatedSVD; neue Nutzer mit weniger als fünf Bewertungen bekommen die beliebtesten Filme, unbekannte Filme den globalen Mittelwert.
Architektur
- Daten: CSV laden, in Pakete teilen, in MySQL anhängen – jedes Neutraining bringt rund 70.000 neue Bewertungen.
- Training: Der Airflow-DAG retrain_on_new_batch (täglich) wählt ein Paket, lädt es ein, trainiert über die FastAPI – Airflow führt das Training nicht selbst aus –, vergleicht RMSE und MAE mit dem Produktionsmodell, befördert das bessere und archiviert.
- Registry: MLflow speichert Läufe, Metriken und Versionen; das aktuelle Modell trägt den Alias @production.
- Auslieferung: Die FastAPI (mit Basic Auth) lädt das Produktionsmodell; die Streamlit-App zeigt Empfehlungen, Einzelvorhersagen, Filminfos, beliebte Filme und den Systemstatus.
- Betrieb: Docker Compose mit fünf Diensten – API, Streamlit, MLflow, Airflow, MySQL – und Healthcheck für die API.
Mein Beitrag
- Streamlit-App entworfen: Präsentationsmodus und Live-Demo.
- FastAPI-Endpunkte mit Basic Auth und Laden des Modells aus MLflow umgesetzt.
- Einlesen von CSV nach MySQL in Paketen mit idempotenten Upserts gebaut.
- Metriken und Artefakte in MLflow protokolliert und den Airflow-Ablauf Neutraining → Beförderung verdrahtet.
- Training, Bewertung und Cold-Start-Strategie mitgestaltet.
Ergebnis und Ausblick
Auf der Teststichprobe: RMSE ≈ 0,90 und MAE ≈ 0,68, etwa 30 Sekunden Training je Lauf auf rund 12.000 Bewertungen und schnelle Vorhersagen. Das entspricht MLOps-Reifegrad 1: ein automatisierter Lebenszyklus.
Nächster Schritt wäre Reifegrad 2 mit CI/CD über GitHub Actions, Monitoring mit Prometheus und Grafana und Drift-Erkennung mit Evidently; die Vision sind nachvollziehbare Modellherkunft, Prüfung auf Verzerrungen und ein Feature Store.