Zum Inhalt springen
Frank David Lee EN

Alle Projekte

Abgeschlossen

Movie Recommender

End-to-End-MLOps-Pipeline für Filmempfehlungen.

Zeitraum
Sep. – Okt. 2025
Rolle
Abschlussprojekt zum Zertifikat MLOps, im Dreierteam
Status
Abgeschlossen
Technik
  • Python
  • scikit-learn (TruncatedSVD)
  • FastAPI
  • Streamlit
  • MLflow
  • Airflow
  • MySQL
  • Docker Compose
Persönliche Empfehlungen: Nutzer-ID eingeben, die FastAPI liefert die Top-Filme mit vorhergesagter Bewertung.
Bewertungen (MovieLens 20M)
20 Mio.
RMSE auf der Teststichprobe (MAE ≈ 0,68)
0,90
Training je Lauf
≈ 30 s

Produkttour im Video

Ohne Ton, mit Untertiteln. Alle Daten im Video sind erfunden.

Überblick

In sieben Wochen der MLOps-Weiterbildung mit Liora haben wir zu dritt ein Empfehlungssystem wie in der Produktion gebaut – von den Rohdaten bis zur Auslieferung – und es in eine Streamlit-App mit Präsentations- und Demo-Modus verpackt. Grundlage ist MovieLens 20M (20 Mio. Bewertungen, 138.493 Nutzer), entwickelt auf einer Stichprobe. Das Modell ist kollaboratives Filtern mit TruncatedSVD; neue Nutzer mit weniger als fünf Bewertungen bekommen die beliebtesten Filme, unbekannte Filme den globalen Mittelwert.

Architektur

  • Daten: CSV laden, in Pakete teilen, in MySQL anhängen – jedes Neutraining bringt rund 70.000 neue Bewertungen.
  • Training: Der Airflow-DAG retrain_on_new_batch (täglich) wählt ein Paket, lädt es ein, trainiert über die FastAPI – Airflow führt das Training nicht selbst aus –, vergleicht RMSE und MAE mit dem Produktionsmodell, befördert das bessere und archiviert.
  • Registry: MLflow speichert Läufe, Metriken und Versionen; das aktuelle Modell trägt den Alias @production.
  • Auslieferung: Die FastAPI (mit Basic Auth) lädt das Produktionsmodell; die Streamlit-App zeigt Empfehlungen, Einzelvorhersagen, Filminfos, beliebte Filme und den Systemstatus.
  • Betrieb: Docker Compose mit fünf Diensten – API, Streamlit, MLflow, Airflow, MySQL – und Healthcheck für die API.

Mein Beitrag

  • Streamlit-App entworfen: Präsentationsmodus und Live-Demo.
  • FastAPI-Endpunkte mit Basic Auth und Laden des Modells aus MLflow umgesetzt.
  • Einlesen von CSV nach MySQL in Paketen mit idempotenten Upserts gebaut.
  • Metriken und Artefakte in MLflow protokolliert und den Airflow-Ablauf Neutraining → Beförderung verdrahtet.
  • Training, Bewertung und Cold-Start-Strategie mitgestaltet.

Ergebnis und Ausblick

Auf der Teststichprobe: RMSE ≈ 0,90 und MAE ≈ 0,68, etwa 30 Sekunden Training je Lauf auf rund 12.000 Bewertungen und schnelle Vorhersagen. Das entspricht MLOps-Reifegrad 1: ein automatisierter Lebenszyklus.

Nächster Schritt wäre Reifegrad 2 mit CI/CD über GitHub Actions, Monitoring mit Prometheus und Grafana und Drift-Erkennung mit Evidently; die Vision sind nachvollziehbare Modellherkunft, Prüfung auf Verzerrungen und ein Feature Store.

Bildschirmfotos

Trainings-Pipeline: Airflow steuert ETL, Training, Bewertung und Freigabe; die FastAPI trainiert, MLflow speichert Läufe und Versionen.
Inferenz-Pipeline: Die Demo-App fragt /predict, das Modell kommt mit dem Alias @production aus der MLflow-Registry.
Systemstatus: MLflow und Airflow auf einen Blick, der Healthcheck bestätigt das geladene Produktionsmodell mit 0,01 s Antwortzeit.
Daten und Cold Start: Stichprobe aus MovieLens 20M mit 99,98 % dünn besetzter Matrix – 97,6 % der Nutzer haben weniger als fünf Bewertungen.
Problem und Lösung: kollaboratives Filtern mit SVD, Rückfallebenen, tägliches Neutraining und Container.