MLOps ohne Schlagwort: Was es tatsächlich braucht, um ein AI-System am Laufen zu halten

MLOps ist die Disziplin, die dafür sorgt, dass ein maschinelles Lernsystem nach seiner Einführung weiterhin nützlich bleibt. Im Klartext umfasst es vier Aufgaben: Überwachung (Überwachen, ob das Modell in der realen Welt noch funktioniert), Neuschulung (Aktualisierung, wenn sich die Daten verschieben), Versionierung (genaues Wissen, welches Modell und welche Daten welches Ergebnis erzeugt haben) und die Bereitstellungsplanung, die eine neue Version sicher versendet. Ein Modell ist an dem Tag, an dem es in Betrieb geht, noch kein fertiges Produkt. Es handelt sich um eine vergängliche Komponente innerhalb eines Systems, die versorgt, überwacht und korrigiert werden muss. MLOps ist der Name für diese fortlaufende Arbeit. Ignoriert man es, gerät das Modell stillschweigend von der Realität ab, die Genauigkeit sinkt, und eines Morgens sind die Vorhersagen in einer Weise falsch, nach der niemand sucht. Der Start ist der Beginn der Arbeit, nicht ihr Ende.

Was bedeutet MLOps eigentlich in der Produktion?

MLOps ist das, was DevOps für gewöhnliche Software ist, angepasst an die Tatsache, dass ein Modell auf Daten und nicht nur auf Code basiert. Eine normale Anwendung verhält sich heute genauso wie am Tag der Auslieferung, bis jemand den Code ändert. Ein Modell nicht. Die Welt, aus der es gelernt hat, bleibt in Bewegung, sodass seine Genauigkeit abnehmen kann, während jede Codezeile unberührt bleibt.

Dieser Unterschied ist der springende Punkt. Mit der Software, die Sie fragen, läuft sie noch? Bei einem Modell muss man auch fragen, ob es noch hält. MLOps ist eine Reihe von Vorgehensweisen und Werkzeugen, mit denen Sie die zweite Frage jeden Tag beantworten können, und nicht nur einmal im Quartal, wenn sich ein Kunde beschwert.

Was ist die Arbeit nach der Markteinführung eines Modells?

Die Arbeit am zweiten Tag unterteilt sich in vier wiederkehrende Jobs. Keiner von ihnen ist glamourös, und sie alle unterscheiden ein System, das seinen Lebensunterhalt verdient, von einem, das verrottet.

1. Überwachung. Verfolgen Sie die Eingaben und Ausgaben des Modells in der Produktion. Achten Sie auf Datenabweichungen (die Live-Daten beginnen, anders auszusehen als die Trainingsdaten) und darauf, dass die Genauigkeit im Vergleich zu realen Ergebnissen abnimmt, sobald diese bekannt sind. Die gewünschte Warnung ist diejenige, die ausgelöst wird, bevor der Kunde es bemerkt, und nicht erst danach.
2. Neutraining. Wenn die Leistung nachlässt oder sich die Daten deutlich verschoben haben, aktualisieren Sie das Modell mit neueren Daten und versenden Sie das Update. Entscheiden Sie im Voraus, ob dies dadurch ausgelöst wird, dass eine Metrik eine Linie überschreitet, oder ob es nach einem Zeitplan abläuft, und machen Sie es zu einer Routine und nicht zu einer Notfallübung.
3. Versionierung. Zeichnen Sie auf, welche Version des Codes, der Daten und des trainierten Modells zu einem bestimmten Ergebnis geführt hat. Wenn eine Ausgabe in Frage gestellt wird, müssen Sie genau rekonstruieren, was ausgeführt wurde. Ohne dies beginnt jede Untersuchung mit Vermutungen.
4. Validierung und Rollout. Testen Sie ein neues Modell im Vergleich zum aktuellen Modell, bevor es mit echtem Datenverkehr in Berührung kommt, geben Sie es schrittweise frei und behalten Sie einen schnellen Pfad zurück zur vorherigen Version bei, wenn die Leistung unzureichend ist.

Dies ist dieselbe technische Disziplin, die einen Piloten in ein System verwandelt, das den Kontakt mit echten Benutzern übersteht. Die Demo beweist, dass das Modell einmal funktionieren kann. Diese Arbeit beweist, dass es weiterhin funktioniert.

Warum verrotten AI-Systeme ohne MLOps?

Denn die zugrunde liegenden Daten ändern sich ständig und ein nicht überwachtes Modell hat keine Möglichkeit, Ihnen mitzuteilen, dass es in Verzug geraten ist. Ein auf die Muster des letzten Jahres trainiertes Betrugsmodell verfehlt langsam die Muster dieses Jahres. Ein auf die Rechnungen eines Lieferanten abgestimmter Dokumentenextraktor beginnt mit dem Löschen von Feldern, wenn das Format eines neuen Lieferanten eintrifft. Der Code ist in Ordnung. Das Modell ist einfach der Realität entzogen, für die es gebaut wurde.

Die Gefahr besteht darin, dass dieses Scheitern verheimlicht wird. Ein abgestürzter Server ruft um 3 Uhr morgens jemanden an. Ein driftendes Modell liefert Tag für Tag nur etwas schlechtere Antworten und gibt sie weiterhin zuversichtlich zurück. Niemand wird angerufen. Wenn jemand eine seltsame Zahl entdeckt, ist das System möglicherweise schon seit Monaten stillschweigend falsch. Das meinen die Leute, wenn sie sagen, ein AI-System sei verrottet: Nicht, dass es kaputt gegangen wäre, sondern dass niemand zugesehen hätte, wie es verfiel.

Aus diesem Grund behandeln dauerhafte Systeme, wie sie für Dokument AI in einem Unternehmen erforderlich sind, Überwachung und Neuschulung als Teil des Builds und nicht als etwas, das hinzugefügt werden muss, wenn noch Budget übrig ist.

Wie viel MLOps braucht ein Projekt wirklich?

Weniger, als die Anbieterlandschaft vermuten lässt, und mehr, als die meisten Piloten veranschlagen. Die richtige Menge richtet sich nach den Einsätzen, nicht nach der Größe des Werkzeugkatalogs.

Systemtyp	Welche Überwachung braucht	Umschulungsrhythmus
Niedrige Einsätze, stabile Eingaben	Grundlegende Ausgabeprotokollierung und eine einfache Genauigkeitsprüfung	Selten, nur wenn ein Problem auftritt
Geschäftskritische, sich verändernde Inputs	Drift- und Genauigkeitswarnungen mit einem benannten Eigentümer	Auf einen definierten Auslöser oder einen regelmäßigen Zeitplan
Konsequente Entscheidungen über Menschen	Vollständige Protokollierung, menschliche Überprüfung von Randfällen, Audit-Trail	Geplant, wobei jede Version aufgezeichnet wird

Zwei Prinzipien sorgen dafür, dass dies ehrlich bleibt. Erstens bauen Sie die Überwachung auf, bevor Sie sie benötigen, solange das System klein ist, denn die Nachrüstung der Sichtbarkeit in ein Live-System ist weitaus schwieriger als der Entwurf. Zweitens: Geben Sie dem laufenden System einen benannten Besitzer. Operative Arbeit ohne Eigentümer findet nicht statt, und ein Modell, bei dem niemand zusieht, ist ein Modell auf dem Weg zum Verfall.

Der praktische Imbiss

Wenn Sie ein AI-System in Betrieb nehmen, fragen Sie, wer im sechsten Monat dafür verantwortlich ist und wie er erkennt, ob es nicht mehr funktioniert. Wenn die Antwort ein Veröffentlichungstermin und danach Stille ist, kaufen Sie eine Demoversion mit einer längeren Laufzeit. Wenn die Antwort eine Person, eine Reihe von Kennzahlen, die sie beobachtet, und einen Plan zur Aktualisierung des Modells nennt, kaufen Sie etwas, das darauf ausgelegt ist, nützlich zu bleiben. MLOps ist einfach die unrühmliche Angewohnheit, ein Versprechen zu halten, nachdem die Launch-Party zu Ende ist. Encelyte erstellt Dokument AI- und AI-Systeme, wobei die Arbeit am zweiten Tag von Anfang an geplant ist.