Was es wirklich kostet, LLMs in Produktion zu betreiben

Wenn Teams ein AI-Feature budgetieren, bepreisen sie das Modell. Tokens rein, Tokens raus, eine Zahl pro Tausend, und die Tabelle sieht beruhigend aus. Dann geht die Sache live, und die echten Kosten kommen ans Licht: die, die nie auf dem Token-Rechner standen. Ein Sprachmodell in Produktion zu betreiben ist nicht dasselbe wie eines in einem Prototyp aufzurufen, und die Lücke zwischen beidem ist dort, wo Budgets zerbrechen. Es lohnt sich zu wissen, was tatsächlich in dieser Lücke steckt, bevor Sie sich auf die Roadmap festlegen.

Die sichtbaren Kosten sind die kleinen

Preise pro Token sind wirklich der einfache Teil, über den man nachdenken muss, und für viele Produkte sind sie nicht einmal der größte Posten. Sie sind sichtbar, skalieren vorhersehbar und werden mit der Zeit günstiger. Wenn die API-Rechnung die ganze Geschichte wäre, wäre der Betrieb der meisten AI-Features trivial. Sie ist nicht die ganze Geschichte, und sie so zu behandeln, ist der Grund, warum so viele Piloten billig aussehen und so viele Produktionssysteme nicht.

Die Kosten, die sich tatsächlich summieren

Das Gewicht liegt in allem rund um das Modell. Retrieval-Infrastruktur, um es mit Ihren Daten zu füttern, und die Arbeit, diese Daten frisch und indiziert zu halten. Evaluierung und Monitoring, denn ein Modell, das still und leise nachlässt, ist schlimmer als eines, das laut versagt, und Sie wissen nur, welches von beiden Sie haben, wenn Sie hinschauen. Leitplanken und das zweite Modell, das das erste prüft. Menschliche Überprüfung der Fälle, bei denen sich das System unsicher ist, was ein Personalkostenposten ist, kein Softwareposten. Prompt- und Versionspflege, während sich Modelle unter Ihnen ändern. Latenz-Engineering, wenn „richtig in zehn Sekunden" nicht gut genug ist. Nichts davon zeigt sich in einem Prototyp, und alles davon zeigt sich in Produktion. Das ist die unspektakuläre Realität hinter MLOps.

Die Kosten, die alle anderen in den Schatten stellen

Es gibt einen Kostenposten, der alle anderen zusammen übersteigen kann: eine falsche Ausgabe, die einen Kunden oder eine Entscheidung erreicht. Eine halluzinierte Zahl in einem Bericht, eine schlechte Antwort an einen Kunden, eine automatisierte Handlung auf falscher Grundlage. Der Preis dafür wird nicht in Tokens oder Rechenleistung gemessen; er wird in Vertrauen, Nacharbeit und manchmal Haftung gemessen. Ein System, das darauf ausgelegt ist, pro Aufruf billig zu sein, aber nachlässig damit, falsch zu liegen, ist nicht billig, es hat seine größten Kosten nur von der Tabellenkalkulation ins Unternehmen verschoben.

Warum Prototypen bei den Kosten lügen

Ein Prototyp läuft mit sauberen Eingaben, wird von der Person beurteilt, die ihn gebaut hat, und muss nie einen schlechten Tag überstehen. Produktion läuft mit allem, was ankommt, wird von Kunden beurteilt und muss die Eingaben verarbeiten, die niemand vorhergesehen hat. Das ist derselbe Grund, warum die meisten AI-Piloten es nicht in die Produktion schaffen: Die billige, saubere Version war nie die schwierige Version. Vom Prototyp aus zu budgetieren heißt, für ein System zu budgetieren, das Sie nicht betreiben werden.

Wie budgetieren Sie das, bevor Sie bauen?

Eine funktionierende Methode ist, in drei Schichten zu budgetieren statt in einer einzigen Zeile. Die erste Schicht ist das Modell selbst: Tokens, oder Rechenleistung, falls Sie selbst hosten, geschätzt anhand realistischer Volumina statt Demo-Volumina. Die zweite Schicht ist die Maschinerie darum herum: Retrieval und seine Datenpipeline, Evaluierungsläufe, Monitoring, Leitplanken und die Engineering-Zeit, um Prompts zu pflegen und anzupassen, wenn sich eine Modellversion unter Ihnen ändert. Die dritte Schicht sind Menschen: Wer die Fälle mit geringer Konfidenz prüft, wie viele pro Tag bei Ihrem Volumen, und was das an Personalzeit kostet. Wenn Sie die dritte Schicht nicht ausfüllen können, sagt Ihnen das Budget, dass das Design nicht fertig ist, denn jedes LLM-Produktionssystem hat einen Ausnahmepfad, und jemand muss ihn besetzen.

Ein anschauliches Beispiel zeigt, warum die Schichten wichtig sind. Ein Team plant ein Feature zur Dokumentenzusammenfassung und bepreist es anhand des Token-Rechners mit ein paar Cent pro Dokument. Bei Produktionsvolumen kosten der Retrieval-Index, der die Zusammenfassungen verankert hält, die wöchentlichen Evaluierungsläufe, die Drift erfassen, und die Analystenstunde pro Tag, die mit der Prüfung gekennzeichneter Ausgaben verbracht wird, jeweils mehr als die API-Rechnung. Keiner dieser Posten ist ein Fehlschlag. Sie sind das, was „funktionierend" kostet, und die Teams, die sie in der Budgetphase sehen, liefern Features aus, die überleben, während die Teams, die sie erst nach dem Start entdecken, das Feature eher still einmotten.

Wie gute Budgetierung aussieht

Bepreisen Sie das Ergebnis, nicht den Aufruf. Die Zahl, auf die es ankommt, sind die Kosten pro korrektem, vertrauenswürdigem Ergebnis, und sie umfassen Retrieval, Evaluierung, Leitplanken, menschliche Prüfung und die Pflege, die das Ganze ehrlich hält. Ein Team, das so budgetiert, liefert AI aus, die den Kontakt mit der Realität übersteht. Ein Team, das für Tokens budgetiert, liefert eine Demo aus und erbt eine Überraschung. Wenn Sie ein AI-Feature planen und ein realistisches Bild davon wollen, was der Betrieb statt der Demo kostet, teilen Sie uns mit, was Sie bauen, und sehen Sie, wie wir das unter Kundenspezifische Software angehen.