Τι κοστίζει πραγματικά η λειτουργία LLM σε παραγωγή

Όταν οι ομάδες προϋπολογίζουν για ένα χαρακτηριστικό AI, τιμολογούν το μοντέλο. Tokens εισόδου, tokens εξόδου, ένας αριθμός ανά χιλιάδα, και το υπολογιστικό φύλλο φαίνεται καθησυχαστικό. Μετά το πράγμα αποστέλλεται, και έρχονται τα πραγματικά κόστη: αυτά που ποτέ δεν ήταν στην αριθμομηχανή tokens. Το να τρέχετε ένα γλωσσικό μοντέλο σε παραγωγή δεν είναι το ίδιο με το να καλείτε ένα σε ένα πρωτότυπο, και το χάσμα ανάμεσα στα δύο είναι εκεί που σπάνε οι προϋπολογισμοί. Αξίζει να ξέρετε τι πραγματικά κάθεται σε αυτό το χάσμα προτού δεσμευτείτε στον χάρτη πορείας.

Το ορατό κόστος είναι το μικρό

Η τιμολόγηση ανά token είναι γνήσια το εύκολο κομμάτι για συλλογισμό, και για πολλά προϊόντα δεν είναι καν η μεγαλύτερη γραμμή. Είναι ορατή, κλιμακώνεται προβλέψιμα, και γίνεται φθηνότερη με τον καιρό. Αν ο λογαριασμός του API ήταν όλη η ιστορία, τα περισσότερα χαρακτηριστικά AI θα ήταν ασήμαντα να τρέξουν. Δεν είναι όλη η ιστορία, και το να το αντιμετωπίζετε ως τέτοιο είναι γιατί τόσα πολλά πιλοτικά έργα φαίνονται φθηνά και τόσα πολλά συστήματα παραγωγής δεν είναι.

Τα κόστη που πραγματικά προστίθενται

Το βάρος είναι σε όλα όσα βρίσκονται γύρω από το μοντέλο. Υποδομή ανάκτησης για να το τροφοδοτήσετε με τα δεδομένα σας, και η δουλειά να κρατάτε αυτά τα δεδομένα φρέσκα και ευρετηριασμένα. Αξιολόγηση και παρακολούθηση, γιατί ένα μοντέλο που υποβαθμίζεται σιωπηλά είναι χειρότερο από ένα που αποτυγχάνει δυνατά, και ξέρετε ποιο από τα δύο έχετε μόνο αν παρακολουθείτε. Δικλείδες ασφαλείας και το δεύτερο μοντέλο που ελέγχει το πρώτο. Ανθρώπινη αναθεώρηση των περιπτώσεων για τις οποίες το σύστημα δεν είναι σίγουρο, που είναι κόστος στελέχωσης, όχι λογισμικού. Συντήρηση prompt και έκδοσης καθώς τα μοντέλα αλλάζουν κάτω από εσάς. Μηχανική καθυστέρησης όταν το «σωστό σε δέκα δευτερόλεπτα» δεν είναι αρκετά καλό. Τίποτα από αυτά δεν εμφανίζεται σε ένα πρωτότυπο, και όλα εμφανίζονται σε παραγωγή. Αυτή είναι η λιγότερο εντυπωσιακή πραγματικότητα πίσω από το MLOps.

Το κόστος που ξεπερνά τα υπόλοιπα

Υπάρχει ένα κόστος που μπορεί να ξεπεράσει όλα τα υπόλοιπα μαζί: ένα λάθος αποτέλεσμα που φτάνει σε έναν πελάτη ή μια απόφαση. Ένα παραισθητικό νούμερο σε μια αναφορά, μια κακή απάντηση σε έναν πελάτη, μια αυτοματοποιημένη ενέργεια που πάρθηκε πάνω σε ψευδή προϋπόθεση. Η τιμή αυτού δεν μετριέται σε tokens ή υπολογιστική ισχύ· μετριέται σε εμπιστοσύνη, επανάληψη εργασίας, και μερικές φορές ευθύνη. Ένα σύστημα σχεδιασμένο να είναι φθηνό ανά κλήση αλλά απρόσεκτο για το να κάνει λάθος δεν είναι φθηνό, απλώς έχει μετακινήσει το μεγαλύτερο κόστος του από το υπολογιστικό φύλλο στην επιχείρηση.

Γιατί τα πρωτότυπα λένε ψέματα για το κόστος

Ένα πρωτότυπο τρέχει σε καθαρές εισόδους, κρίνεται από το άτομο που το έχτισε, και ποτέ δεν χρειάζεται να επιβιώσει σε μια κακή μέρα. Η παραγωγή τρέχει σε ό,τι φτάνει, κρίνεται από πελάτες, και πρέπει να χειριστεί τις εισόδους που κανείς δεν προέβλεψε. Αυτός είναι ο ίδιος λόγος που τα περισσότερα πιλοτικά έργα AI αποτυγχάνουν να φτάσουν στην παραγωγή: η φθηνή, καθαρή έκδοση δεν ήταν ποτέ η δύσκολη έκδοση. Ο προϋπολογισμός από το πρωτότυπο είναι προϋπολογισμός για ένα σύστημα που δεν θα τρέξετε.

Πώς προϋπολογίζετε για αυτό προτού χτίσετε;

Μια λειτουργική μέθοδος είναι να προϋπολογίσετε σε τρία επίπεδα αντί για μία γραμμή. Το πρώτο επίπεδο είναι το ίδιο το μοντέλο: tokens, ή υπολογιστική ισχύς αν αυτοφιλοξενείτε, εκτιμημένα από ρεαλιστικούς όγκους αντί για όγκους επίδειξης. Το δεύτερο επίπεδο είναι το μηχάνημα γύρω του: η ανάκτηση και ο αγωγός δεδομένων της, οι εκτελέσεις αξιολόγησης, η παρακολούθηση, οι δικλείδες ασφαλείας, και ο χρόνος μηχανικής για τη συντήρηση prompts και την προσαρμογή όταν αλλάζει μια έκδοση μοντέλου από κάτω σας. Το τρίτο επίπεδο είναι οι άνθρωποι: ποιος αναθεωρεί τις περιπτώσεις χαμηλής εμπιστοσύνης, πόσες τη μέρα στον όγκο σας, και τι κοστίζει αυτό σε χρόνο προσωπικού. Αν δεν μπορείτε να συμπληρώσετε το τρίτο επίπεδο, αυτό είναι ο προϋπολογισμός που σας λέει ότι ο σχεδιασμός δεν έχει τελειώσει, γιατί κάθε σύστημα LLM παραγωγής έχει μια διαδρομή εξαίρεσης και κάποιος πρέπει να τη στελεχώσει.

Ένα ενδεικτικό παράδειγμα δείχνει γιατί έχουν σημασία τα επίπεδα. Μια ομάδα σχεδιάζει ένα χαρακτηριστικό σύνοψης εγγράφων και το τιμολογεί σε λίγα σεντς ανά έγγραφο από την αριθμομηχανή tokens. Σε όγκο παραγωγής, το ευρετήριο ανάκτησης που κρατά τις περιλήψεις θεμελιωμένες, οι εβδομαδιαίες εκτελέσεις αξιολόγησης που πιάνουν την παρέκκλιση, και η ώρα αναλυτή τη μέρα που ξοδεύεται στην αναθεώρηση επισημασμένων αποτελεσμάτων κοστίζουν καθεμία περισσότερο από τον λογαριασμό του API. Καμία από αυτές τις γραμμές δεν είναι αποτυχία. Είναι το τι κοστίζει το «λειτουργικό», και οι ομάδες που τις βλέπουν στη φάση προϋπολογισμού αποστέλλουν χαρακτηριστικά που επιβιώνουν, ενώ οι ομάδες που τις ανακαλύπτουν μετά την κυκλοφορία τείνουν να αφήσουν ήσυχα το χαρακτηριστικό στο ράφι.

Πώς μοιάζει ο καλός προϋπολογισμός

Τιμολογήστε το αποτέλεσμα, όχι την κλήση. Ο αριθμός που έχει σημασία είναι το κόστος ανά σωστό, έμπιστο αποτέλεσμα, και περιλαμβάνει την ανάκτηση, την αξιολόγηση, τις δικλείδες ασφαλείας, την ανθρώπινη αναθεώρηση, και τη συντήρηση που κρατά όλο το πράγμα ειλικρινές. Μια ομάδα που προϋπολογίζει έτσι αποστέλλει AI που επιβιώνει στην επαφή με την πραγματικότητα. Μια ομάδα που προϋπολογίζει για tokens αποστέλλει μια επίδειξη και κληρονομεί μια έκπληξη. Αν σχεδιάζετε ένα χαρακτηριστικό AI και θέλετε μια ρεαλιστική εικόνα για το τι κοστίζει να το τρέξετε αντί να το παρουσιάσετε, πείτε μας τι χτίζετε, και δείτε πώς το προσεγγίζουμε στο προσαρμοσμένο λογισμικό.