MLOps χωρίς το τσιτάτο: τι χρειάζεται πραγματικά για να διατηρηθεί σε λειτουργία ένα σύστημα AI

Το MLOps είναι η πειθαρχία της διατήρησης χρήσιμου συστήματος μηχανικής μάθησης μετά την κυκλοφορία του. Με απλά λόγια, καλύπτει τέσσερις εργασίες: παρακολούθηση (παρακολούθηση εάν το μοντέλο εξακολουθεί να αποδίδει στον πραγματικό κόσμο), επανεκπαίδευση (ανανέωσή του καθώς μετατοπίζονται τα δεδομένα), έκδοση εκδόσεων (γνωρίζοντας ακριβώς ποιο μοντέλο και δεδομένα παράγονται ποιο αποτέλεσμα) και υδραυλική εγκατάσταση που αποστέλλει μια νέα έκδοση με ασφάλεια. Ένα μοντέλο δεν είναι ένα τελικό προϊόν την ημέρα που βγαίνει στη ζωή. Είναι ένα ευπαθές εξάρτημα που βρίσκεται μέσα σε ένα σύστημα που πρέπει να τροφοδοτηθεί, να παρακολουθηθεί και να διορθωθεί. Το MLOps είναι το όνομα αυτής της συνεχιζόμενης εργασίας. Αγνοήστε το και το μοντέλο ξεφεύγει αθόρυβα από την πραγματικότητα, η ακρίβεια ολισθαίνει και ένα πρωί οι προβλέψεις είναι λανθασμένες με τρόπους που κανείς δεν ελέγχει. Η εκτόξευση είναι η αρχή της δουλειάς, όχι το τέλος της.

Τι σημαίνει στην πραγματικότητα το MLOps στην παραγωγή;

Το MLOps είναι αυτό που είναι το DevOps για το συνηθισμένο λογισμικό, προσαρμοσμένο για το γεγονός ότι ένα μοντέλο εξαρτάται από δεδομένα και όχι μόνο από κώδικα. Μια κανονική εφαρμογή συμπεριφέρεται με τον ίδιο τρόπο σήμερα όπως και την ημέρα που την στείλατε, έως ότου κάποιος αλλάξει τον κωδικό. Ένα μοντέλο δεν το κάνει. Ο κόσμος από τον οποίο έμαθε συνεχίζει να κινείται, επομένως η ακρίβειά του μπορεί να υποβαθμιστεί ενώ κάθε γραμμή κώδικα παραμένει ανέγγιχτη.

Αυτή η διαφορά είναι η όλη ουσία. Με το λογισμικό που ρωτάς, τρέχει ακόμα. Με μοντέλο πρέπει επίσης να ρωτήσεις, κρατάει ακόμα. Το MLOps είναι το σύνολο πρακτικών και εργαλείων που σας επιτρέπουν να απαντάτε στη δεύτερη ερώτηση κάθε μέρα, όχι μία φορά το τρίμηνο όταν ένας πελάτης παραπονιέται.

Ποια είναι η δουλειά μετά την κυκλοφορία ενός μοντέλου;

Η εργασία της δεύτερης ημέρας χωρίζεται σε τέσσερις επαναλαμβανόμενες δουλειές. Κανένα από αυτά δεν είναι λαμπερό, και όλα είναι αυτά που διαχωρίζουν ένα σύστημα που κερδίζει από αυτό που σαπίζει.

1. Παρακολούθηση. Παρακολουθήστε τις εισροές και τις εκροές του μοντέλου στην παραγωγή. Παρακολουθήστε τη μετατόπιση δεδομένων (τα ζωντανά δεδομένα αρχίζουν να φαίνονται διαφορετικά από τα δεδομένα προπόνησης) και για την πτώση της ακρίβειας σε σχέση με τα πραγματικά αποτελέσματα μόλις γίνουν γνωστά. Η ειδοποίηση που θέλετε είναι αυτή που ενεργοποιείται πριν το αντιληφθεί ένας πελάτης και όχι μετά.
2. Επανεκπαίδευση. Όταν η απόδοση πέφτει ή τα δεδομένα έχουν σαφώς μετακινηθεί, ανανεώστε το μοντέλο σε νεότερα δεδομένα και στείλτε την ενημέρωση. Αποφασίστε εκ των προτέρων εάν αυτό προκαλείται από μια μέτρηση που διασχίζει μια γραμμή ή εκτελείται σύμφωνα με ένα χρονοδιάγραμμα και κάντε το μια ρουτίνα, όχι μια άσκηση πυρκαγιάς.
3. Εκδοση. Καταγράψτε ποια έκδοση του κώδικα, τα δεδομένα και το εκπαιδευμένο μοντέλο παρήγαγαν οποιοδήποτε δεδομένο αποτέλεσμα. Όταν μια έξοδος αμφισβητείται, πρέπει να ανακατασκευάσετε ακριβώς αυτό που τρέχει. Χωρίς αυτό, κάθε έρευνα ξεκινά από εικασίες.
4. Επικύρωση και διάθεση. Δοκιμάστε ένα νέο μοντέλο έναντι του τρέχοντος προτού αγγίξει την πραγματική κυκλοφορία, απελευθερώστε το σταδιακά και διατηρήστε μια γρήγορη διαδρομή επιστροφής στην προηγούμενη έκδοση, εάν δεν έχει χαμηλή απόδοση.

Αυτή είναι η ίδια πειθαρχία μηχανικής που μετατρέπει έναν πιλότο σε σύστημα που επιβιώνει από την επαφή με πραγματικούς χρήστες. Η επίδειξη αποδεικνύει ότι το μοντέλο μπορεί να λειτουργήσει μία φορά. Αυτό το έργο αποδεικνύει ότι συνεχίζει να λειτουργεί.

Γιατί τα συστήματα AI σαπίζουν χωρίς το MLOps;

Επειδή τα δεδομένα από κάτω τους δεν σταματούν ποτέ να αλλάζουν και ένα μοντέλο χωρίς παρακολούθηση δεν μπορεί να σας πει ότι έχει μείνει πίσω. Ένα μοντέλο απάτης που έχει εκπαιδευτεί στα πρότυπα του περασμένου έτους χάνει σιγά σιγά τα φετινά. Μια συσκευή εξαγωγής εγγράφων που είναι συντονισμένη στα τιμολόγια ενός προμηθευτή αρχίζει να απορρίπτει πεδία όταν φτάσει η μορφή ενός νέου προμηθευτή. Ο κωδικός είναι εντάξει. Το μοντέλο έχει απλώς γεράσει από την πραγματικότητα για την οποία κατασκευάστηκε.

Ο κίνδυνος είναι ότι αυτή η αποτυχία είναι σιωπηλή. Ένας κατεστραμμένος διακομιστής στέλνει σελίδες σε κάποιον στις 3 π.μ. Ένα παρασυρόμενο μοντέλο απλώς επιστρέφει ελαφρώς χειρότερες απαντήσεις, μέρα με τη μέρα, και συνεχίζει να τις επιστρέφει με σιγουριά. Κανείς δεν σελιδοποιείται. Μέχρι να εντοπίσει κάποιος έναν περίεργο αριθμό, το σύστημα μπορεί να έχει αθόρυβα λάθος για μήνες. Αυτό εννοούν οι άνθρωποι όταν λένε ότι ένα σύστημα AI σάπισε: όχι ότι έσπασε, αλλά ότι κανείς δεν το έβλεπε να φθείρεται.

Αυτός είναι ο λόγος για τον οποίο τα ανθεκτικά συστήματα, όπως το είδος που απαιτείται για το έγγραφο AI σε μια επιχείρηση, αντιμετωπίζουν την παρακολούθηση και την επανεκπαίδευση ως μέρος της κατασκευής, όχι ως κάτι που πρέπει να προσθέσετε εάν περισσεύει προϋπολογισμός.

Πόσο MLOps χρειάζεται πραγματικά ένα έργο;

Λιγότερο από ό,τι υπονοεί το τοπίο του προμηθευτή και περισσότερα από όσα προϋποθέτουν οι περισσότεροι πιλότοι. Η σωστή ποσότητα κλιμακώνεται με τα στοιχήματα, όχι με το μέγεθος του καταλόγου εργαλείων.

Τύπος συστήματος	Τι χρειάζεται παρακολούθηση	Ρυθμός επανεκπαίδευσης
Χαμηλά πονταρίσματα, σταθερές εισροές	Βασική καταγραφή εξόδου και απλός έλεγχος ακρίβειας	Σπάνια, μόνο όταν εμφανιστεί ένα πρόβλημα
Κρίσιμες για τις επιχειρήσεις, μεταβαλλόμενες εισροές	Ειδοποιήσεις drift και ακρίβειας με επώνυμο ιδιοκτήτη	Σε καθορισμένο έναυσμα ή κανονικό πρόγραμμα
Συνεπακόλουθες αποφάσεις για τους ανθρώπους	Πλήρης καταγραφή, ανθρώπινη ανασκόπηση περιπτώσεων ακραίων περιπτώσεων, διαδρομή ελέγχου	Προγραμματισμένο, με κάθε έκδοση καταγεγραμμένη

Δύο αρχές το κρατούν ειλικρινές. Πρώτον, δημιουργήστε την παρακολούθηση πριν τη χρειαστείτε, ενώ το σύστημα είναι μικρό, επειδή η εκ των υστέρων τοποθέτηση της ορατότητας σε ένα ζωντανό σύστημα είναι πολύ πιο δύσκολη από τη σχεδίασή της. Δεύτερον, δώστε στο τρέχον σύστημα έναν επώνυμο ιδιοκτήτη. Η επιχειρησιακή εργασία χωρίς ιδιοκτήτη δεν συμβαίνει, και ένα μοντέλο που δεν το παρακολουθεί κανείς είναι ένα μοντέλο στο δρόμο προς τη σήψη.

Το πρακτικό takeaway

Όταν αναθέτετε ένα σύστημα AI, ρωτήστε ποιος είναι υπεύθυνος για αυτό τον έκτο μήνα και πώς θα γνωρίζουν εάν σταματήσει να λειτουργεί. Εάν η απάντηση είναι ημερομηνία έναρξης και σιωπή μετά από αυτήν, αγοράζετε ένα demo με μεγαλύτερο διάδρομο. Εάν η απάντηση αναφέρει ονόματα ενός ατόμου, ένα σύνολο μετρήσεων που παρακολουθεί και ένα σχέδιο για την ανανέωση του μοντέλου, αγοράζετε κάτι κατασκευασμένο για να παραμείνετε χρήσιμο. Το MLOps είναι απλώς η απίθανη συνήθεια να τηρείς μια υπόσχεση μετά το τέλος του πάρτι έναρξης. Το Encelyte δημιουργεί έγγραφο συστημάτων AI και AI με την εργασία της δεύτερης ημέρας σχεδιασμένη από την αρχή.