Άντληση από κάθε πηγή, προγραμματισμένα
Οι εργασίες ETL και ELT συνδέονται με τα συστήματα που ήδη λειτουργείτε και φέρνουν τα δεδομένα τους σε ένα μέρος, προγραμματισμένα, με τις αποτυχίες να αναδεικνύονται δυνατά αντί να μένουν σιωπηλές.
Μηχανική δεδομένων
Χτίζουμε τα θεμέλια δεδομένων που κάνουν τις αναλύσεις και την τεχνητή νοημοσύνη σας αξιόπιστες, αντί για το demo που σπάει στην παραγωγή.
Οι περισσότερες ομάδες δεν έχουν πρόβλημα μοντέλου. Έχουν πρόβλημα δεδομένων. Οι αναφορές διαφωνούν, ο ίδιος πελάτης εμφανίζεται με τρεις τρόπους και κανείς δεν μπορεί να πει από πού προέκυψε ένας αριθμός. Οι αναλύσεις και η τεχνητή νοημοσύνη τα κληρονομούν όλα αυτά.
Σχεδιάζουμε και χτίζουμε τα pipelines, τα μοντέλα και τους ελέγχους ποιότητας από κάτω. Το ειλικρινές πρώτο έργο είναι συχνά η διόρθωση των δεδομένων, ώστε όλα όσα χτίζετε πάνω τους να είναι αξιόπιστα.
Διάσπαρτα δεδομένα, αριθμοί που κανείς δεν εμπιστεύεται
Τα δεδομένα συνήθως βρίσκονται σε πάρα πολλά μέρη ταυτόχρονα. Ένα σύστημα κρατήσεων εδώ, ένα υπολογιστικό φύλλο εκεί, ένα λογιστικό εργαλείο που εξάγει ελαφρώς διαφορετική μορφή κάθε μήνα. Η συρραφή τους με το χέρι λειτουργεί, μέχρι που σταματά να λειτουργεί, και οι άνθρωποι που καταλαβαίνουν τις συνδέσεις είναι αυτοί που λιγότερο από όλους έχετε την πολυτέλεια να διακόψετε.
Το κόστος εμφανίζεται διακριτικά. Ένα dashboard που κανείς δεν εμπιστεύεται, μια πρόβλεψη χτισμένη πάνω σε μια στήλη που άλλαξε σημασία το προηγούμενο τρίμηνο, μια λειτουργία τεχνητής νοημοσύνης που κόλλησε επειδή τα δεδομένα εκπαίδευσης είναι μισοάδεια. Πριν βελτιωθεί οτιδήποτε από αυτά, το θεμέλιο πρέπει να είναι γερό και πρέπει να μπορείτε να δείτε πώς παρήχθη κάθε αριθμός.
Από την πηγή στην παράδοση, σε τέσσερα στάδια
Τα ίδια τέσσερα στάδια από τα οποία περνά κάθε αξιόπιστο pipeline. Κυλήστε τη ράγα για να ακολουθήσετε τα δεδομένα από μια ακατέργαστη πηγή σε έναν αριθμό που μπορείτε να υποστηρίξετε.
Από την πηγή στην παράδοση
Τα επίπεδα κάτω από τις αναφορές σας
Κάθε κομμάτι υπάρχει ώστε να μπορεί να εμπιστευτεί κανείς αυτό από πάνω του. Τα χτίζουμε με τη σειρά, από τον αγωγό που μετακινεί τα δεδομένα έως το θεμέλιο από το οποίο τελικά μαθαίνει η τεχνητή νοημοσύνη σας.
- Pipelines που τρέχουν μόνα τους
- Χτίζουμε pipelines ETL και ELT που αντλούν από τις πηγές σας προγραμματισμένα, χειρίζονται τις αποτυχίες δυνατά και σταματούν να αλλοιώνουν σιωπηλά τα δεδομένα τη στιγμή που κάτι αλλάζει ανάντη.
- Μοντελοποίηση warehouse και lakehouse
- Σχεδιάζουμε το επίπεδο warehouse ή lakehouse ώστε ένας πελάτης να είναι ένας πελάτης και κάθε μετρική να έχει έναν μοναδικό συμφωνημένο ορισμό στον οποίο μπορείτε να παραπέμψετε.
- Ποιότητα δεδομένων που μπορείτε να δείτε
- Προσθέτουμε ελέγχους που εντοπίζουν ελλείποντα πεδία, σπασμένες συνδέσεις και τιμές εκτός εύρους κατά τη φόρτωση, πριν φτάσουν σε μια αναφορά ή ένα μοντέλο.
- Lineage και τεκμηρίωση
- Κάθε πεδίο ανιχνεύεται πίσω στην πηγή του, ώστε όταν ένας αριθμός φαίνεται λάθος να μπορείτε να τον ακολουθήσετε ως εκεί που προέκυψε, αντί να μαντεύετε.
- Ένα θεμέλιο χτισμένο για την τεχνητή νοημοσύνη
- Διαμορφώνουμε τα δεδομένα έχοντας κατά νου το επόμενο βήμα, ώστε τα προβλεπτικά μοντέλα και οι ροές εργασίας εγγράφων να έχουν καθαρές, συνεπείς εισροές από τις οποίες θα μάθουν.
Πιάστε τα κακά δεδομένα στην πύλη, όσο είναι φθηνό να διορθωθούν
Τα κακά δεδομένα διορθώνονται φθηνότερα τη στιγμή που φτάνουν. Βάζουμε τους ελέγχους κατά τη φόρτωση και κρατάμε ένα ίχνος πίσω στην πηγή, ώστε ένας λανθασμένος αριθμός να είναι κάτι που μπορείτε να ανιχνεύσετε, όχι κάτι για το οποίο διαφωνείτε.
Κατά τη φόρτωσηεπιτυχία / αποτυχία
Ελλείποντα πεδία που εντοπίζονται στη φόρτωση
Οι γραμμές που φτάνουν χωρίς τις στήλες από τις οποίες εξαρτάται μια αναφορά επισημαίνονται πριν φτάσουν σε αυτήν, όχι αφού κάποιος παρατηρήσει ότι το σύνολο φαίνεται χαμηλό.
Σπασμένες συνδέσεις που αναδεικνύονται δυνατά
Όταν ένα κλειδί σταματά να ταιριάζει μεταξύ συστημάτων, η εκτέλεση αποτυγχάνει ορατά αντί να απορρίπτει σιωπηλά εγγραφές και να αλλοιώνει κάθε μέτρηση στη συνέχεια.
Τιμές εκτός εύρους που συγκρατούνται
Μια αρνητική ποσότητα ή μια ημερομηνία σε λάθος αιώνα πιάνεται στην πύλη, ώστε ο παράξενος αριθμός να μην φτάνει ποτέ σε ένα dashboard ή ένα μοντέλο.
Lineage
Ακολουθήστε έναν αριθμό ως εκεί που προέκυψε
Όταν ένα μέγεθος φαίνεται λάθος, το ανιχνεύετε πίσω μέσα από κάθε βήμα αντί να μαντεύετε.
- Μετρική dashboard
- Μοντελοποιημένος πίνακας
- Βήμα μετασχηματισμού
- Ακατέργαστη φόρτωση
- Σύστημα πηγής
Πρώτα έλεγχος, μετά χτίζουμε αυτό που κρατά
Έλεγχος
Χαρτογραφούμε πού βρίσκονται τα δεδομένα σας, πώς κινούνται και πού σπάνε αυτή τη στιγμή, και μετά καταγράφουμε τα συγκεκριμένα προβλήματα που αξίζει να διορθωθούν πρώτα.
Σχεδιασμός
Συμφωνούμε το μοντέλο στόχο, τους ορισμούς και τους κανόνες ποιότητας με την ομάδα σας πριν χτιστεί οποιοδήποτε pipeline, ώστε η δομή να ταιριάζει με τον τρόπο που πραγματικά δουλεύετε.
Κατασκευή
Χτίζουμε τα pipelines, το επίπεδο warehouse και τους ελέγχους σε ελεγμένα βήματα, δοκιμάζοντας πάνω σε πραγματικά δεδομένα και όχι σε ένα καθαρό δείγμα.
Παράδοση
Τεκμηριώνουμε το μοντέλο και το lineage, ξεναγούμε την ομάδα σας σε αυτό και σας αφήνουμε ικανούς να το τρέχετε και να το επεκτείνετε χωρίς εμάς στο δωμάτιο.
Σε πρότυπο παραγωγικού επιπέδου
Η πειθαρχία στα δεδομένα μετατρέπει μια μέρα κλεισίματος περιόδου σε περίπου είκοσι λεπτά ελέγχου, μέσα στο ίδιο λογιστικό pipeline που φέρνουμε στο δικό σας θεμέλιο: δεδομένα που μένουν καθαρά, χωρίς διπλότυπα, με ανιχνεύσιμο lineage πίσω στην πηγή τους. Το προϊόν πίσω από αυτό το pipeline είναι το Pileform. Τα γερά θεμέλια δεδομένων είναι συνήθως η πρώτη φάση μιας ευρύτερης προσπάθειας, γι' αυτό και αυτή η δουλειά βρίσκεται κοντά στις συνεργασίες ψηφιακού μετασχηματισμού μας.
Τι κρατάτε όταν φύγουμε
Λειτουργικά pipelines
Προγραμματισμένες εργασίες ETL ή ELT που συνδέουν τις πηγές σας με έναν κεντρικό χώρο αποθήκευσης, με ειδοποιήσεις όταν μια εκτέλεση αποτυγχάνει αντί για σιωπηλά κενά.
Ένα μοντελοποιημένο warehouse ή lakehouse
Μια καθαρή δομή με συμφωνημένους ορισμούς, οντότητες χωρίς διπλότυπα και πίνακες που τα εργαλεία ανάλυσης και η ομάδα σας μπορούν να διαβάσουν απευθείας.
Έλεγχοι ποιότητας και lineage
Αυτοματοποιημένες δοκιμές κατά τη φόρτωση και ένα ξεκάθαρο ίχνος από κάθε πεδίο πίσω στην προέλευσή του, ώστε να μπορείτε να επαληθεύσετε έναν αριθμό αντί να τον εμπιστευτείτε τυφλά.
Τεκμηρίωση και παράδοση
Απλά γραπτά έγγραφα του μοντέλου, των κανόνων και του πώς να το λειτουργείτε, συν μια ξενάγηση ώστε η ομάδα σας να το κατέχει αφού φύγουμε.
Θεμέλια δεδομένων, απαντημένα με απλά λόγια
Χρειαζόμαστε data warehouse ή μπορούμε να συνεχίσουμε με υπολογιστικά φύλλα;
Τα υπολογιστικά φύλλα είναι μια χαρά μέχρι να εξαρτηθούν αρκετοί άνθρωποι από αυτά και οι αριθμοί να αρχίσουν να αποκλίνουν. Αν οι αναφορές διαφωνούν ή μια μόνο εξαγωγή χαλάει τον μήνα σας, ένας μοντελοποιημένος χώρος αποθήκευσης συνήθως αξίζει. Θα σας πούμε ειλικρινά αν δεν έχετε φτάσει ακόμη εκεί.
Θα λειτουργήσει με τα εργαλεία που ήδη χρησιμοποιούμε;
Ναι. Συνδεόμαστε με τα συστήματα που έχετε αντί να σας ζητάμε να τα αντικαταστήσετε. Ο στόχος είναι να φέρουμε τις υπάρχουσες πηγές σας μαζί καθαρά, όχι να ξεκινήσουμε από την αρχή.
Τι συμβαίνει όταν αλλάζουν τα συστήματα πηγής μας;
Οι αλλαγές στις πηγές είναι ο κύριος λόγος που τα pipelines σπάνε σιωπηλά. Χτίζουμε ελέγχους που εντοπίζουν πότε μετατοπίζεται μια μορφή ανάντη και τη φέρνουν δυνατά στην επιφάνεια, ώστε να το μάθετε πριν φτάσει ένας κακός αριθμός σε μια αναφορά.
Σε τι διαφέρει αυτό από τη δουλειά προβλεπτικής ανάλυσης σας;
Η μηχανική δεδομένων είναι το θεμέλιο, η προβλεπτική ανάλυση είναι αυτό που χτίζετε πάνω της. Τα μοντέλα είναι τόσο καλά όσο οι εισροές τους, οπότε αυτή η δουλειά συνήθως προηγείται. Οι δύο συχνά τρέχουν ως μία συνεργασία. Δείτε /services/predictive-analytics.
Το παραδίδετε ή εξαρτόμαστε από εσάς για να το κρατάμε σε λειτουργία;
Το παραδίδουμε. Τεκμηριώνουμε το μοντέλο και το lineage και ξεναγούμε την ομάδα σας στο πώς να το λειτουργεί. Είστε ελεύθεροι να μας κρατήσετε για αλλαγές, αλλά δεν πρέπει ποτέ να μένετε στάσιμοι επειδή μόνο εμείς το καταλαβαίνουμε.
Πόσο διαρκεί μια πρώτη συνεργασία;
Εξαρτάται από το πόσες πηγές έχετε και πόσο μπερδεμένες είναι. Οριοθετούμε πρώτα τον έλεγχο ώστε να έχετε μια ξεκάθαρη εικόνα της δουλειάς πριν δεσμευτείτε στην πλήρη κατασκευή.
Η μηχανική δεδομένων είναι το θεμέλιο πάνω στο οποίο χτίζεται η προβλεπτική δουλειά. Δείτε την προβλεπτική ανάλυση.
Ξεκινήστε από το θεμέλιο
Αν οι αναφορές σας διαφωνούν ή τα σχέδιά σας για την τεχνητή νοημοσύνη έχουν κολλήσει σε ακατάστατα δεδομένα, το πρώτο βήμα είναι μια ξεκάθαρη ματιά σε αυτά που έχετε. Θα σας πούμε τι είναι γερό, τι χρειάζεται διόρθωση και τι θα χρειαζόταν για να το φτιάξετε σωστά.