Du MLOps et de la supervision qui maintiennent vos modèles opérationnels en production

Nous traitons un modèle déployé comme un système vivant, avec supervision, détection de dérive, réentraînement et pistes d’audit intégrés dès le départ.

Un modèle qui a bien performé dans un notebook n’est pas une chose finie. Une fois confronté au vrai trafic, ses entrées changent, sa précision dérive, et ses décisions commencent à compter pour des gens. Le travail qui le garde fiable est de l’ingénierie, pas un lancement ponctuel.

Nous construisons la couche opérationnelle autour de votre modèle pour qu’il reste précis, observable et responsable bien après le premier déploiement. C’est la moitié production de l’analyse prédictive, réalisée par les personnes mêmes qui maintiennent notre propre produit en service.

Voir l’analyse prédictive
santé du modèle
en direct
précision
stable
latence
dans le SLO
dérive des entrées
à surveiller
dernier réentraînement
journalisé
signal de dérivefenêtre 14 j

dans les bornes, alerte armée

Un modèle laissé seul après le lancement cesse discrètement d’avoir raison

La plupart des modèles sont évalués une fois, au lancement, puis laissés seuls. Le monde sur lequel ils ont été entraînés continue de bouger. Le comportement des clients change, une source de données amont change discrètement de format, une catégorie autrefois rare devient courante. Le modèle continue de renvoyer des réponses assurées tandis que sa précision réelle chute, et personne ne le remarque jusqu’à ce qu’une décision tourne visiblement mal.

À ce moment-là, les questions sont difficiles à trancher. Quelle version a fait cette prédiction, sur quelles entrées, et pourquoi. Quand la qualité a-t-elle commencé à glisser. Qui a validé le dernier réentraînement. Sans supervision, journalisation et chemin de réentraînement clair en place, un modèle en production est un passif que vous ne voyez pas, et de plus en plus un passif que vous devez expliquer à un régulateur.

La production est une boucle, pas un lancement

Un modèle en service tourne dans une boucle continue, et nous construisons les opérations qui la font tourner.

12345EN DIRECTJAMAIS FINI
  1. Déployer

    Le modèle entre dans le vrai trafic.

  2. Superviser

    Précision, latence, entrées, sorties sont suivies.

  3. Détecter la dérive

    Les variations de données ou de qualité déclenchent une alerte.

  4. Réentraîner

    Un candidat est validé, puis promu.

  5. Transférer

    Votre équipe l’exploite, nous hors de la boucle.

Auditer, concevoir, construire, transférer

De petits incréments revus sur une infrastructure que vous contrôlez. Nous terminons en remettant le système à votre équipe, pas en vous gardant dépendant de nous.

Audit

Nous regardons ce que vous avez déjà en production, là où le modèle est observé et là où il est aveugle, et nous documentons les vrais risques en termes clairs avant de proposer quoi que ce soit.

Conception

Nous convenons de ce qu’il faut superviser, des signaux de dérive qui comptent, du moment où le réentraînement doit se déclencher, et de ce que la piste d’audit doit capturer, dimensionné à votre exposition réglementaire et à votre équipe.

Construction

Nous mettons en place la supervision, les alertes, le réentraînement et la journalisation dans votre pipeline existant, sans dépendance à un outil et sur une infrastructure que vous contrôlez, le travail étant revu par petits incréments.

Transfert

Nous documentons son fonctionnement, formons les personnes qui en seront propriétaires, et vous laissons capables d’exploiter et d’étendre le système sans nous dans la boucle.

Un incident, du début à la fin

Un vrai passage dans la boucle ci-dessus, journalisé au fil de son déroulement : l'alerte, le diagnostic et la récupération.

Journal de l'incidentRésolu
  1. 03:14+0 min

    Alerte déclenchée

    Une dérive sur trois caractéristiques d'entrée franchit le seuil et alerte automatiquement l'ingénieur d'astreinte, avant que quiconque ne surveille un tableau de bord.

  2. 03:19+5 min

    Diagnostiqué

    Le journal d'audit retrace la cause en quelques minutes : un changement de schéma en amont, le modèle se comportant exactement comme entraîné.

  3. 09:02+5 h 48 min

    Réentraînement déclenché

    Un modèle candidat s'entraîne sur les données corrigées et est validé face au modèle en service avant toute mise en production.

  4. 09:41+6 h 27 min

    Récupération confirmée

    Le candidat est promu, l'ancienne version retirée, et toute la séquence est consignée dans le journal d'audit.

Conçu pour l’EU AI Act dès le départ

La tenue de registres, la transparence et la supervision humaine sont des obligations pour de nombreux systèmes d’IA, pas des options. Nous cartographions celles qui s’appliquent au vôtre et les intégrons à la façon dont le modèle est journalisé et exploité.

Journal d'audit par prédiction
  • pred_7f2a1v14.209:41:03Journalisé
  • pred_7f2a2v14.209:41:07Journalisé
  • pred_7f19ev14.103:14:02Signalé
  • pred_7f1a0v14.103:12:55Journalisé

Nous sommes des ingénieurs, pas votre conseil juridique. Nous rendons le système auditable et laissons la validation formelle de conformité à vos conseillers.

Ce avec quoi vous repartez

  • Une vue de supervision en direct

    Des dashboards et des signaux pour la précision du modèle, la qualité des données et le comportement dans le temps, lisibles à la fois par les ingénieurs et par les personnes responsables des décisions.

  • Des alertes de dérive et de qualité

    Une détection configurée qui prévient la bonne personne quand les entrées ou les prédictions sortent des bornes convenues, reliée aux canaux que vous utilisez déjà.

  • Un processus de réentraînement documenté

    Un chemin défini et reproductible pour rafraîchir le modèle, valider le candidat face à l’actuel, et le promouvoir en toute sécurité avec une option de retour arrière.

  • Une couche d’audit et de journalisation

    Des enregistrements versionnés des prédictions, des entrées et des changements de modèle, structurés pour répondre aux questions de vos propres équipes ou d’un examinateur externe.

  • Un transfert des opérations

    Des runbooks et une présentation qui laissent votre équipe capable d’exploiter, de déboguer et d’étendre le système, avec les obligations de l’EU AI Act clairement cartographiées.

Nous appliquons cette discipline à notre propre produit, qui supervise ses règles dans 55 juridictions de TVA, où un résultat erroné et inexpliqué n’est pas une option, et maintient le système journalisé et entretenu au même standard de qualité production que celui que nous appliquons pour nos clients. Ce produit est Pileform, en production quotidienne. Cette page est la continuation opérationnelle de notre travail d’analyse prédictive : le même modèle, gardé fiable après sa livraison.
PileformLe produit d’Encelyte, supervisé au même standardPileform

Gardez votre modèle fiable après le lancement. Si vous avez un modèle en production sans vue claire de ses performances, c’est un risque qu’il vaut la peine de refermer avant qu’il ne fasse surface de lui-même. Apportez-nous ce que vous avez et nous commencerons par un audit honnête de là où il est observé et là où il est aveugle.