Come tenere le allucinazioni lontane da un flusso di documenti: grounding, citazioni, soglie di confidenza

Quando un documento AI afferma con sicurezza qualcosa che non è nella fonte, si tratta di un'allucinazione e nella pipeline del documento è la modalità di errore che conta di più. La correzione non è un suggerimento migliore. È strutturale. Mantieni il modello ancorato al testo sorgente recuperato, forzalo a citare la provenienza di ogni risposta, allega un segnale di fiducia a ogni campo estratto e instrada qualsiasi cosa al di sotto della tua soglia a una persona. Insieme, questi quattro controlli trasformano un modello in grado di inventare risposte in un sistema che riporta ciò che dice il documento o ammette di non sapere. Nessuno di loro è esotico. Costituiscono la differenza tra una demo che si legge bene e una pipeline che puoi presentare a un revisore.

Cosa provoca allucinazioni in un documento AI?

Un modello linguistico prevede un testo plausibile. Lasciato rispondere a memoria, riempirà le lacune con qualcosa che suona bene piuttosto che qualcosa che è nel tuo documento. In una pipeline questo si presenta in posti prevedibili: un totale dedotto dal modello invece che letto, una data che corrisponde alla fattura sbagliata, un nome di fornitore vicino ma sbagliato, un campo segnalato come presente quando la pagina era vuota. La modella non mente. Non è mai stato mostrato il vincolo che la sua risposta dovesse provenire dalla fonte che aveva di fronte. La maggior parte delle tecniche di produzione esistono per imporre esattamente questo vincolo.

In che modo il retrieval grounding riduce le allucinazioni?

Radicamento significa che il modello risponde solo dal testo che gli hai effettivamente fornito, non dalla sua formazione. Invece di chiedere al modello qual è il totale su una fattura, recuperi i passaggi rilevanti dal documento analizzato e gli chiedi di rispondere utilizzando solo quei passaggi. Se la risposta non è nel testo fornito, l'output corretto è "non trovato", non un'ipotesi.

In pratica questo significa che alcune cose lavorano insieme:

Analizza prima di chiedere conferma. Estrai il documento in testo pulito e strutturato mantenendo il layout, in modo che il modello legga il contenuto reale anziché un'immagine sfocata.
Recupera lo span rilevante. Per un documento lungo, estrai la sezione che dovrebbe contenere il campo e passala, invece di scaricare l'intero file e sperare.
Vincolare l'istruzione. Dire chiaramente al modello che deve rispondere solo dal testo fornito e restituire un valore vuoto esplicito quando il campo è assente.
Aggiungi allo schema. Richiedi un output strutturato con campi denominati, quindi non c'è nessun posto dove aggiungere commenti o inventare extra.

Il solo radicamento rimuove gran parte delle risposte inventate. Il modello può ancora essere interpretato in modo errato, motivo per cui esistono i due controlli successivi. Facciamo molto affidamento su questo approccio durante la creazione di Pileform, il nostro strumento di contabilità AI, perché un numero inventato nei conti di qualcuno non è un errore estetico.

Perché ogni risposta dovrebbe contenere una citazione?

Una citazione lega ciascun valore estratto al punto esatto della fonte da cui proviene: una pagina, una riga, un riquadro di delimitazione, un intervallo di caratteri. Questo fa due lavori contemporaneamente.

Innanzitutto, rende la risposta controllabile. Un revisore, o una regola automatizzata, può andare direttamente al punto della pagina e confermare il valore in pochi secondi invece di leggere l'intero documento. In secondo luogo, aumenta il costo delle allucinazioni per il modello stesso. Quando il formato di output richiede una posizione per ogni campo, una risposta senza intervallo di supporto è un difetto visibile che puoi rilevare e rifiutare automaticamente. Un valore che non può indicare la posizione nel documento viene considerato non trovato.

La regola pratica è semplice. Se un campo non ha citazioni, non viene scritto nel record. Quel singolo vincolo cattura una categoria di risposte sicure ma non supportate prima che raggiungano i tuoi libri.

Come interagiscono le soglie di confidenza e la revisione umana?

Le soglie di confidenza decidono di quali risposte il sistema si fida da solo e di quali intensifica. Ogni campo estratto porta un punteggio. Hai impostato un limite. Al di sopra di esso, il valore scorre direttamente. Sotto di esso, il valore viene trattenuto e inviato a una persona, affiancando il documento originale e la risposta proposta. Questo è il passaggio “human-in-the-loop” ed è ciò che rende l’intera pipeline sicura da automatizzare.

Fiducia	Cosa fa il sistema	Chi agisce
Alto	Accetta e pubblica il valore automaticamente	Nessuno
Borderline	Contrassegna per una rapida conferma	Il revisore dà un'occhiata, approva o corregge
Citazione bassa o assente	Mantieni il record, non pubblicare	Il revisore legge la fonte e decide

Il punto non è allontanare le persone. Significa dedicare la propria attenzione solo laddove ciò cambia il risultato. Un buon oleodotto è fiducioso nella netta maggioranza dei settori e onesto nel resto. La scansione sbavata, il layout non familiare, la figura che non si riconcilia, sono esattamente questi i luoghi in cui l'occhio umano si guadagna da vivere, e farli emergere chiaramente è meglio che fingere che il modello abbia sempre ragione. Nel corso del tempo le correzioni apportate dalle persone diventano casi di prova, quindi le soglie diventano più rigorose anziché spostarsi. Questo è lo stesso modello operativo alla base del documento AI serio e il contesto più ampio è trattato nella nostra guida al documento AI per le aziende.

Il pratico asporto

Tratta l'allucinazione come una proprietà del sistema, non come un suggerimento che puoi perfezionare. Radica il modello nel testo di origine recuperato, richiedi una citazione per ogni campo, assegna un punteggio di confidenza a ciascun valore e instrada quelli con scarsa confidenza a una persona. Se un valore non può dire da dove proviene, non viene scritto. Costruisci la pipeline in modo che la sua risposta onesta sia "Non sono sicuro, controlla questo" e otterrai un assistente che guadagna fiducia invece di uno su cui devi indovinare.