Chi risponde dell’errore di un agente AI?

La domanda che non è tecnica

Se un agente approva una fattura sbagliata, dispone un pagamento errato o scrive a un cliente qualcosa che non doveva, la questione non è se il modello fosse abbastanza capace. È contrattuale: chi ne risponde? Chi lo ha configurato, chi lo ha approvato, chi ha firmato con il fornitore del modello, chi era di turno quel giorno?

Finché quella domanda non ha una risposta consolidata, la persona resta dentro il processo per ragioni che con la tecnologia non c’entrano. Un modello più capace riduce gli errori. Non risponde di quelli che restano.

Perché nel software ci si arriva prima

Nello sviluppo software gli agenti lavorano già in autonomia per tratti lunghi. Non perché lì i modelli siano migliori, ma perché un errore si vede, si testa e si corregge prima che esca, e sbagliare costa poco: un ramo di codice da buttare. Un pagamento partito non si butta.

La differenza tra i due mondi non è l’intelligenza di chi esegue. È quanto è verificabile e reversibile quello che esegue. È un criterio più utile di qualsiasi previsione sulle capacità dei modelli, perché si può applicare a un processo vero, oggi.

Il controllo umano non è un ripiego

Si presenta spesso la persona nel processo, il cosiddetto human in the loop, come una fase transitoria in attesa di modelli migliori. Nella maggior parte dei processi aziendali è invece la condizione che rende il processo utilizzabile: sposta la responsabilità su qualcuno che può assumersela.

Copilot o agente? Un copilot propone qualcosa e la persona decide se tenerlo. Un agente esegue una sequenza di azioni da solo, fino a un risultato. La differenza non è la capacità del modello, che è la stessa: è chi prende la decisione finale.

Dove si può già andare: agenti a perimetro chiuso

Il passo realistico non è l’autonomia totale, ma agenti che girano senza essere guardati su un perimetro chiuso: compiti ricorrenti e verificabili, eseguiti a orario. Riconciliazioni, controlli di coerenza, bozze preparate prima di una riunione.

Il salto non è l’autonomia in sé. È che il lavoro della persona passa dal produrre al validare. Ed è disponibile adesso: non è frontiera e non è costoso, il freno è organizzativo.

Cinque domande prima di mettere un agente in produzione

• Chi è il responsabile? Un ruolo con un nome, non “il reparto”. Un agente condiviso e senza proprietario è il caso peggiore, perché ognuno lo usa e nessuno ne risponde.
• Qual è il perimetro? Quali sistemi legge, quali scrive, con quali permessi. In sola lettura finché non c’è un motivo concreto per fare altro.
• Cosa è reversibile? Una bozza si scarta, un bonifico no. Le azioni irreversibili passano da un’approvazione.
• Cosa viene registrato? Ogni chiamata, chi l’ha avviata, su quali dati, con quale esito. Senza un registro completo non c’è responsabilità, c’è solo un sospetto.
• Quando si ferma? Una soglia (un importo, un numero di operazioni, un’anomalia) oltre la quale l’agente chiede invece di fare.

L’agente come entità dell’azienda

Credo ci voglia un’evoluzione della cultura aziendale prima del momento in cui i processi si automatizzano da soli. Servirà vedere gli agenti come entità dell’azienda, condivise, e non come estensioni di una persona. Finché un agente “è di” qualcuno, la sua responsabilità si perde quando quella persona cambia ruolo.

Chi prevede l’automazione totale entro due anni sta rispondendo a una domanda tecnica. La domanda vera è un’altra.

Una dichiarazione di parte: siamo un fornitore, e lavoriamo sul principio che permessi e registro delle chiamate vengano prima dell’intelligenza. Il tema tocca da vicino quello che costruiamo con i agenti AI e con il middleware, dove ogni chiamata deve lasciare traccia.