Il vero test è se le persone possono fare affidamento sul lavoro una volta terminata la demo.

Una demo ha qualcuno che la osserva. In produzione, qualcuno dipende dal risultato.

Ciò cambia lo standard. Un agente AI potrebbe dover lavorare su informazioni incomplete, attendere l'approvazione o riprendersi dopo che uno strumento smette di rispondere. La persona che ha assegnato il compito non dovrebbe dover ricostruire cosa è successo prima di decidere se fidarsi del risultato.

Mettere un agente in produzione significa progettare per quella responsabilità. Tre domande contano: cosa sa, cosa può fare e come si farà a sapere che il lavoro è stato svolto?

Rendi il compito ispezionabile

Una conversazione contiene un contesto utile, ma è un luogo inadeguato in cui conservare l'unica registrazione di un processo aziendale. Le istruzioni vengono riviste. Le sessioni terminano. Un riepilogo può tralasciare una conferma che conta in seguito.

Conserva lo stato essenziale dell’attività in un formato che l’applicazione possa esaminare: il risultato richiesto, le decisioni già prese, le azioni completate e le dipendenze irrisolte. Mantieni esplicite le approvazioni richieste. Lascia che sia il modello a scegliere come indagare un problema entro tali vincoli.

Questa distinzione offre ai team qualcosa di concreto su cui eseguire il debug. Possono verificare se l'agente non aveva prove, ha frainteso l'obiettivo o ha tentato un'azione prima che un prerequisito fosse soddisfatto. Ogni errore richiede un intervento diverso.

Dai un limite ad ogni azione

Leggere le informazioni, preparare un cambiamento e applicare tale cambiamento comportano responsabilità diverse. Un agente che può eseguire la prima operazione non dovrebbe ottenere automaticamente il permesso di eseguire le altre due.

Applica i controlli di accesso nell’applicazione e nei suoi strumenti. Fornisci all'agente informazioni sufficienti per comprendere tali limiti, incluso quando necessita di approvazione o deve interrompere. I documenti recuperati possono fornire prove; non dovrebbero essere autorizzati a concedere nuove autorizzazioni.

La stessa disciplina si applica al contesto. L'agente ha bisogno di materiale pertinente e attuale e di un modo per rivisitare la fonte. Una vasta raccolta di documenti vagamente correlati rende più difficile determinare quale istruzione o fatto dovrebbe governare l’azione successiva.

Progetta l'interruzione con la stessa attenzione della risposta

Un timeout non significa sempre che un'azione non è riuscita. Un servizio potrebbe aver accettato una richiesta anche se la sua risposta non è mai arrivata. Ripetendo la richiesta senza verificare si può creare un lavoro duplicato.

Registra ciò che è stato tentato e riconcilia i risultati incerti prima di riprovare. Conserva risultati intermedi utili in modo che una persona o un’esecuzione ripresa possano continuare da un punto noto.

Rendi lo stato visibile all'utente. "In attesa di approvazione" e "Impossibile confermare l'aggiornamento" sono stati utili perché spiegano cosa succede dopo. Un indicatore rotante non offre tale aiuto. Le persone hanno bisogno di un risultato chiaro, di una dipendenza chiara o di una ragione chiara per cui il lavoro si è interrotto.

Misurare il lavoro che le persone possono utilizzare

Definire il completamento in termini di attività. Una risposta precisa non è sufficiente quando il lavoro richiede anche materiale sorgente corretto, un artefatto salvato o una modifica verificata in un altro sistema.

Valutare questi risultati attraverso esecuzioni ripetute. Includere input incompleti, strumenti non disponibili e accesso revocato. Trasforma gli errori osservati in test prima di modificare il modello, il prompt o la configurazione di recupero. Tieni traccia della quantità di revisione e correzione ancora necessaria per il risultato.

TouAI fornisce elementi costitutivi per la connessione di dati, l'elaborazione di contenuti non strutturati e il recupero della conoscenza. Questi servizi aiutano a fornire le prove di cui un agente ha bisogno. L'applicazione circostante definisce come procede il lavoro e cosa conta come completato.

Il traguardo della produzione viene raggiunto quando le persone possono delegare un compito definito, ispezionare il risultato e gestire le eccezioni senza ricostruire il processo da soli.