Como levar um agente da demonstração à produção?

O verdadeiro teste é se as pessoas podem confiar no trabalho após o término da demonstração.
Uma demonstração tem alguém a assistir. A produção tem alguém a depender do resultado.
Isso muda o padrão. Um agente de IA pode precisar de trabalhar com informações incompletas, aguardar aprovação ou recuperar depois de uma ferramenta deixar de responder. A pessoa que atribuiu a tarefa não deveria ter de reconstruir o que aconteceu antes de decidir se confia no resultado.
Colocar um agente em produção significa projetar para essa responsabilidade. Três questões são importantes: o que é que ele sabe, o que pode fazer e como é que alguém saberá que o trabalho foi feito?
Torne a tarefa inspecionável
Uma conversa contém um contexto útil, mas é um local inadequado para manter o único registo de um processo de negócio. As instruções são revistas. As sessões terminam. Um resumo pode deixar de fora uma confirmação que será importante mais tarde.
Armazene o estado essencial da tarefa onde a aplicação a possa inspecionar: o resultado solicitado, as decisões já tomadas, as ações concluídas e as dependências não resolvidas. Mantenha explícitas as aprovações necessárias. Deixe o modelo escolher como investigar um problema dentro destas restrições.
Esta distinção dá às equipas algo concreto para depurar. Podem verificar se o agente não tinha provas, se entendeu mal o objetivo ou se tentou uma ação antes de um pré-requisito ser cumprido. Cada falha aponta para uma reparação diferente.
Dê a cada ação um limite
Ler informação, preparar uma mudança e aplicá-la acarreta responsabilidades diferentes. Um agente que possa fazer o primeiro não deve obter automaticamente permissão para fazer os outros dois.
Imponha o acesso na aplicação e nas suas ferramentas. Forneça ao agente informação suficiente para compreender estes limites, incluindo quando precisa de aprovação ou deve parar. Os documentos recuperados podem fornecer provas; não devem ter permissão para conceder novas permissões.
A mesma disciplina se aplica ao contexto. O agente necessita de material relevante e atual e de uma forma de revisitar a fonte. Uma grande coleção de documentos vagamente relacionados torna mais difícil determinar qual a instrução ou facto que deve reger a próxima ação.
Projete a interrupção com tanto cuidado como a resposta
Um tempo limite nem sempre significa que uma ação falhou. Um serviço pode ter aceite um pedido mesmo que a sua resposta nunca tenha chegado. Repetir o pedido sem verificação pode criar trabalho duplicado.
Registe o que foi tentado e reconcilie resultados incertos antes de tentar novamente. Preserve resultados intermédios úteis para que uma pessoa ou uma corrida retomada possam continuar a partir de um ponto conhecido.
Torne este estado visível para o utilizador. “Aguarda aprovação” e “Não foi possível confirmar a atualização” são estados úteis porque explicam o que acontece a seguir. Um indicador rotativo não oferece essa ajuda. As pessoas precisam de um resultado claro, de uma dependência clara ou de um motivo claro para a interrupção do trabalho.
Meça o trabalho que as pessoas podem utilizar
Defina a conclusão em termos da tarefa. Uma resposta polida é insuficiente quando o trabalho também requer material de origem correto, um artefacto guardado ou uma alteração verificada noutro sistema.
Avalie estes resultados em execuções repetidas. Inclui entradas incompletas, ferramentas indisponíveis e acesso revogado. Transforme as falhas observadas em testes antes de alterar o modelo, o aviso ou a definição de recuperação. Acompanhe quanta revisão e correção o resultado ainda requer.
O TouAI fornece blocos de construção para ligar dados, processar conteúdo não estruturado e recuperar conhecimento. Estes serviços ajudam a fornecer as provas de que um agente necessita. A aplicação envolvente define como o trabalho prossegue e o que é considerado concluído.
O marco da produção é atingido quando as pessoas podem delegar uma tarefa definida, inspecionar o resultado e lidar com exceções sem reconstruir o processo por si próprias.