Um exame para a IA
Uma demonstração cuidada não explica como um processo trata um pedido difícil.

Defina a aprovação
A orientação de avaliação da Anthropic começa com critérios específicos e mensuráveis. Propomos escolher uma tarefa e escrever o que a resposta deve incluir, evitar e quando deve parar por falta de informação. [1]
Guarde casos difíceis
Crie um pequeno conjunto privado com exemplos de uso autorizado. Inclua factos ausentes, instruções em conflito e pedidos fora do âmbito. Registe a decisão esperada; uma explicação confiante não basta para aprovar.
Compare os mesmos casos
Após mudar instruções ou modelo, repita os casos e registe versões e erros reais. Guarde os fracassos. Um teste pequeno não demonstra fiabilidade para todos os clientes ou idiomas. Este artigo propõe um método, não uma classificação de desempenho.


