Un examen pour l’IA
Une belle démonstration ne dit pas comment un processus traite une demande difficile.

Définir la réussite
Le guide d’Anthropic commence par des critères précis et mesurables. Nous proposons de choisir une tâche et de noter ce qu’une réponse utile doit contenir, éviter, et quand elle doit s’arrêter faute d’information. [1]
Garder des cas difficiles
Créez un petit jeu privé d’exemples utilisables avec autorisation. Ajoutez faits absents, consignes contradictoires et demandes hors périmètre. Notez la décision attendue ; une explication assurée ne suffit pas pour réussir.
Comparer les mêmes cas
Après une modification du modèle ou des consignes, reprenez les mêmes cas et conservez versions et erreurs. Gardez les échecs. Un test restreint ne prouve pas la fiabilité pour tout client ou toute langue. Il s’agit d’une méthode, pas d’un classement mesuré.


