AI에도 시험지를
잘 꾸민 시연만으로 어려운 요청의 처리 방식은 알 수 없다.

합격 기준부터
Anthropic의 평가 안내는 구체적이고 측정 가능한 성공 기준에서 출발한다. 편집부는 업무 하나를 골라 필요한 답, 금지할 내용, 정보 부족으로 멈춰야 할 조건을 쓰기를 제안한다. [1]
어려운 사례 남기기
사용 권한이 있는 예로 작은 비공개 문제집을 만든다. 사실 누락, 지시 충돌, 범위 밖 요청을 넣고 예상 판단을 붙인다. 자신 있는 설명만으로 합격 처리하지 않는다.
같은 문제로 비교
프롬프트나 모델을 바꿔도 같은 사례로 비교하고 버전과 실제 오류를 기록한다. 실패 사례도 보관한다. 작은 시험 통과가 모든 고객과 언어의 신뢰성을 증명하지 않는다. 이 글은 방법 제안이며 성능 시험이 아니다.


