AIにも試験問題を
整ったデモだけでは、難しい依頼への対応は分からない。

合格を定義する
Anthropic の評価指針は具体的で測定可能な成功条件から始まる。編集部の提案は一つの仕事を選び、必要な答え、禁止する内容、情報不足で止める条件を書くことだ。 [1]
難問を残す
使用権のある例で小さな非公開問題集を作る。事実の欠落、指示の衝突、範囲外の依頼も入れ、期待する判断を添える。自信のある説明だけで合格にしない。
同じ問題で比較
プロンプトやモデル変更後も同じ問題を使い、版と実際の誤りを残す。失敗例を捨てない。狭い問題集での成功は全顧客、全言語への信頼性を示さない。この記事は方法の提案で、性能試験ではない。


