先給 AI 一份考卷

漂亮的示範,未必能說明流程遇上難題時會怎樣處理。

ZERVUE 編輯部 · 文件解讀 · AI 新局 ·

先寫合格條件

Anthropic 的評估指引以具體、可量度的成功條件為起點。我們建議先選一項工作,寫明可用答案須包含什麼、不可出現什麼,以及資料不足時何時應停下。 [1]

留下難題

用已獲准使用的例子建立小型私人題庫,納入缺少事實、指示互相衝突及超出任務範圍的情況。每題旁邊寫明預期判斷,不要因為系統解釋得自信就給予通過。

比較同一批題目

提示詞或模型改動後,用同一題庫比較,記錄版本及實際錯誤,保留失敗例子。通過小型題庫不等於適用所有客戶、語言及未來輸入。本文提出方法,沒有公布 AI 實測排名。