知道了 Agent = Model + Harness,下一個問題是:Harness 到底長什麼樣?我要怎麼檢查自己的環境缺了什麼?
我把它壓成五個問題。AI 表現不好時,不要猜,把這五題從頭問一遍,通常幾分鐘就找得到漏風的地方。
Harness 五大盤點
它做得到什麼?
它看得到什麼?
它記得什麼?
它不能做什麼?
它怎麼知道自己做對了?
前三題決定它能不能做
它做得到什麼?模型本身碰不到你的檔案、跑不了你的程式、發不了你的信。你要它修 bug,如果它沒有執行指令的權限,它只能在對話框裡給你「可能可行」的建議;給了,它就能自己跑測試、看 log、裝套件,真的把 bug 修好。Anthropic 那篇「Building effective agents」有一句我很同意:他們做 SWE-bench 代理時,花在設計工具上的時間比花在提示詞上的還多。工具的定義要從模型的角度看清不清楚、有沒有範例、邊界在哪。
它看得到什麼?模型訓練完的那一刻,它的世界就定格了。它不知道你公司的內部文件、你的資料庫、昨天的財報。要讓它看到,就要接:把文件放進它讀得到的地方、給它搜尋工具、把專案結構整理好。它分析你的產品時只能胡謅,代表你沒把對的資料接進它的視野。這一題就是六塊脈絡裡「知識」那一塊的系統版。
它記得什麼?對話視窗是稀缺的。什麼都往裡塞,它會恍神;什麼都不留,它每次開場都失憶。這一題要設計的是兩層:短期,這場對話談到哪;長期,跨對話的規則與踩坑紀錄。常駐檔那一整組文章講的就是這一題。
後兩題決定它會不會出事、會不會自己修
它不能做什麼?一個有執行權限和檔案寫入權限的 AI,理論上可以在出錯時把你的資料庫 schema 或整個專案目錄刪掉。所以給了手腳之後,一定要同時裝護欄:隔離的沙盒、精細的權限設定、對高風險動作(刪檔、改權限、對外寄信、花錢)強制暫停等人確認。再講一次那個區分:寫在指令裡的「請不要」是指令,設在權限裡的才是護欄。護欄的特性是不管它怎麼想都擋得住。
它怎麼知道自己做對了?這是五題裡最能區分「玩玩」和「上線」的一題。一個沒有回饋迴圈的 AI,寫完就交卷,對不對全憑運氣。有回饋迴圈的做法是:它寫完,系統自動跑測試;測試失敗,系統把錯誤訊息當成新的輸入丟回給它,叫它修,修到過為止。LangChain 那個 13.7 分的實驗,改動最大的一塊就是這裡:在代理宣稱完成之前,強制它對照任務規格再驗一次。
有了第五題,交到你手上的東西已經是它自己修過好幾輪的版本。沒有第五題,你就是那個迴圈,每次都要親自跑、親自貼錯誤、親自催。把自己從迴圈換掉那篇專講這件事。
動手做
有一個固定交給 AI 的工作、想盤點環境的話,先填這張五題自評表,每題填「有/沒有/有但不夠」和「放在哪裡」:
| 問題 | 有嗎 | 放在哪裡(檔案、設定、工具名) |
|---|---|---|
| 它做得到什麼? | ||
| 它看得到什麼? | ||
| 它記得什麼? | ||
| 它不能做什麼? | ||
| 它怎麼知道做對了? |
填不出「放在哪裡」的那一題,就是缺的那一題。想讓 AI 幫你盤,貼這段:
下面是我固定交給你的一件工作。請用五個問題盤點我給你的環境,每題回答「有/沒有/有但不夠」,並指出如果沒有,你會在哪一步出錯: 1. 你做得到什麼?(你能讀、能查、能跑、能改的) 2. 你看得到什麼?(你需要但目前看不到的資料) 3. 你記得什麼?(跨對話該記住但目前沒地方放的規則) 4. 你不能做什麼?(哪些動作做錯了無法挽回,目前有沒有被擋住) 5. 你怎麼知道自己做對了?(目前有沒有任何檢查在你交卷之前跑) 最後只回答一件事:五題裡哪一題最該先補,補了之後哪類錯誤會消失。 工作與目前的環境:(貼上)
護欄那一題想做實的,找方法有AI Agent 權限最小化。第三題還有個現成的健檢:Claude Code 在 2026 年 9 月加了 /skill-doctor,會列出載入了卻沒用到的技能和它們各佔多少 context,順手就能砍。
盤對了的樣子:五題你都答得出「放在哪裡」,不是「應該有」;第四題的答案裡有權限設定或 hook,不只是指令裡的一句「請不要」;第五題的答案裡有一個不需要你在場也會跑的檢查;AI 出錯時,你能指出是五題裡的哪一題漏了。
只想先做一題的話,做第五題。問自己:AI 上次交給我的東西,在它交卷之前,有任何東西檢查過它嗎?如果答案是「只有我」,你就是它的回饋迴圈。這是把自己從迴圈換掉那篇要解決的事。
能做什麼、看到什麼、記得什麼、不能做什麼、怎麼知道做對了。前三題決定能不能做,後兩題決定會不會出事、會不會自己修。護欄不是寫在指令裡的。而第五題的答案如果是「只有我在檢查」,你就是那個迴圈。
站內延伸
- 公式本身 → 表現不好先看環境
- 第五題怎麼建 → 把自己從迴圈換掉
- 第四題的權限設定 → 找方法AI Agent 權限最小化
來源: 五個問題是我自己的整理。相關讀物:Anthropic:Building effective agents(工具設計花的時間比提示詞多、evaluator-optimizer 迴圈);LangChain:Improving Deep Agents with harness engineering(完成前強制驗證的 middleware)。
先問環境缺哪一題,
再換模型
什麼時候看這張:它老是在同一種地方出錯,你每次都自己補一次。
- 答不出「放在哪裡」的那一題,就是缺的那一題
- 不能做什麼那題,要設在權限裡不是寫在交代裡
- 交卷前沒有東西檢查它,你就是那個迴圈
第一個動作問自己:它上次交東西給你之前,有任何東西檢查過嗎?三十秒;只有你,就要補。