结论
需要。 核心改動由 code owner 親自審,外圍改動交給 review bot,漏掉的問題再變成測試,讓 bot 越來越準。
适用于Claude Code 單一團隊的做法2026-07 訪談不代表 Anthropic 全公司
為什麼講這題?
- 先試了 OCR
本來想分享 Open Code Review,實際跑過,review 結果差強人意。
- 自己做一個
試著自己寫一個 review 工具。程式看起來簡單,要做得好卻很難。
- 看別人怎麼做
開始研究別人怎麼設計 review,剛好看到 Claude Code 團隊這篇訪談。
所以今天先講 Claude Code 團隊怎麼審,再回頭看 OCR 的設計和數字。
一個 PR 由誰來審?
图的结构
- 新的 PR
pr - review bot 先審
bot - 動到核心?
core - code owner 核准
owner - 合併
merge bot→corecore→merge· 否core→owner· 是owner→merge· 核准pr→bot· 每個 PR
- review bot 先審
bot 會跑每一個 PR,很多時候大部分審查是它做的。
- 動到核心?
核心指 Claude Code 本體與 system prompt 這類地方。
- code owner 核准
核心改動一定要 owner 核准,他對那塊品質負責。
人工審查怎麼撤掉?
- 全部人審
一開始每個改動都由人審。
- 看 bot 抓得準不準
按檔案範圍觀察,bot 是否抓到全部問題。
- 一塊一塊放手
某塊抓到 100% 的問題,才撤掉那塊的人工。
- 核心永遠有人
最關鍵的改動仍由 code owner 手動審。
漏掉的問題怎麼變成測試?
图的结构
- 發生事故
incident - 找出造成的 PR
find - 改 review bot
improve - PR 加進 eval
add - 跑 eval 不退步
gate add→gate· 每次改動find→improve· 為何沒抓到improve→addincident→find
- 找出造成的 PR
事故檢討時回頭找那個 PR,問 review 要怎麼改才抓得到。
- PR 加進 eval
漏掉一次,測試集就多一個案例。
- 跑 eval 不退步
之後改 bot 或換新模型,都先整套跑過,跑贏才換。
使用者抱怨的行為也一樣處理:排優先序,一個一個做成行為測試。Cat Wu 也承認覆蓋還沒到 100%。1
review bot 準不準,要量哪個數字?
| 指標 | 問的問題 | 低的時候 |
|---|---|---|
| Precision | bot 報的意見裡,幾成是真的問題? | 失去信任很吵,大家不看 |
| Recall | 真的問題裡,bot 抓到幾成? | 事故漏掉,問題流到線上 |
| F1 | 兩者的調和平均,2PR /(P+R) | 單一分數,看整體 |
Cat Wu 說的「抓到 100% 才撤人工」量的是 recall。事故 PR 加進 eval,補的也是 recall。1
| 同一個模型 | Open Code Review | Claude Code(通用 agent) |
|---|---|---|
| 報出的意見 | 889 則,301 則是真的 | 很吵5,980 則,435 則是真的 |
| 每抓到 1 個真問題 | 省人力約 3 則意見 | 約 14 則意見 |
| 抓到的真問題 | 301 / 1,505 | 抓得多435 / 1,505 |
| 平均 token | 約 1/15385K | 5,664K |
| 平均時間 | 1 分 23 秒 | 13 分 6 秒 |
算法:OCR 的 F1 = 2 × 33.9 × 20.0 ÷ (33.9 + 20.0) ≈ 25.1%。每個真問題要看的意見數 = 889 ÷ 301 ≈ 3。2
Open Code Review 怎麼把 precision 做高?
图的结构
- 選檔(程式)
select - 分組(程式)
bundle - 配規則(程式)
rules - 每組一個 agent
agent - 定位與反思
locate - 行級留言
comment agent→locate· 意見bundle→ruleslocate→comment· 過濾後rules→agent· 隔離上下文select→bundle
給 AI 的指示怎麼寫?
| 面向 | 以前 | 現在 |
|---|---|---|
| 長度 | 完整版 | 更短最新模型縮短約八成 |
| 範例 | 放很多範例 | 拿掉範例,模型發揮更好 |
| 寫法 | 易衝突多寫「不要做 X」 | 多給背景 |
| 驗證規則 | 前端改動一律驗證 | 大幅改動介面時,才在本機跑起來看 |
Thariq 說,他們以前把模型限制得太多了。禁令和使用者指示衝突時,模型會搞混。1