Claude Code 團隊還需要 code review 嗎?

结论

需要。 核心改動由 code owner 親自審,外圍改動交給 review bot,漏掉的問題再變成測試,讓 bot 越來越準。

  1. 產品工程約 65% 的 PR 由內部版 Claude 合併,但核心程式仍有人親自看。1
  2. 人工審查是一塊一塊撤掉的,花了六個多月。1
  3. 給 AI 的指示變短了,少寫禁令,多給背景。1
  4. 信任來自 eval:事故 PR 都加進測試集。1 量的時候要分 precision 和 recall,阿里巴巴的 Open Code Review 刻意拿 recall 換 precision。2

适用于Claude Code 單一團隊的做法2026-07 訪談不代表 Anthropic 全公司

1

為什麼講這題?

  1. 先試了 OCR

    本來想分享 Open Code Review,實際跑過,review 結果差強人意。

  2. 自己做一個

    試著自己寫一個 review 工具。程式看起來簡單,要做得好卻很難。

  3. 看別人怎麼做

    開始研究別人怎麼設計 review,剛好看到 Claude Code 團隊這篇訪談。

所以今天先講 Claude Code 團隊怎麼審,再回頭看 OCR 的設計和數字。

2

一個 PR 由誰來審?

PR 審查分工
图的结构
  • 新的 PR pr
  • review bot 先審 bot
  • 動到核心? core
  • code owner 核准 owner
  • 合併 merge
  • bot → core
  • core → merge · 否
  • core → owner · 是
  • owner → merge · 核准
  • pr → bot · 每個 PR
  1. review bot 先審

    bot 會跑每一個 PR,很多時候大部分審查是它做的。

  2. 動到核心?

    核心指 Claude Code 本體與 system prompt 這類地方。

  3. code owner 核准

    核心改動一定要 owner 核准,他對那塊品質負責。

內部版 Claude 合併的產品工程 PR

65%

Cat Wu 在訪談中的說法

3

人工審查怎麼撤掉?

  1. 全部人審

    一開始每個改動都由人審。

  2. 看 bot 抓得準不準

    按檔案範圍觀察,bot 是否抓到全部問題。

  3. 一塊一塊放手

    某塊抓到 100% 的問題,才撤掉那塊的人工。

  4. 核心永遠有人

    最關鍵的改動仍由 code owner 手動審。

4

漏掉的問題怎麼變成測試?

事故回饋到 eval
图的结构
  • 發生事故 incident
  • 找出造成的 PR find
  • 改 review bot improve
  • PR 加進 eval add
  • 跑 eval 不退步 gate
  • add → gate · 每次改動
  • find → improve · 為何沒抓到
  • improve → add
  • incident → find
  1. 找出造成的 PR

    事故檢討時回頭找那個 PR,問 review 要怎麼改才抓得到。

  2. PR 加進 eval

    漏掉一次,測試集就多一個案例。

  3. 跑 eval 不退步

    之後改 bot 或換新模型,都先整套跑過,跑贏才換。

使用者抱怨的行為也一樣處理:排優先序,一個一個做成行為測試。Cat Wu 也承認覆蓋還沒到 100%。1

5

review bot 準不準,要量哪個數字?

指標問的問題低的時候
Precisionbot 報的意見裡,幾成是真的問題?失去信任很吵,大家不看
Recall真的問題裡,bot 抓到幾成?事故漏掉,問題流到線上
F1兩者的調和平均,2PR /(P+R)單一分數,看整體

Cat Wu 說的「抓到 100% 才撤人工」量的是 recall。事故 PR 加進 eval,補的也是 recall。1

010203040PrecisionRecallF1%33.92025.17.228.911.6Open Code ReviewClaude Code(通用 agent)
同一個模型(Claude 4.6 Opus),兩種做法(%)· 來源:OCR 官方 benchmark
同一個模型Open Code ReviewClaude Code(通用 agent)
報出的意見889 則,301 則是真的很吵5,980 則,435 則是真的
每抓到 1 個真問題省人力約 3 則意見約 14 則意見
抓到的真問題301 / 1,505抓得多435 / 1,505
平均 token約 1/15385K5,664K
平均時間1 分 23 秒13 分 6 秒

算法:OCR 的 F1 = 2 × 33.9 × 20.0 ÷ (33.9 + 20.0) ≈ 25.1%。每個真問題要看的意見數 = 889 ÷ 301 ≈ 3。2

6

Open Code Review 怎麼把 precision 做高?

確定的事交給程式,判斷交給 agent
图的结构
  • 選檔(程式) select
  • 分組(程式) bundle
  • 配規則(程式) rules
  • 每組一個 agent agent
  • 定位與反思 locate
  • 行級留言 comment
  • agent → locate · 意見
  • bundle → rules
  • locate → comment · 過濾後
  • rules → agent · 隔離上下文
  • select → bundle
  1. 選檔(程式)

    程式決定哪些檔案要審、哪些過濾掉,不讓模型偷懶跳過大 PR 裡的檔案。

  2. 分組(程式)

    相關檔案綁成一組,例如中英文兩個語系檔。每組一個 sub-agent,上下文互相隔離,可以並行。

  3. 配規則(程式)

    用樣板引擎依檔案特性配規則,模型只看跟這組有關的規則。

  4. 每組一個 agent

    agent 只做需要判斷的事:讀完整檔案、搜尋程式碼、找上下文。

  5. 定位與反思

    獨立模組修正留言的行號,再檢查內容對不對,錯的不留言。

它要解的是通用 agent 做 review 的三個問題:大 PR 會挑著看、留言行號跑掉、prompt 小改品質就晃。根因是純靠自然語言,流程沒有硬約束。2

7

給 AI 的指示怎麼寫?

面向以前現在
長度完整版更短最新模型縮短約八成
範例放很多範例拿掉範例,模型發揮更好
寫法易衝突多寫「不要做 X」多給背景
驗證規則前端改動一律驗證大幅改動介面時,才在本機跑起來看

Thariq 說,他們以前把模型限制得太多了。禁令和使用者指示衝突時,模型會搞混。1

8

回去可以檢查什麼?

完整逐字稿見 Simon Willison 的文章,1 原始對談影片見 AI Engineer World's Fair 2026。3

正在打开交互图…