이 블로그의 모노레포에서는 AI 에이전트가 PR 을 리뷰하고 고친 뒤, 머지 게이트가 GitHub 의 상태를 직접 조회해 확인하고 squash 머지까지 합니다. 이 글은 그 게이트가 막은 자리 가운데 «리뷰하고 시험한 코드와 머지하려는 코드가 같은가»를 묻는 자리와, 검증하지 못한 것을 통과로 세지 않는 일을 모은 것입니다.
숫자는 사람이 저 한 명인 이 저장소에서 2026년 8월 5일부터 10월 29일까지 리뷰 루프가 PR 마다 남긴 원장에서 나왔습니다. 글에서 «원문»은 Claude Code 팀이 코드 리뷰를 일곱 겹의 층으로 나눠 설명한 «How the Claude Code team does code review»입니다.
머지 게이트 — 막은 11번 중 8번은 «같은 코드인가»였습니다
같은 기간 머지 게이트는 231번 돌아 220번 머지하고 11번(4.8%) 막았습니다. 막은 게이트별로는 리뷰한 커밋 이후의 변경을 검사하는 게이트에서 6번, UI 평가가 빠졌는지 보는 게이트에서 3번, main 이 앞서 나가 그 조합이 시험되지 않았는지 보는 게이트와 머지 직전에 main 이 움직였는지 다시 확인하는 게이트에서 1번씩이었습니다. 11번 중 8번이 리뷰하고 시험한 코드와 머지하려는 코드가 같은지를 묻는 게이트에서 났습니다. 원문의 5층이 «승인은 특정 커밋 하나에만 유효하다»로, 6층이 머지 큐로 지키는 바로 그 자리입니다. 사례는 아래에 이어서 적었습니다.
리뷰한 코드와 머지할 코드가 같은지 확인합니다
머지 게이트가 막은 11번 중 8번이 이 자리였습니다. 검사한 시점의 대상과 실제로 쓰이는 시점의 대상이 달라지는 틈, TOCTOU(time-of-check to time-of-use)라고 부르는 모양입니다. 원문이 승인을 커밋 하나에 묶고, 머지 큐로 main 과의 조합을 다시 시험하는 것도 이 틈을 막는 일입니다. 우리 쪽에서 실제로 걸린 경우는 리뷰가 끝난 뒤 main 이 같은 파일을 건드린 경우, 리베이스하는 동안 패치 24개 중 2개가 달라진 경우, 리뷰 뒤에 생긴 수정 커밋이 리베이스와 섞여 리뷰한 패치 묶음과 달라진 경우였습니다.
오차단도 한 번 있었습니다. 리뷰 루프 자신의 자동 리베이스가 리뷰한 커밋의 해시를 새로 써서, 게이트가 «리뷰한 커밋이 사라졌다»며 막은 것입니다. PR 의 패치는 그대로였고 해시만 바뀌었습니다. 그 뒤로는 git range-diff 로 «패치가 같은 리베이스»인지 판정해 통과시킵니다.
이때 리뷰 뒤의 커밋이 전부 리뷰 루프의 수정 커밋인지, 패치가 같은지, 리뷰 뒤에 main 이 바꾼 파일과 겹치는 것이 하나도 없는지 같은 조건을 함께 봅니다. 해시로 묶은 승인은 리베이스 같은 기계적인 작업에도 깨집니다. 원문의 «시스템이 보증할 수 없는 커밋»이라는 말을 쓰려면, 무엇을 보증된 변경으로 칠지부터 정의해야 했습니다.
main 이 앞서 나간 경우는 처음에 GitHub 가 걸러 줄 것으로 보고 있었습니다. 머지 게이트를 설계할 때 두 번째 게이트에서 mergeStateStatus 가 CLEAN 이나 UNSTABLE 인지를 보고, 뒤처짐(BEHIND)이면 막도록 적었습니다. 그런데 무료 플랜의 비공개 저장소에서는 GitHub 의 «머지 전에 브랜치를 최신으로 유지하라»는 브랜치 보호 설정을 쓸 수 없고, 그래서 BEHIND 가 아예 계산되지 않았습니다. 텍스트 충돌만 없으면 main 보다 한참 뒤처진 브랜치도 CLEAN 으로 보였고, 실제로 151커밋 뒤처진 브랜치가 있었습니다. 보고가 아니라 GitHub 를 믿는다는 원칙은 맞았지만, GitHub 가 계산하지 않는 값까지 믿을 수는 없었습니다.
그래서 지금은 compare API 로 뒤처진 커밋 수를 직접 세어 막고, 머지하기 직전에 한 번 더 확인합니다. 원문처럼 머지 큐를 두는 대신 «뒤처지면 막고, 리베이스한 뒤 다시 시험한다»는 쪽입니다. 시험을 묶어 돌리는 방식도 따져 봤지만, 실패가 어느 변경의 몫인지 가릴 수 없게 되어 쓰지 않았습니다. 두 확인은 대략 이런 모양입니다.
# PR 브랜치가 main 보다 몇 커밋 뒤처졌는지 직접 센다 (BEHIND 가 계산되지 않는 저장소에서도 동작)
gh api "repos/OWNER/REPO/compare/main...feature-branch" --jq '.behind_by'
# 리뷰한 커밋과 리베이스한 뒤의 커밋이 같은 패치인지 본다 (= 같음, ! 다름)
git range-diff origin/main REVIEWED_SHA HEAD리뷰의 기준도 같은 생각으로 스냅샷에 묶습니다. 리뷰 규칙은 base SHA 에서, 코드는 head SHA 에서 읽어 PR 이 자기가 심사받을 규칙을 고쳐 쓰지 못하게 하고, 이전 SHA 의 리뷰 결과를 새 SHA 로 승계하지 않습니다.
원문을 읽고 나서야, 이 확인에도 빈틈이 있다는 것이 보였습니다.
여섯 번째 게이트가 표시를 믿습니다. 리뷰한 커밋 뒤에 들어온 커밋 가운데, 커밋 메시지에 «Claude 공동 작성»(Co-Authored-By) 표시가 붙은 것은 리뷰 루프의 수정 커밋으로 보고 통과시킵니다. 그런데 이 표시는 같은 브랜치에 커밋을 올린 다른 에이전트 세션의 커밋에도 붙습니다. 원문이 «에이전트의 push»를 시스템이 보증할 수 없는 커밋의 예로 든 바로 그 경우입니다. 표시가 아니라 출처로 판정하도록 바꿔야 합니다.
검증하지 못한 것과 보지 않은 것을 통과로 세지 않습니다
검증이 조용히 실패하면, 그동안의 PR 은 검증을 받은 것처럼 보입니다. 4월에 다른 모델로 돌리던 리뷰어가 두 번 조용히 실패했고, 그사이 최근 PR 30건 가운데 29건이 작성한 쪽의 자기 리뷰만 받고 머지됐습니다. 이미 머지된 PR 두 건을 다시 리뷰하자 한 건에서 critical 1건과 high 4건, 다른 한 건에서 critical 1건과 high 2건이 나왔습니다.
PR 을 만들기 전에 로컬 diff 를 리뷰하는 파일럿에서는, 판정 에이전트가 전부 죽어도 결과가 PASS 로 집계되는 결함이 있었습니다. «검증을 못 했다»와 «검증했고 문제없다»가 같은 출력이었던 것입니다. 검증하지 못한 상태가 통과 쪽으로 흘러가는, 흔히 fail-open 이라고 부르는 실패입니다. 리뷰어의 출력 형식과 게이트가 읽는 형식이 어긋나면 같은 일이 생깁니다. high 가 있어도 게이트가 0건으로 읽게 됩니다. 도구에 들어 있는 리뷰 명령을 통째로 가져다 쓰지 않은 이유이기도 합니다.
원문이 REVIEW.md 에 적으라고 한 «요약은 개수로 시작하고, 고칠 것이 없으면 그렇다고 말하라»는 문장을, 저는 이 맥락에서 읽었습니다. 0 이 «세어 보니 0»인지 «세지 못해서 0»인지를 출력에서 가를 수 있어야 합니다.
보지 않은 것을 결과에 적게 하는 것도 같은 문제의 다른 면입니다. 서버 쪽 리뷰어가 자기 자신을 고치는 PR 을 두 번 리뷰했는데, 두 번 다 입력 예산 때문에 변경 파일 16개 중 13개만 봤고, 빠진 셋이 하필 핵심 처리 코드와 리뷰어 자신의 런타임 파일, 그 테스트였습니다. 다행히 결과에 «검토 누락»으로 적혀 있어서, 그 결과를 «16개 파일을 다 본 리뷰»가 아니라 «13개 파일 범위의 리뷰»로 읽을 수 있었습니다. 그 이야기는 Flue 로 에이전트 두 개를 만든 글에 적었습니다.
입력이 리뷰가 볼 수 있는 범위를 정한다는 것은 다른 데서도 보였습니다. PR 전 리뷰와 PR 시점 리뷰를 비교하는 파일럿(지금까지 10건, 아직 결론은 없습니다)에서, PR 시점 리뷰가 PR 본문의 사실 오류를 잡았습니다. 로컬 diff 만 받는 리뷰는 원리적으로 볼 수 없는 것으로, diff 를 PR 이 밝힌 의도에 대 보라는 원문 2층의 문장이 가리키는 자리입니다.
검사 자체가 못 보는 것도 있습니다. 코드 리뷰와 E2E 23케이스를 통과한 UI 변경이, 실제 렌더를 측정했을 때에야 결함을 드러낸 일이 있었습니다. 배포 헬스체크(루트 경로 GET 이 200~399 인지)는 빌드 인자가 번들에 들어갔는지, 본문이 맞는지, OAuth redirect_uri 가 맞는지를 보지 못합니다. 그래서 배포 뒤에 운영 실물을 읽기 전용으로 확인하는 단계를 따로 두었습니다. 원문 7층의 빠른 탐지에 해당하는 자리입니다.
주석 정리 규칙을 레포 전체에 적용하던 중에도 비슷한 일이 있었습니다. 주석만 지운 파일 543개짜리 PR 에서, 리뷰 루프는 UI 평가를 «해당 없음»으로 건너뛰었습니다. 그런데 Tailwind 는 쓰이는 클래스를 찾을 때 주석의 글자까지 훑기 때문에, 앱 6개의 생성 CSS 에서 유틸리티 30개가 빠져 있었습니다. 머지 게이트가 «해당 없음이라는 근거가 생성 CSS 의 차이를 보지 못했다»며 막았습니다. AST 로 «주석만 바뀌었다»를 확인하는 검사는 원리적으로 이것을 보지 못합니다. 실제 운영 영향은 없었는데, 빠진 유틸리티를 쓰는 곳이 없었기 때문입니다.
원문은 «검사가 무엇을 놓칠지 말할 수 없다면, 빠른 승인 대신 진짜 리뷰를 요청하라»고 적었습니다. 사람이 한 명뿐인 쪽에서는 이 문장이 «검사가 무엇을 못 봤는지를 결과에 적게 하라»로 읽혔습니다. 리뷰 완료나 지적 0건이 병합 승인이 아니라는 것도 규칙에 적어 두었고, 리뷰 댓글에 적힌 제안 명령은 그대로 실행하지 않으며, 리뷰를 조율하는 코드의 테스트가 통과한 것을 모델이 정확하다는 증거로 치지 않습니다. 원문이 자기들의 Code Review 제품은 승인이 아니라 지적을 게시한다고 한 것과 같은 선입니다.
정리하면, 머지 게이트가 막은 11번 중 8번은 리뷰하고 시험한 코드와 머지하려는 코드가 같은지를 묻는 자리였습니다. 그 확인은 커밋 해시나 GitHub 가 계산해 주는 값 대신 패치 대조와 직접 센 뒤처짐으로 옮겨 갔고, 커밋의 표시를 믿는 여섯 번째 게이트는 아직 빈틈으로 남아 있습니다. 검증하지 못한 것과 보지 않은 것은, 그 사실이 결과에 남아 있어야 «문제없음»으로 읽히지 않습니다. 이 이야기가 나온 일곱 겹의 리뷰와 PR 208건의 원장 전체는 «AI 코드 리뷰를 만들 때 주의할 점»에 적었습니다.