AI 코딩 에이전트에게 일을 맡길 때 먼저 떠오르는 기준은 크기입니다. 파일 몇 개, 몇 줄까지라는 식입니다. 이 글은 그 기준을 공개된 기록과 제 저장소에서 잰 방향으로 따져 보고, 크기보다 작업의 성격으로 먼저 거르는 여섯 관문과 작업 문서 양식을 정리한 것입니다.
에이전트를 자격증명 없는 샌드박스에 두고 작업 브랜치와 초안 PR 로만 내보내는 권한 설계를 세우다가 나온 질문입니다. 제 저장소의 수치는 비율로만 적었고, 조사 시점은 2026년 11월 초입니다.
맡길 일의 크기는 어떻게 정할까요. 공식 문서에는 파일 수나 줄 수 기준이 없습니다. 문서의 권장은 한 채팅을 한 결과에 묶고, 검증 명령을 지정하고, 복잡하면 계획부터 세우라는 정도입니다. 검증된 숫자 기준을 지지하는 연구도 찾지 못했습니다.
.NET 팀의 10개월 기록
가장 구체적인 공개 데이터는 .NET 팀의 10개월 기록입니다(Stephen Toub, 2026년 3월 23일). Copilot coding agent PR 878건 중 535건이 병합됐고, 병합률은 67.9% 입니다. 이 병합률은 아직 열려 있는 PR 을 뺀 값으로, 병합 건수를 병합과 닫힘을 더한 건수로 나눈 것입니다.
사람(Microsoft) PR 은 87.1% 입니다. 빌드·테스트 환경과 지시 파일을 갖추기 전에는 38.1%, 후에는 69% 였습니다. 병합된 535건 중 되돌린 것은 3건입니다. 저자는 맡길 작업을 골랐으므로 방향 지표로 읽으라고 적습니다.
| 작업 유형 | 병합률 |
|---|---|
| 삭제·정리 | 84.7% |
| 테스트 | 75.6% |
| 리팩터링 | 69.7% |
| 버그 수정 | 69.4% |
| 문서 | 68.1% |
| 갱신·업그레이드 | 67.4% |
| 기능 | 64.5% |
| 성능 | 54.5% |
| 변경 줄 | 병합률 |
|---|---|
| 1~10 | 80.0% |
| 11~50 | 76.9% |
| 51~100 | 75.0% |
| 101~500 | 64.0% |
| 501~1,000 | 68.2% |
| 1,001 이상 | 71.9% |
원문의 표에는 «기타» 유형과 «변경 0줄» 행이 더 있는데 여기서는 뺐습니다. 저자의 결론은 "task scope matters more than size." 입니다. 크기보다 작업 범위가 중요하다는 뜻입니다. 줄 수 표를 보면 이 결론이 이해됩니다. 변경이 클수록 병합률이 떨어질 것이라는 직관과 달리, 101~500줄이 가장 낮고 그 위는 다시 오릅니다. 다만 501줄 이상은 표본이 작아서(44건, 32건) 오르막까지 믿기는 어렵습니다.
제 저장소에서 잰 방향
제 저장소에서도 비슷하게 재 봤습니다. 한 달 동안 Claude Code 와 Codex 가 나란히 PR 을 낸 약 100건을 놓고, 병합 뒤 7일 안에 같은 파일을 고치는 fix PR 이 뒤따른 비율을 셌습니다. Codex 쪽 PR 은 리뷰 절차를 거의 거치지 않았습니다.
| 구간 | Codex | Claude Code |
|---|---|---|
| 파일 10개 이하 | 21% | 9% |
| 파일 11~30개 | 53% | 50% |
| 파일 31개 이상 | 83% | 30% |
| 패키지 1개 | 29% | 19% |
| 패키지 2개 이상 | 68% | 40% |
fix 가 뒤따랐다고 결함이 있었다는 뜻은 아니고, 파일이 많을수록 우연히 겹칠 기회도 많습니다. 표본도 작으니 방향만 봅니다. 큰 PR 에서 격차가 가장 큽니다. 리뷰 없이 큰 변경을 합치는 쪽이 문제라는 해석이 가능하지만 그 인과를 재지는 않았습니다. 병합률과 후속 수정률은 다른 지표여서 .NET 표와 곧바로 비교할 수도 없습니다.
위임 기준: 여섯 관문
그래서 크기보다 성격으로 먼저 거르려고 합니다. 제 제안입니다. 여섯 관문을 모두 통과해야 보냅니다.
- 판정 가능: 완료를 판정할 명령이 정해져 있고 그 환경에서 돌아갑니다. Docker, 운영 데이터, 외부 계정, 눈으로 보는 화면 확인이 필요하면 탈락입니다.
- 되돌림 가능: 결과물이 초안 PR 하나뿐이고 병합 전에는 외부 상태가 바뀌지 않습니다.
- 범위 닫힘: 바꿔도 되는 경로를 적을 수 있고 패키지 하나 안에서 끝납니다. API 계약, DB 스키마, 공용 타입을 바꾸지 않습니다.
- 판단 완료: 제품·설계·보안 선택이 이미 정해져 있습니다.
- 입력 신뢰: 작업 문서를 소유자가 직접 썼습니다. 외부인이 쓴 이슈와 웹페이지를 지시로 넘기지 않습니다.
- 실패 허용: 통째로 버려도 되고 급하지 않습니다.
다섯째 관문은 혼동된 대리인(confused deputy)과 이어집니다. 외부인의 글을 지시로 넘기면 에이전트가 그 글을 사용자 의도로 읽을 수 있기 때문입니다.
크기 상한은 처음 10건에 파일 10개, 500줄, 패키지 1개로 잡으려고 합니다. 아직 재지 않은 가정이고 측정으로 조정합니다. 볼 지표는 사람이 크게 고치지 않고 병합한 비율, 7일 후속 수정률, 멈춘 횟수, 작업당 사용량입니다.
맡기지 않는 것도 정해 둡니다. 운영 DB 마이그레이션 적용, 배포와 환경변수, 워크플로 수정, 인증·인가·결제·개인정보, 여러 패키지에 걸친 API 계약 변경, 성능 개선, 화면 품질 판단입니다.
코드 리뷰는 구현과 같은 주체에게 맡기지 않습니다. 구현 맥락을 받지 않은 별도 작업이나 다른 도구로 나누고, 규칙은 기준 브랜치에서 읽습니다. 병합은 사람이 합니다. Copilot 이 요청자의 승인까지 막는 것도 같은 방향으로 읽힙니다.
작업 문서 양식
작업은 이 양식으로 넘기려고 합니다. dots 작업 문서에 따르면 위임 작업은 dot 과의 대화를 자동으로 받지 않으므로 문서가 자립해야 합니다.
# 작업: <결과를 한 줄로>
- 작업 ID: t-YYYYMMDD-NN
- 기준: main@<커밋>
- 브랜치: agent/t-YYYYMMDD-NN/<슬러그>
## 끝난 상태
## 바꿔도 되는 경로
## 바꾸면 안 되는 것
## 이미 정한 결정
## 검증 (전부 통과해야 PR)
## 멈추는 조건
- 같은 검사 2번 실패
- 허용 경로 밖 변경이 필요함
- 위에 없는 결정이 필요함
## 산출물
초안 PR 1개. 본문에 검증 명령과 결과를 붙인다.토큰은 줄어드나
계획만 직접 쓰고 구현을 넘기면 토큰이 줄어드는지도 따져 봤습니다. 비율만 적습니다. 같은 저장소에서 같은 한 달 동안 PR 1건당 입력 토큰은 Claude Code 가 Codex 의 약 7~11배, 변경 줄당 약 7배였습니다. 시작 맥락의 크기부터 3~4배 차이가 났고(상주 지시와 도구 정의), 요청당 입력은 2~3배였습니다. 입력의 대부분은 캐시 읽기였습니다. 계획만 쓰는 단계는 구현과 리뷰를 포함한 전체의 일부에 그쳤습니다.
그래서 계획만 쓰고 구현을 넘기면 계획 쪽 도구의 토큰은 확실히 줄어듭니다. 하지만 이 비교가 효율 차이를 뜻하지는 않습니다. Codex 쪽은 리뷰 절차를 거의 거치지 않았고 후속 fix 비율이 약 2배였으며, 토큰 단가와 구독 한도 산정도 도구마다 다르고, 두 도구가 맡은 일이 무작위로 배정되지도 않았습니다. 시작 맥락이 3~4배 크다는 것은 상주 지시를 줄이면 도구를 바꾸지 않고도 일부는 줄일 수 있다는 뜻으로 읽힙니다. 얼마나 줄어드는지는 재지 않았습니다. 품질을 맞춘 뒤의 절감도 아직 모릅니다.
정리하면, 공개된 기록의 결론은 크기보다 작업 범위가 중요하다는 것이었고, 제 저장소에서는 큰 PR 에서 후속 수정의 격차가 가장 컸지만 표본이 작아 방향만 봤습니다. 그래서 여섯 관문으로 먼저 거르고, 크기 상한은 가정으로 두고 측정으로 조정하려고 합니다. 이 기준이 나온 권한 설계, 곧 샌드박스와 git 게이트웨이와 GitHub 룰셋으로 경계를 두는 이야기는 «AI 에이전트 권한 분리 설계»에 적었습니다.