dogfood 를 활용한 하네스를 만들 수 있는지 연구 중

dogfood라는 개념을 만난 배경

dogfood. 개념을 명확하게 이해하고 있는 것은 아닌데, 대략 이해한 바대로 설명을 드리자면, 제가 만든 서비스를 제가 직접 그 사용자의 입장이 돼서 그 서비스를 개발하는 방법론(?)이라고 이해하고 있습니다.

원래는 AI에게 필요한 내용을 코드로 구현시키고 제가 직접 웹브라우저를 통해서 검수를 하는 방식으로 개발을 이어가고 있습니다. 근데, 이것 마저도 AI에게 맡길 수 있으면 더 빠르게 더 정확하게 생산성 있게 개발을 할 수 있지 않을까 하는 고민이 생기게 됐습니다.

페르소나 기반 dogfood 하네스의 구상

이 서비스를 이용할 것으로 예정하는 대상의 페르소나를 몇몇 구성하고, 각자 직접 웹브라우저 mcp를 통해 로컬에 구동된 서비스를 접속해서 정의된 내용에 의해 그 서비스를 실제 필요로 하는 업무에서 도움을 받고자 하는 기대하는 부분을 조작하게 해서 예상대로 도움이 됐는지 어디서 막혔는지 등을 일일이 보고 받고 종합해서 보완할 부분을 보완해보는 전략입니다.

지금까지 시도한 것과 남은 과제

이러한 일련의 과정을 위해서는 서버 구동 및 페르소나별로 계정 생성, 시나리오 작성 등을 세세하게 하네스로 구성해야 합니다. 지금까지 시도한 것은 우선 각 페르소나가 병렬적으로 playwright mcp를 제어할 수 있게 한 것입니다.

계정 공유 문제

그 이외에는 각 페르소나가 각 계정을 가져야 하는데, 하나의 계정을 공유하는 문제가 있어서 이부분에 대한 조치가 필요합니다.

페르소나 갯수와 토큰 비용의 트레이드오프

추가로는, 페르소나의 갯수가 꼭 6개나 필요한지 입니다. 각 agent가 playwright mcp를 이용해서 이것저것 실험을 하게 되면, 토큰 사용이 기하급수적으로 늘어납니다. 제 생각에는 3-4개 정도로만 구성해도 충분할 거 같아서, 갯수는 줄이고, 워크플로우가 더 매끄러워질 수 있도록 하네스를 더 다듬을 예정입니다.