AI 검수 요원을 붙였더니 오히려 작업이 멈춘 이유

안녕하세요. 파이선생 AI 자동화랩의 파이선생입니다.

지금까지 블로그 포스팅부터 유튜브 쇼츠 영상까지 다양한 콘텐츠를 자동으로 만들어 내는 파이프라인을 구축해 왔습니다. 처음에는 봇이 알아서 글을 쓰고 이미지를 올리는 것만으로도 신기하고 기뻤지만, 횟수가 거듭될수록 예상치 못한 문제들이 터지기 시작했습니다. 자동화 봇이 과장된 광고성 문구를 쓰기도 하고, H1 태그를 남발하여 블로그 글 양식을 깨뜨리기도 했으며, 본문에 들어가야 할 이미지가 엑스박스로 누락되는 등 수많은 오류가 발생했죠.

그래서 저는 이 문제를 해결하기 위해 AI 검수 요원(QA Agent, Bella 등)을 파이프라인 중간에 투입하기로 결심했습니다.

AI 검수 요원이 PASS, PENDING, FAIL 상태를 점검하는 자동화 대시보드 예시

검수 요원만 붙이면 실수가 사라질 줄 알았습니다

제가 설계한 아이디어는 꽤 합리적으로 보였습니다. 메인 작가 봇이 글을 다 쓰면 곧바로 티스토리에 올리는 것이 아니라, 중간에 여러 AI 에이전트를 거치도록 파이프라인을 개선한 것이죠.

H1 태그가 남아있거나 본문 길이가 너무 짧으면 'QA Director'가 차단하고, 프롬프트나 이미지 경로에 문제가 있으면 'Visual Director Bella'가 경고를 보내며, 'SEO Agent'는 과도한 키워드 반복을 막아주는 구조를 짰습니다. 이 깐깐한 요원들을 거쳐서 모든 항목이 PASS를 받아야만 티스토리 'Publisher Safety' 봇이 글을 발행하도록 만들었습니다.

처음 이 시스템을 붙였을 때는 마음이 아주 든든했습니다. 기계적인 실수가 원천 차단될 테니 이제 안심하고 자동화를 돌려도 되겠다고 기대했으니까요.

검수 기준이 많아지니 오히려 작업이 멈춰버렸습니다

하지만 현실은 제 기대와 정반대로 흘러갔습니다. 똑똑한 검수 요원들을 붙이고 났더니, 역설적이게도 자동화 작업이 완전히 멈춰버리는 현상이 발생한 것입니다.

가장 큰 원인은 늘어난 검수 기준이었습니다. "본문 안에 H1을 쓰지 말 것", "이미지 경로가 살아있는지 검사할 것", "기존 글을 덮어쓰는지 신규 글인지 Post ID를 확인할 것" 등등 지켜야 할 규칙이 너무나도 빡빡했습니다. 이 중 단 하나라도 어긋나면 상태가 PENDING이나 FAIL로 떨어졌고, 그러면 전체 파이프라인이 그대로 마비되어 버렸습니다.

에이전트들이 너무 많은 것을 체크하려다 보니, 정작 가장 중요한 "빠르고 꾸준한 발행"이라는 자동화 본연의 목적이 무너져 내린 셈입니다. 작은 오류 하나를 잡기 위해 파이프라인 전체가 스톱되는 이 무한 루프 속에서 저는 깊은 딜레마에 빠졌습니다.

QA 요원은 허가자가 아니라 위험을 알리는 보조자입니다

이 뼈아픈 실패를 겪으며 한 가지 중요한 사실을 깨달았습니다. 바로 AI 검수 요원은 최종 발행을 허가하는 '결정권자'가 아니라, 위험 신호를 미리 알려주는 '보조자'여야 한다는 것입니다.

그동안 저는 검수 봇이 PASS를 주면 자동으로 티스토리 발행까지 이어지도록 모든 권한을 위임했습니다. 그러나 시스템이 아무리 고도화되더라도 예상치 못한 예외 상황은 반드시 생깁니다. 이때 봇끼리 서로 룰을 지켰는지 싸우며 파이프라인을 멈추게 두는 것이 아니라, 봇들은 단지 리포트만 생성하고 멈춰야 합니다.

결국 가장 결정적인 순간, 즉 "티스토리 실서버에 수정/발행 버튼을 누르는 작업"이나 "결제 비용이 발생하는 작업"과 같은 고위험 액션은 기계가 아닌 사람, 즉 대표인 제가 직접 판단하고 승인해야만 비로소 파이프라인이 안정적으로 돌아갈 수 있다는 것을 배웠습니다.

검수 항목이 많아질수록 자동화에는 최종 판단 기준이 필요했다

컨트롤 타워, Chief CTO Genie를 세우다

그래서 저는 이 난장판이 된 에이전트 조직을 하나로 통제하기 위해 'Chief CTO Genie'라는 총괄 지휘 에이전트를 새롭게 도입했습니다.

이제 파이선생 AI 자동화랩의 모든 작업은 철저하게 분업화됩니다. 기획, 조사, 집필, 이미지 검수, SEO 점검 등은 각각의 서브 에이전트들이 담당하여 결과를 만들어 냅니다. 하지만 그 결과물들은 곧장 발행으로 이어지지 않습니다. 총괄 리더인 CTO Genie가 모든 서브 요원들의 dry-run 리포트를 취합한 뒤, 어떤 부분에 위험 요소가 있는지 일목요연하게 정리해 저에게 일일 보고(Daily Report)를 올립니다.

그리고 제가 최종적으로 그 리포트를 확인하고 승인(APPROVED) 문구를 내려주었을 때에만, 비로소 티스토리에 글이 발행되는 구조로 전면 개편했습니다.

다음 포스팅부터는 이렇게 CTO를 중심으로 재편된 각 요원들(QA, Bella, Publisher Safety, Post ID Manager 등)이 어떻게 유기적으로 움직여서 안전하고 완벽한 글을 발행해 내는지, 그 구체적인 실전 코드와 작동 과정을 자세히 공유해 드리겠습니다. 감사합니다.