AI는 끝냈는데, 왜 내 검수는 끝나지 않을까
보고서 한 문장으로 살펴보는 AI 결과물 검증 방법
AI 결과물을 검토하는 부담을 줄이려면, 작업을 맡길 때부터 확인할 항목과 통과 기준을 함께 정해야 한다. 출력이 늘어날 때마다 모든 문장을 같은 강도로 읽는 방식은 버티기 어렵다.
Claude를 사용하면서 결과가 나오는 속도에 비해 검증은 벅차게 느껴졌다. 그래서 결과물을 받은 뒤에만 검토를 시작하는 업무 방식부터 바꿀 필요가 있다고 생각한다.
보고서의 한 문장이 맞는지 확인하려면
가상의 예를 들어보자. 창업자가 AI에게 시장 검토 보고서를 부탁했고, “이 시장은 매년 30% 성장하므로 지금 진출해야 한다”는 문장을 받았다고 하자. 실제 시장에 관한 주장이나 직접 테스트한 결과가 아닌, 검증 방법을 설명하기 위한 예시다.
이 문장에는 성장률이라는 수치와 진출해야 한다는 판단이 함께 들어 있다. 수치가 맞더라도 진출 결정까지 자동으로 따라오지는 않는다. 다음처럼 나눠 확인할 수 있다.
1. 용도와 실패 비용부터 정한다
혼자 참고할 아이디어인지, 투자자에게 보낼 자료인지 구분한다. 외부 의사결정에 영향을 주는 수치라면 원자료 확인을 필수 조건으로 둔다.
2. 주장과 근거를 함께 받는다
“30%의 출처, 조사 기간, 시장의 범위, 원문의 해당 위치를 제시해줘”라고 요청한다. 링크를 여는 데서 멈추지 않고 실제로 그 수치와 조건이 적혀 있는지 확인한다. 찾지 못했다면 미확인으로 남긴다.
3. 수치와 결론을 따로 검사한다
원자료에 연도별 금액이 있다면 성장률을 다시 계산한다. 한 해의 증가율인지 여러 해의 연평균인지도 살핀다. 이어서 성장률만으로 진출을 권할 수 있는지, 비용과 경쟁 조건이 빠지지 않았는지 검토한다.
4. 다른 AI에는 반박할 일을 준다
“이 결론의 근거가 부족한 부분과 결론을 뒤집을 조건을 찾아줘”라고 요청한다. 가능하면 같은 원자료도 제공한다. 교차 검증은 도움이 되지만 검증하는 AI 역시 틀릴 수 있다. 핵심 쟁점은 사람이 원문으로 확인한다.
5. 승인과 중단의 경계를 정한다
출처가 확인되지 않은 수치는 외부 전달 전에 멈추게 한다. 중요한 불확실성이 남아 있다면 결론도 보류한다. 누가 어떤 근거로 승인했는지 확인할 수 있어야 한다.
앞의 가상 사례에서 원자료를 찾지 못했다면 검토 기록을 이렇게 남길 수 있다. “30%의 원자료를 찾지 못했다. 수치와 진출 권고는 보류하고, 조사 기간·시장 범위를 확인할 자료를 먼저 요청한다.” 이는 실제 검증을 수행한 기록이 아니라, 확인 결과와 다음 행동을 구분하는 작성 예시다.
요약은 검토할 부분을 찾는 데 쓸 수 있다. 다만 짧아진 문장에서 조건과 예외가 빠지지 않았는지는 원문으로 돌아가 확인해야 한다.
다음에 AI에게 문서를 맡길 때는 한 문장을 덧붙여보자. “핵심 주장마다 근거와 미확인 사항을 표시하고, 외부에 쓰기 전에 사람이 확인할 항목을 따로 정리해줘.”