Human Premium

AI 답변의 진위를 검증할 수 있는 효과적인 방법

최근 일선 행정 현장에서 생성형 인공지능(AI)이 작성한 초안을 바탕으로 기안문이나 정책 보고서를 작성하는 사례가 늘고 있습니다. AI는 업무의 효율성을 획기적으로 높여주는 유용한 도구임이 틀림없지만, 동시에 그럴듯한 거짓말을 지어내는 이른바 ‘환각(Hallucination)’ 현상을 본질적으로 내포하고 있습니다. 공공 행정에서 잘못된 수치나 인용된 법령의 오류는 정책의 신뢰성을 심각하게 훼손하고 주민의 권익에 직접적인 피해를 줄 수 있습니다. 따라서 AI가 도출한 결과물을 그대로 수용하지 않고, 그 진위 여부를 공직자가 직접 교차 검증하는 체계를 갖추는 것은 선택이 아닌 필수입니다. 오늘은 AI의 산출물을 행정적 기준에 맞춰 효과적으로 검증하는 실무적 방법론에 대해 말씀드리고자 합니다.

먼저, 가장 기본적이면서도 강력한 검증 방법은 ‘공식 행정 정보 시스템을 통한 원문 대조’입니다. AI는 학습된 데이터를 바탕으로 문장을 통계적으로 조립할 뿐, 실시간으로 변동되는 법령의 개정 사항이나 최신 행정 통계를 완벽하게 반영하지 못하는 경우가 많습니다. 예를 들어, AI에게 “최근 개정된 고향사랑기부금법의 세액공제 한도와 지자체 답례품 규정을 요약해 주십시오”라고 지시했을 때, AI가 제시한 답변은 과거의 폐기된 조항이거나 타 지자체의 유사 조례를 혼합한 결과물일 수 있습니다. 이 경우 결과물을 즉시 문서에 반영하지 마시고, 국가법령정보센터나 통계청 국가통계포털(KOSIS), 혹은 소관 부처의 최신 보도자료 원문과 반드시 대조해 주십시오. AI가 제시한 수치와 고유명사는 ‘확인해야 할 검색 키워드’ 정도로만 활용하고, 최종적인 사실관계 확정은 반드시 공인된 시스템을 통해 이루어져야 합니다.

다음으로, 여러 개의 AI 모델을 동시에 활용하여 답변의 일관성을 비교하는 ‘다중 모델 교차 검증’ 방식을 활용해 주십시오. 챗GPT뿐만 아니라 제미나이(Gemini)나 클로드(Claude) 등 각기 다른 알고리즘과 강점을 가진 언어 모델들에게 동일한 정책적 질문을 던져보는 것입니다. 만약 특정 사안에 대해 모델마다 모두 상이한 수치나 근거를 제시한다면, 해당 정보는 AI의 환각이 개입되었을 확률이 매우 높다는 방증입니다. 반대로, 복수의 모델에서 공통으로 교차 확인되는 사실관계라면 상대적으로 신뢰도가 높다고 판단할 수 있습니다. 행정 실무에서는 이처럼 다양한 모델의 결과물을 비교 분석하여 정보의 타당성을 걸러내는 역량이 필수적입니다.

또한, AI가 생성한 결과물을 역으로 해체하여 검증하는 질문 기법을 거치시기 바랍니다. 단순히 문맥이 자연스러운지만 보지 마시고, 육하원칙(5W1H)에 정책적 목표와 기획 의도(+1)를 더한 구조로 논리적 허점을 찾아내야 합니다. “이 정책 초안에 법적 수혜 대상(Who)이 명확히 특정되었는가”, “제시된 예산 확보 방안(How)이 우리 지자체의 실정에 부합하는가”, 그리고 “이 정책이 궁극적으로 달성하고자 하는 행정적 목표(+1)를 향해 있는가”를 꼼꼼히 따져 물어야 합니다. 의심스러운 대목이 있다면 AI에게 “네가 제시한 A라는 통계의 출처가 정확히 어디인지 다시 확인해”라고 출처를 되묻는 핀셋 질문을 던져 논리의 투명성을 압박하는 것도 좋은 방법입니다.

결론적으로, 아무리 AI 기술이 고도화되더라도 행정 처분의 법적 책임과 정책의 최종 결정권은 공직자 여러분에게 있습니다. AI가 빠르고 방대한 정보의 초안을 제공해 줄 수는 있지만, 그 정보가 현행 법령에 부합하는지 판별하는 것은 오직 인간의 몫입니다. AI의 산출물을 맹신하지 않고 깐깐하게 의심하며, 공식 데이터로 사실을 확인한 뒤 행정적 통찰력을 더해 정책을 완성해 내는 역량, 그것이 바로 기술이 발전할수록 더욱 빛을 발하는 ‘휴먼 프리미엄’입니다. 여러분의 철저한 검증 과정을 거칠 때에만, AI는 비로소 행정의 신뢰도를 높이는 진정한 실무 파트너로 자리매김할 수 있을 것입니다.

← 글 목록으로