[아이뉴스24 정종오 기자] 2023년 뉴욕남부연방법원에 제출된 준비서면에는 실존하지 않는 판례 6건이 인용돼 있었다. 원고 대리인이 ChatGPT로 작성한 결과였다. 그는 AI에게 “이 판례들이 실재하는가”라고 되물었고 “실재하며 Westlaw와 Lexis에서 확인할 수 있다”는 답을 받자 데이터베이스를 직접 열어보지 않았다.
법원은 5000달러의 제재금을 부과했다(Mata v. Avianca). 2025년 10월에는 딜로이트 호주법인이 정부 용역 보고서에 실존하지 않는 논문과 판결문을 인용한 사실이 드러나 참고문헌 141개 중 14개를 삭제한 수정본을 다시 제출하고 용역비 일부를 환불했다.
할루시네이션(사실이 아니거나 존재하지 않는 정보를 마치 진실인 것처럼 AI가 그럴듯하게 생성해 내는 오류)이 위험한 이유는 오류가 ‘틀린 모양’이 아니라 ‘맞는 모양’으로 오기 때문이다. 없는 판례가 실제와 같은 사건번호와 판시 형식을 갖추고, 없는 논문이 실존 교수의 이름을 달고 나타난다. 눈으로 걸러 지지 않는 오류는 절차로만 걸러진다.
법원행정처는 지난 3월 31일 ‘AI 활용 허위 주장·증거 제출 대응 TF’의 결과로 소송비용 부담, 서면 진술 제한, 판결문 적시, 변협 징계 의뢰 방안을 제시했다. 국내외 대응의 방향은 같다. AI 활용 자체를 금지하지는 않되 미검증에는 책임을 묻는다. 기업은 세 가지 질문에 답할 수 있어야 한다.
첫째, 무엇을 어떤 원천과 대조해 검증하는가.
법령·판례·규격·수치는 국가법령정보센터, 판례 검색, 표준 문서, 감사받은 재무자료 등 공식 원천에서 존재와 내용을 직접 확인해야 한다. Mata 사건의 교훈은 명확하다. AI에게 다시 물어보는 것은 검증이 아니다. 다만 모든 문서에 같은 강도를 적용할 수는 없다.
외부 제출물과 의사결정 근거, 권리관계 서류일수록 전수 대조로 강도를 높이고 내부 참고용은 표본 검증으로 완화하는 것이 현실적이다. 한 가지 덧붙이자면, 검증은 그 분야를 아는 사람만 할 수 있다. AI가 초안을 대신 쓰는 시대일수록 검증 가능한 전문성을 조직에 유지하는 일이 리스크 관리의 문제가 된다.
둘째, 사람은 어느 길목에 서 있는가.
‘사람의 개입’을 모든 업무에 사람을 남기는 것으로 이해하면 절차만 무거워진다. 취지는 오류가 손해로 전환되는 길목에 실질적 검증 지점을 배치하는 데 있다. 대외 발신, 공식 문서화, 권리관계 확정, 개인정보·기밀 처리, 권한 변경, 비용이 발생하는 결정이 그 길목이다. 경계할 것은 형식적 개입이다.
승인 버튼만 누르는 구조는 검토했다는 외관이 남는 만큼 주의의무 위반이 오히려 뚜렷해진다. 개입 지점마다 누가, 무엇을 어떤 원천과 대조해 어느 수준까지 확인하는지가 정의돼야 하고 그 사람에게는 반려하고 중단시킬 실권이 주어져야 한다.
셋째, 검증했음을 무엇으로 증명하는가.
분쟁에서 필요한 것은 검증했다는 사실이 아니라 검증했음을 보여주는 문서다. 언제 어떤 도구와 프롬프트로 무엇이 생성됐는지, 누가 어떤 원천과 대조해 무엇을 수정·반려했는지, 최종 사용을 누가 어떤 근거로 결정했는지가 남아야 한다.
AI 컴플라이언스의 출발점은 ‘AI 지도’를 그리는 일이라고 했다. 지도를 그렸다면 다음은 그 위에 검증 지점을 표시하는 일이다. 2024년 캐나다에서 에어캐나다는 챗봇의 잘못된 안내에 대해 “챗봇은 별도의 법적 존재”라고 항변했는데 받아들여지지 않았다.
회사 채널로 나간 정보는 출처가 사람이든 AI든 회사의 표시로 귀속된다. 작성자·검토자·승인자·법무의 책임을 구분하고, ‘AI 보조 작성’ 표시 기준을 세우며 할루시네이션의 존재와 검증 방법에 대한 이해를 전 임직원 수준으로 끌어올리는 교육이 그래서 필요하다.
AI는 앞으로도 그럴듯한 오류를 만들어낼 것이다. 문제는 그 오류가 회사 밖으로 나가는 길목에 누가 서 있느냐다. “우리 회사는 검증했다는 사실을 무엇으로 증명할 수 있는가?”로 귀결된다.
/정종오 기자(ikokid@inews24.com)