[아이뉴스24 안세준 기자] "AI임을 알렸으니 책임이 없다. 이용자 확인을 눌렀으니 책임이 없다는 구조여서는 안 됩니다. 결과를 책임지게 해야 됩니다."
박태웅 국가인공지능(AI)전략위원회 공공AX분과장은 12일 서울 중구 명동 포스트타워에서 열린 '2026 인공지능서비스 이용자 보호 컨퍼런스'에서 이같이 말했다. AI 에이전트가 이용자 지시를 벗어나 거래하거나 사고를 일으켰을 때 책임을 이용자에게만 돌려서는 안 된다는 지적이다.
AI 에이전트 오작동, 사업자·결제사 1차 책임 구조 마련돼야
AI 에이전트는 이용자가 설정한 목표에 따라 스스로 계획을 세우고 외부 서비스에 접근해 실제 행동까지 수행하는 모델이다. 단순히 질문에 답하는 생성형 AI와 달리 상품 구매와 예약, 이메일 발송 등을 이용자 대신 처리한다.
문제는 AI가 이용자로부터 위임받은 권한을 예상하지 못한 방식으로 사용할 수 있다는 점이다. 이용자가 구매를 지시했더라도 AI가 승인하지 않은 거래를 진행하거나 개인정보를 외부에 제공하는 등 피해로 이어질 수 있다.
박 분과장은 "이용자의 명시적 지시를 벗어난 거래가 발생했을 때 에이전트 제공자와 결제 사업자가 1차로 책임을 질 수 있는 구조가 돼 있어야 한다"며 현재는 이러한 책임 구조가 갖춰져 있지 않다고 우려했다.
AI 에이전트 신원과 행동 이력을 확인할 수 있는 장치도 필요하다고 했다. 그는 "에이전트가 내가 시키지 않은 어떤 일을 하기 시작했을 때 그것을 즉시 알 수 있고 중단시킬 수 있어야 된다"며 사고 발생 시 행동 기록을 추적할 수 있도록 관련 체계를 마련해야 한다고 주장했다.
KISDI, 이용자 보호 안내서 초안 공개…권한·피해구제 등 8개 항목
구체적인 이용자 보호 방안도 제시됐다. 조성은 정보통신정책연구원(KISDI) 연구위원은 이날 'AI 에이전트 서비스 이용자 보호의 출발점과 정책 과제'를 주제로 발표하면서 현재 개발 중인 'AI 에이전트 이용자 보호를 위한 안내서' 초안을 공개했다.
안내서 초안에는 총 8개의 이용자 안내 항목이 담겼다. 구체적으로 △AI 에이전트 행위와 권한 범위 △자동 실행 여부·이용자 승인 시점 △개인정보·외부 서비스 연계 범위 △실행 내역·변경 이력 정보 △권한 변경·자동화 중지 방법 △AI 의사결정·추천 기준 △AI의 한계·이용자 확인 사항 △이의제기와 피해구제 절차 등이다.
사업자는 이용자가 AI에 어떤 권한을 부여하고 있는지, AI가 실제로 어떤 정보를 활용하고 행동하는지 이해할 수 있도록 안내해야 한다는 취지다. 문제가 발생했을 때 이용자가 권한을 변경하거나 실행을 중단하고 피해구제를 요청할 수 있는 방법도 포함됐다.
조 연구위원은 "책임이 명확하지 않은, 누구도 책임을 지지 않은 상황에서는 이용자가 피해를 당할 수밖에 없다. 결국 이용자 책임이 될 수밖에 없는 구조"라며 "이런 구조에서 서비스가 대중화될 경우 여러 가지 위험 요소가 생기게 될 것"이라고 안내서 마련 취지를 설명했다.
KISDI는 올해 연구반과 자문단을 구성해 안내서 개발을 추진해 왔다. 방송미디어통신위원회와도 연구 방향·정책적 활용 방안을 협의하고 있다. 안내서에 대해 조 연구위원은 "아직은 초안으로 외부 검토를 받고 있는 단계"라면서도 "올해 안에 발표하기에는 아직 부족한 면이 있다"고 밝혔다.
/안세준 기자(nocount-jun@inews24.com)