안하무인 AI가 개인정보 함부로 쓴다?…'AI 위한 보안' 경고등 [IT돋보기]

[아이뉴스24 김혜경 기자] 인공지능(AI) 주도의 정보통신기술(ICT) 패러다임 변화가 전망되지만 AI 기술의 보안위협에 대한 대비는 미흡하다는 분석이 나왔다. 향후 프라이버시 침해와 데이터 관련 위협이 높을 것으로 예상되는 가운데 'AI를 위한 보안(Security for AI)' 도입이 시급하다는 지적이다.

17일 한국인터넷진흥원(KISA)에 따르면 AI 기술의 보안위협을 분류해 현재‧미래 위협과 대응 준비도를 5점 척도로 평가한 결과 서비스 이용 부문의 위험도가 각각 3.97점, 4.22점으로 집계돼 가장 높은 것으로 나타났다. 대응 준비도에서 낮은 점수를 받은 곳은 데이터 부문으로 2.4점에 그쳤다.

KISA는 AI 기술을 공급자와 이용자 측면에서 ▲시스템 ▲기기‧인프라 ▲데이터 ▲네트워크 ▲서비스 이용 등으로 분류해 조사를 실시했다.

현재 위험도는 ▲서비스 이용(3.97점) ▲네트워크(3.2점) ▲기기‧인프라(3.17점) ▲시스템(3.07점) ▲데이터(2.81점) 순으로 나타났다. 미래 위험도는 서비스 이용이 가장 컸지만 데이터 부문의 현재 대비 미래 위험도의 증가폭이 가장 컸다. 서비스 이용의 대응 준비도는 3.05점으로 보통 수준에 불과한 것으로 나타났다.

가트너에 따르면 올해 AI 소프트웨어 시장 매출은 전년 대비 21.3% 늘어난 74조2천억원으로 전망된다. 특히 가트너는 지식관리·가상비서·자율주행 부문의 급성장과 AI 클라우드 서비스·딥러닝·머신러닝 기술이 2~5년 내 상용화될 것으로 내다봤다. KISA는 "AI 산업 성장에 따라 등장하는 보안위협에 대응하기 위해 'AI를 위한 보안(Security for AI)'이 필요하다"고 제언했다.

KISA는 대표적인 보안위협으로 ▲AI 모델 공격 ▲자율주행차 오작동 등 안전성 문제 ▲프라이버시 침해를 꼽았다. 이용자 데이터를 수집해 데이터를 학습하고 AI 제품‧서비스로 다시 제공되는 데이터 흐름에 따라 다양하게 발생한다고 분석했다.

우선 AI 모델 공격은 크게 학습과 활용단계 공격으로 나뉜다. 학습데이터에 오염된 데이터를 주입해 정확도를 떨어뜨리거나 학습된 AI 모델을 활용하는 단계에서 데이터를 변조하는 방식 등이 있다. 미국 국립표준기술연구소에서는 '데이터 포이즈닝(Data poisoning)'을 소개한 바 있다. 데이터 포이즈닝은 AI 학습에 사용되는 데이터셋을 조작해 훈련된 모델의 행동을 제어하는 공격 행위다.

자율주행차 사고, AI 의사 오진 등 기술의 불확실성이 오히려 안전을 저해할 수 있다는 우려도 존재한다. AI 자율성은 인간의 실수를 줄이고 안전도를 높일 수 있다는 장점도 있지만 알고리즘 불완전성 등의 요인으로 사고 발생 가능성도 고려해야 한다는 것.

AI가 빅데이터·알고리즘을 이용해 개인을 식별하거나 AI 서비스가 해킹될 경우 개인정보 유출 문제도 발생한다. 특히 음성‧얼굴인식은 특정 개인을 식별할 수 있는 방식이 많으므로 익명성이 완전하게 보장될 수 없다고 KISA는 지적했다. 최근 AI 스피커, 음성비서 등 관련 서비스가 생활 속에 자리잡으면서 이용자 프라이버시가 상시 침해받을 수 있는 '프라이버시 로깅(Privacy logging)' 환경이 조성되고 있다.

KISA는 AI 제품과 서비스를 대상으로 '보안 중심 설계(Security by Design)'가 필요하다고 강조했다. 이는 위험 발생 가능성을 사후에 고려하는 것이 아닌 제품‧서비스 설계 초기 단계부터 보안을 강화한 사전 예방적 접근방식이다. KISA는 "AI 시스템을 개발할 때 예방 메커니즘과 제약 조건을 강화해 제어 가능한 개발을 보장해야 한다"고 설명했다.

'프라이버시 중심 설계(Privacy by Design)'도 필요하다. KISA는 "서비스 설계 시 개인정보 라이프사이클에 따라 대책을 수립해 일관적으로 추진해야 한다"며 "새로운 기술은 새로운 유형의 프라이버시 침해를 가져올 수 있으므로 AI 기술을 대상으로 상시적 영향평가를 수행하고 제도적 대안을 마련해야 한다"고 전했다.

김혜경 기자의 다른 기사 보기

• "AI '고위험·일반' 구분하자"…자율규제 위한 '한걸음'

• 'AI' 사전예방원칙 적용할까…판단기준 '오락가락'