SK쉴더스, AI 레드팀 해킹대회서 1위⋯"AI 판단 오류 위험성 입증"

[아이뉴스24 정유림 기자] 보안 전문 기업 SK쉴더스는 글로벌 인공지능(AI) 레드팀 해킹대회 '심판의 날(Judgement Day)'에서 자사 화이트해커 그룹 이큐스트(EQST) 소속 김병현 선임이 1위를 차지했다고 15일 밝혔다.

이번 대회는 AI 에이전트(자율적인 AI 시스템)가 금지된 행동을 수행하거나 필수 안전 조치를 누락하도록 유도하는 공격 기법을 평가하는 데 초점을 맞춰 진행됐다.

대회는 응급환자 분류 오류, 댐 수위 판단 왜곡, 항공기 이상 징후 미탐지 등 실제 산업 환경을 반영한 8개 시나리오로 구성됐다. 특히 AI의 의사결정 취약점을 노린 공격으로 응급실에서 중증 환자의 우선순위가 뒤바뀌거나 항공기 이상 신호가 정상으로 판단되는 상황이 나타날 수 있으며 이는 금전적 손실과 신뢰도 저하를 넘어 심각한 인명 피해로 이어질 수 있다는 점이 확인됐다.

평가는 문제 해결 방식과 공격 전략의 다양성을 반영하는 구조로 진행됐다. 참가자들은 동일한 시나리오를 여러 방식으로 반복 공략할 수 있었고 신속하게 성공시킬수록 추가 점수가 부여됐다.

SK쉴더스의 김병현 선임은 이미지·음성·영상 등 다양한 형태의 입력을 활용하는 '멀티모달 프롬프트 인젝션' 공격으로 AI의 판단을 교란하며 최고 성적을 거뒀다. 예를 들어 이미지 내부에 잘못된 행동을 유도하는 문구를 숨기거나 특정 행위를 강요하는 방식으로 AI가 기존 규칙을 따르지 않도록 유도했다.

또 실제 시스템 로그처럼 보이도록 입력을 설계하고 시스템 프롬프트에 정의되지 않은 예외 상황을 공략함으로써 공격 성공률을 크게 높였다. 동일한 문제에서도 다양한 방식으로 공격을 빠르게 성공시키며 높은 점수를 획득했다.

SK쉴더스에 따르면 EQST 소속 마준영 선임과 김신우 선임도 이 대회에서 각각 5위와 7위를 기록했다. EQST는 다양한 산업에서 축적한 침해 대응 경험과 위협 인텔리전스를 기반으로 실제 공격을 가정한 레드팀 서비스를 제공하고 있다. 이를 통해 고객사의 AI 시스템 취약점 사전 식별, 보안 리스크 최소화 등을 지원한다.

김병무 SK쉴더스 사이버보안부문장(부사장)은 "생성형 AI가 산업 전반으로 확산하면서 AI 보안은 선택이 아닌 필수 역량이 되고 있다"며 "SK쉴더스는 이번 대회에서 검증한 역량을 바탕으로 고객이 AI를 안전하고 신뢰성 있게 활용할 수 있도록 적극 지원할 것"이라고 밝혔다.