[아이뉴스24 서효빈 기자] 지난 18일 과학기술정보통신부의 ‘독자 AI 파운데이션 모델’ 프로젝트 2차 평가 결과가 발표됐다. SK텔레콤, LG AI연구원, 업스테이지는 다음 단계에 진출했고 모티프테크놀로지는 탈락했다. 모티프는 글로벌 평가기관 아티피셜 애널리시스의 지능지수(Artificial Analysis Intelligence Index, AAII) 부문에서 네 팀 중 최고점을 받았다. “벤치마크 1위가 왜 떨어졌느냐”는 질문과 “벤치마크 점수만으로 국가대표를 뽑을 수는 없다”는 반론이 맞섰다.
이 논쟁의 핵심 중 하나는 공개된 자료만으로 결과가 어떤 관찰과 계산을 거쳐 만들어졌는지 확인하기 어렵다는 데 있다. 이번 평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점을 합산했다. 과학기술정보통신부는 항목별 최고점과 네 팀 평균, 최고점과 최저점의 차이를 공개했지만 팀별 총점과 세부 점수는 밝히지 않았다.
배점은 사업 목적을 수치화한 정책 선택이다. 기술 성능과 사용성의 비중은 평가 전에 명확히 밝혀야 한다. 그러나 배점 논쟁이 끝나도 검증 문제는 남는다. 팀별 총점과 항목별 점수는 출발점일 뿐이다. 어떤 능력에서 성공하고 실패했는지, 시험이 그 차이를 제대로 측정했는지 확인하려면 문항별 결과까지 볼 수 있어야 한다.
두 모델이 500문항 중 400문항을 맞혀 모두 80점을 받았다고 하자. 한 모델은 기본 문항을 안정적으로 해결하고 고난도 문항에서 실패했을 수 있다. 다른 모델은 쉬운 문항에서도 불규칙하게 틀리는 대신 특정 고난도 영역에서 점수를 얻었을 수 있다. 총점은 같지만 능력 구조와 실패 양상은 다르다.
문항별 결과는 시험 자체도 평가하게 한다. 모든 모델이 맞힌 문항은 변별력이 작다. 모두 틀린 문항은 지나치게 어렵거나 정답·채점 기준에 문제가 있을 수 있다. 몇 개 문항이 순위를 과도하게 좌우했는지도 확인할 수 있다. 특히 과학기술정보통신부가 결과를 ‘근소한 차이’라고 설명했다면 일부 문항을 제외하거나 채점 방식을 바꿔도 통과팀이 유지되는지 점검해야 한다. 최고점과 평균만으로는 이런 민감도 분석이 불가능하다.
문항별 공개가 시험문제 원문을 즉시 모두 공개하자는 뜻은 아니다. 비공개 문항은 익명 번호로 처리하고 측정 영역, 난이도, 배점, 모델별 정답 여부나 부분점수, 채점 방식과 제외 여부를 공개할 수 있다. 원문과 모델 응답은 독립 검증기관이 보안 환경에서 확인하고, 문항이 은퇴한 뒤 단계적으로 공개하면 된다.
전문가와 사용자 평가에도 같은 원칙이 적용된다. 특히 사용성은 모델 자체뿐 아니라 인터페이스와 외부 도구 등 서비스 환경에 따라 달라질 수 있다. 어떤 모델 버전과 시스템을 평가했는지 기록하고, 익명화한 ‘평가위원×평가기준’ 및 ‘사용자×모델’ 점수를 ‘문항×모델’ 자료와 연결해야 최종점수를 다시 계산할 수 있다.
Jiang 등은 2026년 논문 「AI 평가 과학에는 문항 단위 벤치마크 자료가 필요하다」(AI Evaluation Should Require Standardized Item-Level Data Releases)에서 표준화된 문항별 자료가 저품질 문항, 측정하려는 능력과 실제 문항 구조의 불일치, 모델의 체계적 성공·실패 양상을 진단하고 평가의 타당성과 신뢰성을 검증하는 기반이라고 주장했다. 문항별 자료는 단순한 추가 정보가 아니라 평가를 과학으로 만드는 기초 데이터다.
이번 선발에는 국민 세금으로 마련한 연산 자원과 데이터, 실증 기회가 걸려 있다. 이런 공공 결정을 최고점과 평균만으로 설명하면 평가기관과 통과팀도 보호받기 어렵다. 같은 자료와 계산 규칙으로 같은 결론이 재현되면 특혜 의혹은 힘을 잃고, 탈락팀도 개선점을 알 수 있다.
과학기술정보통신부는 3차 평가 전에 공개 원칙부터 확정해야 한다. 공개자료와 독립 검증자료를 구분하고, 오류 문항을 어떻게 처리할지, 이의 신청과 재검증을 어떻게 운영할지 미리 밝혀야 한다. 결과 발표 뒤 숫자를 조금씩 추가해서는 신뢰를 축적하기 어렵다.
지금까지 AI 벤치마크는 모델을 한 줄로 세우는 리더보드에 익숙했다. 그러나 국가가 공공 자원과 산업정책의 방향을 걸고 모델을 선발하는 평가는 순위표에서 멈출 수 없다. 어떤 문항이 어떤 능력을 측정했고, 각 모델이 어디에서 성공하고 실패했으며, 그 결과가 얼마나 안정적인지를 보여 주어야 한다. 총점은 순위를 말한다. 문항별 결과표는 그 순위가 무엇을 의미하는지 말한다.
박승희 (주)나라지식정보 부사장 / 중앙대학교 컴퓨터공학과 박사과정
/서효빈 기자(x40805@inews24.com)