[아이뉴스24 서효빈 기자] 과학기술정보통신부가 '독자 AI 파운데이션 모델 프로젝트' 3차 단계 평가를 앞두고 기존 평가 체계의 보완 여부와 추가 평가 기준을 검토하고 나섰다. 2차 평가 과정에서 특정 벤치마크에 맞춰 모델을 학습하는 이른바 '벤치맥싱' 논란이 불거진 탓이다. 독파모 참여 기업들은 벤치마크의 필요성을 인정하면서도 비중을 낮춰야 한다는 입장이다.
3차 평가 배점 조정 가능성…참여사 "배점 구조 조정 필요"
20일 과기정통부에 따르면, 1·2차 평가체계를 토대로 보완할 부분과 3차 개발 과정에서 추가할 평가 기준 등을 검토한 뒤 LG AI연구원, SK텔레콤, 업스테이지 등 3개 진출팀과 협의할 예정이다. 과기정통부 관계자는 "1차와 2차 평가에서 보완 사항이 있는지, 3차 평가와 관련해 어떠한 기준을 추가할지 등을 진출팀과 협의할 예정"이라고 말했다.
독파모 참여 기업들은 3차 평가의 배점 구조가 조정될 필요성을 거론하고 있다. 2차 단계 평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점으로 진행됐다.
3차 평가 진출업체 관계자는 "정부 입장에서는 꼭 40·35·25가 고정 비율이라고 얘기한 건 아니었다"며 "3차에서는 평가영역별 비중을 달리하는 여러 방안이 가능하다"고 말했다.
다른 3차 평가 진출업체 관계자도 "상대적으로 작은 모델이라도 특정 벤치마크에 집중하면 점수를 끌어올릴 수 있다"며 벤치마크 비중을 낮춰야 한다는 점을 언급했다.
애프터쿼리 접촉에 '벤치맥싱' 논란…학습과정 검증 한계
2차 평가를 둘러싼 벤치맥싱 논란은 벤치마크 성능을 높이기 위한 후학습 데이터와 방법론을 제공하는 해외 업체가 독파모 참여사들을 접촉했다는 주장이 나오면서 불거졌다.
AI 업계에 따르면 미국 AI 데이터 업체 애프터쿼리(AfterQuery)는 지난 7월 국내에서 열린 ICML 2026을 전후해 독파모 참여사들을 접촉했다. 애프터쿼리가 자사 데이터와 방법론을 활용할 경우 특정 벤치마크 점수를 높일 수 있다는 취지로 접근한 것이다.
이에 과기정통부는 지난 18일 브리핑에서 벤치맥싱 의혹과 관련해 아티피셜 애널리시스 측 분석 결과 "체계적인 암기나 과적합 문제를 입증할 단서를 찾지 못했다"고 밝혔다.
하지만 업계에서는 모델의 출력 결과를 분석하는 것만으로 어떤 데이터와 방식으로 학습했는지까지 확인하기는 어렵다고 지적한다. AI 업계 관계자는 "아티피셜은 최종적으로 모델이 뱉어내는 API 호출만 받는다"고 말했다.
벤치마크 자체가 모델의 실제 활용성을 얼마나 반영할 수 있는지도 쟁점이다. 특정 영역에 집중해 학습하면 벤치마크 점수는 높일 수 있지만 한국어 이해나 국내 산업 적용 등 평가에 포함되지 않은 능력까지 함께 높아지는 것은 아니라는 지적이다.
최병호 고려대 인공지능연구소 교수는 "벤치마크와 실제 사용성 사이에 괴리가 있을 수밖에 없다"며 벤치마크 결과에 지나치게 의존해서는 안된다고 조언했다.
/서효빈 기자(x40805@inews24.com)