업스테이지-NIA, 한국어 LLM 성능평가 플랫폼 구축

[아이뉴스24 박진영 기자] 업스테이지와 한국지능정보사회진흥원(NIA)이 손잡고 한국 AI 경쟁력 증진을 위해 한국어 LLM의 성능을 평가하고 비교할 수 있는 리더보드를 만든다.

업스테이지는 NIA와 공동으로 한국어 LLM 리더보드인 '오픈 코-LLM(Open Ko-LLM) 리더보드'를 구축해 오는 27일 개설한다.

오픈 코-LLM 리더보드는 누구나 자신이 개발한 한국어 LLM 모델을 등록하고 다른 모델과 경쟁할 수 있는 공개 플랫폼이다. 리더보드에 관심이 있는 연구자들은 27일 이후 허깅페이스의 '오픈 코-LLM 리더보드' 스페이스에서 자세한 정보를 확인하고 참여할 수 있다.

업스테이지와 NIA의 오픈 코-LLM 리더보드는 허깅페이스가 운영하는 오픈LLM 리더보드의 기존 데이터를 단순히 번역한 것이 아니라 한국어의 특성과 문화를 반영한 고품질의 데이터를 자체 구축해 한국어 특화 리더보드로서 강점을 갖고 있다.

또 상식을 생성하는 능력을 평가하는 '상식생성' 기준을 추가해 한국어 LLM 모델의 높은 성능과 다양성을 평가할 수 있도록 했다. 상식생성은 업스테이지가 고려대 임희석 교수 연구진과 협업으로 구축한 데이터셋으로 역사 왜곡, 환각 오류, 형태소 오류, 불규칙 활용 오류, 혐오 표현 등에 대한 광범위한 유형을 포함한 질문지로 구성했다. AI가 주어진 조건에 대해서 만들어 낸 결과물이 한국어 사용자라면 지닐 수 있는 일반 상식에 부합할 수 있는지를 측정할 수 있다.

이번 오픈 코-LLM 리더보드 개설에는 최근 발표된 업스테이지와 KT의 협업도 한 몫 했다고 업스테이지 측은 전했다. AI 생태계 확대에 양사가 힘을 합쳐 KT 클라우드의 인프라 지원을 통해 리더보드가 안정적으로 운영될 예정이다.

업스테이지는 한국어 리더보드를 구축, 업스테이지는 1T클럽을 기반으로 한 한국어 데이터를 바탕으로 한국문화 정서를 담아낼 수 있는 고품질의 LLM을 개발하는 것을 넘어 이를 국내 LLM 독립을 위한 생태계 조성에 기여할 계획이다.