셀렉트스타, 3월 5일 LLM 신뢰성 검증 웨비나 개최

[아이뉴스24 서효빈 기자] 셀렉트스타는 오는 3월 5일 오후 2시 '커스텀 평가 체계로 LLM 서비스 평가 기준 만들기'를 주제로 무료 웨비나를 개최한다고 밝혔다.

이번 웨비나는 기업이 실제 서비스 환경에서 거대언어모델(LLM)의 성능과 신뢰성을 어떻게 검증해야 하는지 실무적 해법을 제시하는 데 초점을 맞췄다. 현업에서 활용 가능한 LLM 평가 기준 수립 방안과 함께 서비스 론칭 과정에서 발생할 수 있는 리스크, 벤치마크 평가 결과와 실제 운영 환경 간 괴리도 짚는다.

웨비나에서는 △LLM Judge 기반 평가 △정량 평가 △정성 평가 △혼합 평가 방식 등 다양한 방법론을 소개한다. 실제 기업 사례를 통해 평가 운영 방식을 공유한다. 수작업 중심 평가에서 벗어난 자동화 전략과 평가 리소스 효율화 방안도 다룬다.

서비스 출시 여부를 결정하는 기준 설정 방법도 제시한다. 단순히 특정 점수 이상을 통과 기준으로 삼는 방식이 아닌, 기업 내부 거버넌스 체계와 비교군 설정을 기반으로 한 의사결정 프레임워크 수립 필요성을 강조한다.

셀렉트스타는 국내 최초로 출시한 AI 신뢰성 평가 자동화 플랫폼 'Datumo Platform(다투모 플랫폼)'도 소개한다. 해당 플랫폼을 통해 기업이 평가 프로세스를 체계화하고 효율화한 사례를 공유할 예정이다.

이찬수 셀렉트스타 사업개발팀장은 "많은 기업이 LLM을 도입했지만 평가 기준은 명확하지 않은 상황"이라며 "이번 웨비나를 통해 기업이 자사 서비스 목적에 맞는 커스텀 평가 체계와 지표를 수립하고 데이터 기반으로 AI 서비스 출시 여부를 판단하는 기준을 마련하길 기대한다"고 말했다.