프렌들리AI, 생성형 AI 플랫폼 '프렌들리 스위트' 서비스 확대

[아이뉴스24 윤소진 기자] 생성형 인공지능(AI) 추론 및 학습 가속 인프라 전문 기업 프렌들리AI는 생성 AI 추론 및 학습 플랫폼 ‘프렌들리 스위트(Friendli Suite)’를 AI 에이전트 서비스 등으로 영역을 확장한다고 17일 밝혔다.

프렌들리 스위트는 사용자가 생성형 AI 모델을 빠르고 효율적으로 탐색, 실험 및 배포할 수 있도록 지원하는 프렌들리AI의 다양한 서비스를 통합 제공하는 플랫폼이다.

먼저 자동으로 생성형 AI 배포·운영·학습을 지원하는 ‘프렌들리 데디케이트 엔드포인트’는 '프렌들리 인퍼런스' 엔진에 기반해 고객의 모델을 가속화하고, 변동 트래픽 대응 자동화, 매우 높은 가용성, 매우 낮은 처리 시간으로 고객의 생성형 AI를 효율적으로 지원한다.

프렌들리AI의 AI 모델 추론 솔루션 '프렌들리 인퍼런스'는 아티피셜 애널리시스 벤치마크에서 그래픽처리장치(GPU) 기반 모델 응용프로그램 환경(API) 제공사 중 최고 속도와 높은 모델 품질을 기록했다. 타사 대비 최대 10배의 응답 속도 향상과 최대 90%에 달하는 GPU 비용 절감 효과를 통해 국내외 다양한 고객사의 성공적인 서비스 운영을 지원하고 있다는 회사 측의 설명이다.

고객의 정보 및 보안 준수 요건 때문에 자체 환경에서 운영해야 하는 고객을 위해 도커 컨테이너 형태로 프렌들리 인퍼런스 엔진을 쓸 수 있는 ‘프렌들리 컨테이너’도 제공한다.

프렌들리AI는 SKT의 AI 서비스, LG AI 연구원 EXAONE 3.5, 업스테이지 솔라 프로 등의 AI 모델과 협력을 통해 응답 속도 향상, 운영 비용 최적화, 운영 자동화 등의 성과를 거두고 있다.

프렌들리AI는 올해 AI 에이전트 서비스로 제품을 확장한다. 지난해 10월에는 고객 데이터셋을 활용해 오픈소스 모델을 학습할 수 있는 서비스인 프렌들리 파인튜닝을 정식 출시했으며, 현재 검색, 외부 API 호출 등 에이전트를 만들기 위해 필수적인 툴 사용 (또는 함수 호출)을 제공하고 있다.

다양한 고객의 요구를 충족하기 위해 거대언어모델(LLM)뿐만 아니라 비전언어모델(VLM), 이미지 생성 모델 등으로 지원 범위를 확장했고 앞으로도 모델 지원 범위를 확대한다.

올해 상반기에는 고객의 클라우드 GPU 환경에서 프렌들리 데디케이트 엔드포인트를 구동할 수 있도록 지원하는 BYOC(Bring Your Own Cloud) 서비스를 공개한다.

전병곤 프렌들리AI 대표는 "생성형 AI 개발 및 운영에 있어 추론 가속화와 효율적인 인프라 관리는 필수적인 요소이지만, 서비스의 품질과 속도를 동시에 해결하는 솔루션은 매우 드물다"며 "세계 최고 기술력을 바탕으로, 고객의 핵심적인 어려움을 해결하고 차별화된 가치를 제공해 AI 혁신을 가속화하는 데 기여할 것"이라고 강조했다.