AI 솔루션 기업 프리데라(Predera)는 개방형 도메인(Llama, Mistral, Llava 등)과 상용 공급자(예: OpenAI, Cohere, Google)의 대규모 언어 모델(LLM) 기반으로 배포와 미세 조정을 간소화하는 생성 AI 클라우드인 'LLMcloud.ai'를 출시했다.

LLMcloud.ai는 기업이 고급 LLM 및 생성AI 기능에 액세스할 수 있어 혁신적인 제품과 운영 효율성을 안전하게 추진할 수 있게 한다. 개발자와 비즈니스 사용자가 생성AI를 수용할 수 있도록 지원하는 여러 고급 기능 제품군을 제공한다.

① 통합 API : 통합 인터페이스를 제공하는 간소화된 게이트웨이는 다양한 LLM의 액세스 및 통합을 단순화하여 개발자가 여러 모델을 관리하는 데 드는 시간과 복잡성을 줄인다.

② 오픈 소스 LLM Garden : 기업의 전용 인프라에서 신속한 실험과 프로토타입 제작을 돕는 원클릭 배포 기능으로 사용할 수 있는 광범위한 오픈 소스 LLM이다.

③ 미세 조정 API : 기업은 빠른 미세 조정 API를 사용하여 고유한 데이터로 LLM 결과를 개인화하여 정확한 AI 통찰력을 얻을 수 있다. 이 모듈은 또한 기본 모델 및 사용자 피드백에 대한 응답으로 지속적인 평가 및 벤치마킹을 지원한다.

④ 스마트 모델 라우터 : 비용, 정확성 또는 속도에 대한 특정 요구 사항을 기반으로 사용자에게 이상적인 LLM을 동적으로 안내하여 AI 리소스 활용의 최적 균형을 보장하는 지능형 API이다.

⑤ 다중 모드 모델 지원 : LLMCloud.ai는 텍스트를 넘어 확장되어 텍스트와 시각적 데이터를 모두 이해하는 AI를 수용한다. 다중 모드 모델을 추가하면 미디어가 풍부한 산업에서 더 넓은 범위의 응용 프로그램을 활용할 수 있다.

⑥ 모니터링 및 관찰 가능성 : 모델 성능, 품질, 지출에 대한 실시간 지표를 통해 전략적 조정과 리소스 할당이 가능해 AI 운영을 간소화하는 데 도움이 된다.

⑦ 세대 AI 앱 : RAG, 코파일럿 및 챗봇 프레임워크를 포함한 확장된 앱 템플릿 컬렉션을 통해 기업은 AI 기반 애플리케이션을 신속하게 개발 및 배포할 수 있으며 개발에서 출시까지의 경로를 크게 단축할 수 있다.

⑧ AI 에이전트 : 에이전트는 생성AI 시스템과 사용자 사이의 인지 브릿지 역할을 하여 엔터프라이즈 LLM 모델을 효과적으로 '생생하게 구현'한다. LLMCloud는 인기 있는 에이전트에 맞춤형 통합 포인트를 제공하여 실시간 데이터와 향상된 학습을 통해 엔터프라이즈 자동화를 제공한다.

밤시 암바티(Vamshi Ambati) 프리데라 CEO는 "LLMcloud.ai는 MLOps 및 AI 시스템의 보안 확장에 대한 기존 전문 지식을 기반으로 개발되었다. 이 플랫폼은 생성의 '라스트 마일' 과제를 해결하려는 우리의 약속이다. 민간 기업 설정에서 LLM 및 AI 앱 개발 탐색과 관련된 복잡성을 제거하여 AI를 제공한다."고 말했다.