기업에서 AI 모델을 선택할 때는 다양한 요소를 고려해야 하므로 성능이 좋은 범용 모델을 선택하는 것이 정답이 아닐 수 있다. 예를 들어, 매개변수의 크기가 더 크고 유능한 모델은 사용하는 데 비용이 들고, 모델 정확도가 증가하면 속도가 느려질 수 있다.

이에 비해 크기가 작고 특정 환경에 미세 조정된 모델의 경우, 그 환경 내에서는 크기가 큰 모델 대비 속도가 더 빠르고 비용이 적게 들면서도 뛰어난 성능을 낼 수 있다. 따라서, 기업의 용도에 맞는 최적의 모델을 선택하는 것이 필요하다.

IBM이 최근 메타에서 발표한 ‘라마3.1’과 미스트랄 AI에서 발표한 ‘미스트랄 라지(Mistral Large) 2’ 등 최신 오픈소스 LLM을 자사의 AI 및 데이터 플랫폼 왓슨x.ai에서 제공한다고 1일 발표했다.

왓슨x 사용 기업들은 IBM 그래니트(Granite), 라마 3.1, 미스트랄 라지 2 등 최신 오픈소스 AI 모델을 기업 상황에 맞게 선택하고 맞춤화해 사용할 수 있다.

이번에 발표된 라마 3.1은 각각 80억 개(8B), 700억 개(70B), 4050억 개(405B)의 매개변수를 가진 사전 학습된 오픈소스 생성AI 모델들로 구성됐다. 특히 라마 3.1-405B 모델은 한번에 처리할 수 있는 문맥의 길이가 토큰 8192개에서 12만 8000개로 16배 늘어났으며, 이는 약 8만 5000개 영어 단어에 해당한다.

특히 405B 모델은 추론 및 텍스트 생성과 같은 일반적인 AI 활용 사례 외에도, AI의 사전 학습이나 미세 조정을 위한 합성 데이터 생성 및 더 작은 모델로 만드는 지식 증류와 같은 작업에도 사용할 수 있다.

1230억 개의 매개변수를 가진 미스트랄 라지 2는 코딩과 수학 부문에서 뛰어난 성능을 발휘, 80가지가 넘는 코딩 언어를 지원하며, 오픈AI의 GPT-4o, 앤트로픽(Anthropic)의 클로드 3 오푸스, 메타 라마 3.1 405B와 같은 최첨단 모델과 동등한 수준의 성능을 제공한다.

라마 3.1이나 미스트랄 라지 2, IBM 그래니트 등 최신 오픈 소스 AI 모델을 제공하는 IBM 왓슨x는 고객이 용도와 목적, 가격과 성능에 적합한 AI 모델을 선택하도록 지원한다.

특히, 미스트랄 라지 2 모델은 기업에서 상업적으로 사용하려면 미스트랄 AI에 ‘미스트랄 커머셜 라이선스’을 요청해야 하지만, IBM 왓슨x에서는 상업적 목적으로도 자유롭게 사용할 수 있다.

왓슨x는 사내 서버, 퍼블릭, 프라이빗, 하이브리드 클라우드 등 기업이 선호하는 인프라 환경에서 모델을 활용할 수 있는 유연성을 제공하는 한편, AI를 활용한 비즈니스 애플리케이션을 쉽게 개발하고, 모든 데이터 소스를 관리하고, 용도에 맞는 미세 조정, 기업에서 사용하는 애플리케이션과의 통합을 위한 직관적인 업무 프로세스를 구축하는 것이 하나의 플랫폼에서 가능하도록 지원한다.