AI 산업에서 초거대 언어모델의 실시간 활용 수요가 증가함에 따라, 기업들은 보다 빠르고 경제적인 추론 인프라를 요구받고 있다. 특히 생성AI 기술이 텍스트, 음성, 코드, 검색 등 다양한 애플리케이션으로 확장됨에 따라, 효율적인 추론 플랫폼과 오픈모델 접근성이 글로벌 AI 개발 환경의 핵심 요소로 부상하고 있다. 이러한 흐름에 발맞추어 그로크와 휴메인은 오픈AI의 최신 오픈모델을 즉시 사용할 수 있는 서비스를 전 세계에 출시하였다.

오픈AI 최신 오픈모델, 추론 최적화 플랫폼 상용화

AI 추론 플랫폼 그로크(Groq, CEO 조너선 로스)와 인공지능 기업 휴메인(Humain, CEO 타렉 아민)이 오픈AI의 gpt-oss-120B 및 gpt-oss-20B 모델을 자사 클라우드 플랫폼인 그로크클라우드(GroqCloud)에서 공식 출시했다고 발표했다.

이번 출시는 오픈AI의 오픈소스 생태계 확장과 그로크의 초고속 추론 기술, 그리고 휴메인의 글로벌 인프라가 결합된 결과로, 전 세계 어디서나 저지연 AI 서비스 사용이 가능하도록 설계되었다. 특히 사우디아라비아 현지 개발자들을 위한 맞춤형 지원도 포함되어 있다.

그로크 CEO 조너선 로스는 “오픈AI는 오픈소스 모델의 고성능 기준을 새롭게 정의하고 있다”며, “그로크는 이러한 모델을 빠르고 경제적으로 실행할 수 있도록 설계되었으며, 이를 통해 전 세계 개발자들이 첫날부터 자유롭게 활용할 수 있다”고 말했다.

실시간 도구 통합과 초고속 추론 성능 지원

그로크는 이번 서비스에 코드 실행, 웹 검색 등 실시간 기능이 포함된 내장 도구를 함께 제공한다. 웹 검색 기능은 최신 정보를 실시간으로 제공하며, 코드 실행 도구는 복잡한 워크플로를 자동화할 수 있다.

128K 컨텍스트 길이를 기반으로 한 이 기능들은 추론 정확도는 물론 연산 유연성까지 확보하며, 다양한 산업 애플리케이션에 즉시 적용 가능하다. 특히 Whisper 등 기존 대규모 배포 사례에서 축적한 기술력을 바탕으로, 그로크는 오픈모델 추론에 최적화된 전용 스택을 제공한다.

속도 측면에서도 gpt-oss-120B는 초당 500토큰 이상, gpt-oss-20B는 초당 1000토큰 이상의 처리 속도를 실현하고 있다. 이와 같은 성능은 고빈도 실시간 API 호출이 필요한 환경에서도 안정적인 성능을 제공한다.

저비용 고성능 인프라, 글로벌 개발자 환경 대응

그로크는 고속 추론 성능을 유지하면서도 매우 낮은 비용을 책정하였다. 가격은 gpt-oss-120B 기준 입력 토큰 100만 개당 0.15달러, 출력 토큰 100만 개당 0.75달러이며, gpt-oss-20B는 입력 0.10달러, 출력 0.50달러다. 툴 호출 기능은 한시적으로 무료로 제공된다.

휴메인 CEO 타렉 아민은 “그로크는 우리가 사우디에 도입하고자 하는 차세대 AI의 추론 속도, 확장성, 비용 효율성을 모두 충족하고 있다. 세계 최고 수준의 오픈모델과 글로벌 인프라를 통해 사우디의 새로운 혁신을 이끌고, 오픈AI의 리더십을 적극 지원하겠다”고 밝혔다.

그로크는 북미, 유럽, 중동에 걸쳐 데이터센터 인프라를 확보하고 있으며, 그로크클라우드를 통해 모든 지역 개발자에게 최소 지연의 추론 서비스를 제공하고 있다. 이를 통해 기업과 개인 개발자 모두가 오픈모델을 자유롭게 실험하고 활용할 수 있는 기반이 마련되었다. 

[알림] GTT KOREA GTT SHOW는 오는 8월 12일 오후 2시부터 3시까지 “피해 큰 BPF Door 같은 커널 기반 악성코드 막는 EDR과 마이크로세그멘테이션 실전 보안 전략”을 주제로 웨비나를 진행합니다. BPF Door 같은 커널 기반의 악성코드가 사용하는 공격 기법과 침투 단계별 위협의 소개, EDR과 마이크로세그멘테이션이 어떻게 상호보완적으로 작동하여 침입 초기 탐지부터 내부 확산 차단까지 이어지는 보안 체계의 구축 전략과 새로운 형태의 변종 공격에 유연하게 대응하는 제로 트러스트 기반 보안 전략을 실전 사례와 함께 제시합니다.