AI 환경이 복잡성과 규모를 더해가며, 조직은 더 빠르고 효율적인 AI 모델 추론과 유연한 배포 역량을 필요로 하고 있다. 특히, 하이브리드 클라우드 환경 전반에서 일관된 AI 서비스 구현은 기업의 경쟁력 확보에 있어 핵심 요소로 작용하고 있다.

레드햇이 레드햇 AI 인퍼런스 서버(Red Hat AI Inference Server)와 라마 스택(Llama Stack), 모델 컨텍스트 프로토콜(Model Context Protocol, MCP)의 통합을 포함한 엔터프라이즈 AI 포트폴리오 전반의 주요 업데이트를 발표했다. 이번 업데이트는 기업이 하이브리드 클라우드에서 생성AI 도입을 가속화할 수 있도록 고객 선택권과 통합 역량 확대를 목표료 한다.

일관된 추론 환경 제공하는 레드햇 AI 인퍼런스 서버

레드햇 AI 인퍼런스 서버는 하이브리드 클라우드 전반에서 고속, 일관성, 비용 효율성을 갖춘 추론을 지원한다. 이 기능은 레드햇 오픈시프트 AI(Red Hat OpenShift AI)와 레드햇 엔터프라이즈 리눅스 AI(Red Hat Enterprise Linux AI, RHEL AI)에 통합되며 독립형 솔루션으로도 제공된다. 이를 통해 기업은 고성능 지능형 애플리케이션을 다양한 환경에 유연하게 배포할 수 있다.

레드햇은 다양한 AI 가속기와 클라우드 인프라 환경에서 통합 운영이 가능하도록 최적화된 추론 플랫폼을 구축하고, 사일로 없이 모든 클라우드에서 AI가 운영되도록 지원하고 있다.

레드햇 AI 사업 부문 조 페르난데스Joe Fernandes) 부사장은 “레드햇 AI는 고객이 원하는 방식으로 AI를 배포할 수 있도록 지원하며, 지능형 애플리케이션을 위한 최적의 선택지를 제공한다”고 말했다.

서드파티 검증 모델과 라마 스택 통합 통한 개발자 지원

레드햇 AI는 허깅페이스(Hugging Face)에서 제공되는 서드파티 검증 모델을 통해 최적화된 모델 선택과 신뢰성 있는 결과를 제공한다. 모델 압축 기술로 추론 속도를 향상시키고 운영 비용을 절감하며, 지속적인 검증을 통해 기업의 생성AI 혁신을 지원한다.

라마 스택과 MCP의 통합은 통합 API 기반으로 vLLM 추론, 검색 증강 생성(RAG), 모델 평가, 가드레일, 에이전트 기능을 제공한다. MCP는 API, 플러그인, 데이터 소스를 연결하는 표준 인터페이스를 통해 에이전트 기반 워크플로우를 강화한다. IDC 리서치 매니저 미셸 로젠은 “AI 전략은 다양한 환경에 맞는 유연한 조정이 핵심이며, 레드햇 AI는 이에 부합하는 모델 배포 역량을 제공한다”고 평가했다.

오픈시프트 AI 및 RHEL AI 최신 기능으로 모델 운영 효율화

레드햇 오픈시프트 AI v2.20은 최적화된 모델 카탈로그, 분산 학습 기능, 기능 저장소를 포함한다. 기술 프리뷰 단계인 모델 카탈로그는 웹 콘솔 기반으로 검증된 모델을 손쉽게 배포하고 관리할 수 있으며, 쿠브플로우 트레이닝 오퍼레이터를 기반으로 파이토치(PyTorch) 기반 분산 학습을 지원한다. RDMA 네트워크 가속과 GPU 최적화로 실행 비용을 절감한다.

기능 저장소는 쿠브플로우 피스트(KubeFlow Feast)를 기반으로 데이터 워크플로우를 간소화하고 모델 정확도 및 재사용성을 향상시킨다. RHEL AI 1.5는 구글 클라우드 마켓플레이스를 통한 가용성 확대와 함께, 스페인어, 독일어, 프랑스어, 이탈리아어 등 다국어 기능도 향상됐다. 일본어, 힌디어, 한국어는 향후 지원 예정이다.

IBM 클라우드 기반 인스트럭트랩 서비스 제공과 미래 전략

레드햇은 인스트럭트랩 온 IBM 클라우드(Red Hat AI InstructLab on IBM Cloud)를 출시하며, 모델 커스터마이징 과정을 간소화해 확장성과 제어력을 개선한다. 사용자는 교사 모델을 활용해 특정 언어와 사례에 맞춘 모델을 제작할 수 있다.

레드햇은 "모든 모델, 모든 가속기, 모든 클라우드"를 비전으로, AI 인프라 사일로를 제거하고 개방형 생태계 기반 AI 배포 모델을 구축하고 있다. 포레스터는 오픈소스가 AI 활동의 촉매제가 될 것이라고 전망했으며, 레드햇은 이 흐름 속에서 기업의 AI 전환 가속을 위한 핵심 인프라를 지속 강화하고 있다.