딜로이트(Deloitte)의 최근 조사에 따르면 기업의 생성AI 도입은 규제 리스크와 거버넌스 문제에도 불구하고 빠른 속도로 진행되고 있으며, 올 3분기에 3분의 2 이상의 기업이 생성AI 예산을 늘린 것으로 나타났다. 규제, 거버넌스 문제를 해결하기 위해서는 AI 모델과 애플리케이션을 온프레미스나 퍼블릭 클라우드에서 안전하게 운영해야 한다. 이 경우에는 직접 복잡한 접근 방식은 지양하고, 보안성과 확장성을 갖춘 솔루션이 필요하다.

기업들은 생성AI에 투자하기를 열망하지만, 이를 위해서는 확장 가능한 데이터뿐만 아니라 보안, 규제 준수, 철저한 데이터 관리가 필요하다. 대규모 AI를 비공개로 운영하는 것은 복잡하며, DIY 방식은 어려운 문제 해결 방식이다.

하이브리드 플랫폼 기업 클라우데라(Cloudera 한국지사장 최승철)가 생성AI 개발과 배포 가속을 위해 엔비디아의 추론 마이크로서비스인 엔비디아 NIM로 구동되는 ‘클라우데라 AI 인퍼런스’를 출시했다고 밝혔다.

클라우데라 AI 인퍼런스는 NIM 기반 AI 추론 서비스 중 하나다. 대규모 AI 모델의 배포와 관리를 간소화해 기업이 데이터를 최대한으로 활용하고, 생성AI를 파일럿 단계에서 완전 생산 단계로 완성할 수 있게 한다.

기업이 안전한 개발과 배포를 진행할 수 있도록 민감한 데이터가 비공개 영역을 벗어나 공급업체가 호스팅하는 AI 모델 서비스로 유출되는 것을 방지한다. 빠른 속도로 AI 챗봇, 가상 비서, 에이전트 애플리케이션의 효율적인 개발을 도와 기업의 생산성 향상과 신규 사업 성장에 기여한다.

개발자들은 엔비디아 텐서코어(Tensor Core) GPU를 사용해 최대 36배 더 빠른 성능과 CPU 대비 약 4배 더 높은 처리량으로 엔터프라이즈급 대형 언어 모델(LLM)을 구축, 맞춤화, 배포할 수 있다. 또한 UI, API가 엔비디아 NIM 컨테이너와 직접 통합돼 명령줄 인터페이스(CLI), 별도의 모니터링 시스템이 필요없어 원활한 사용자 경험을 느낄 수 있다. 클라우데라 AI 모델 레지스트리와의 서비스 통합은 모델 엔드포인트와 운영에 대한 접근 제어를 관리해 보안과 거버넌스를 강화한다. 사용자는 LLM 배포나 기존 모델 전부를 하나의 서비스에서 원활하게 관리할 수 있는 통합 플랫폼의 이점을 누릴 수 있다.

클라우데라 최고제품책임자(CPO) 딥토 차크라바티(Dipto Chakravarty)는 “클라우데라 AI 인퍼런스는 모든 모델과 사용 사례를 지원하는 단일 AI/ML 플랫폼을 제공해 기업들이 클라우데라의 소프트웨어로 강력한 AI 애플리케이션을 만들고, 고성능 AI 애플리케이션을 클라우데라에서 실행할 수 있게 됐다”.며, “클라우데라는 엔비디아 AI 통합을 통해 향상된 성능으로 더 스마트한 의사 결정을 지원한다. 신뢰할 수 있는 데이터를 기반으로 신뢰할 수 있는 AI 애플리케이션을 구축해 고객을 위한 혁신을 지원하고 있다.”고 밝혔다.

엔비디아 AI 소프트웨어, 모델 및 서비스 부문 부사장 카리 브리스키(Kari Briski)은 “기업들은 비즈니스 성과 창출을 위해 생성AI를 기존 데이터 인프라와 원활하게 통합해야 한다.”며, “엔비디아 NIM을 클라우데라 AI 인퍼런스 플랫폼에 통합해 개발자들이 신뢰할 수 있는 생성AI 애플리케이션을 쉽게 만들 수 있도록 지원하고, 자립형 AI 데이터 플라이휠을 육성할 수 있도록 지원하고 있다”고 말했다.