AI가 기업 운영 전반을 재편하는 전환점에서 기업은 기술 도입보다 더 복잡한 과제에 직면하고 있다. 데이터 주권 준수, 민감정보 보호, AI 워크로드의 고연산 요구, 인프라 복잡성 증가는 기존 클라우드 운영 방식만으로 해결하기 어렵다. 특히 금융·의료·공공처럼 민감 데이터 비중이 높은 산업에서는 AI 분석 과정에서 데이터가 외부로 이동하는 것 자체가 리스크가 된다. 

브로드컴(Broadcom)은 VCF 9(VMware Cloud Foundation 9)과 프라이빗 AI(Private AI)를 결합해 이러한 과제를 해결하는 프라이빗 기반 통합 AI 아키텍처를 제시하고 있다.

VCF 9, AI 워크로드 최적화를 위한 통합 인프라 플랫폼

브로드컴의 VCF 9은 컴퓨팅·스토리지·네트워크·보안을 단일 플랫폼으로 통합 운영하도록 설계된 엔터프라이즈용 프라이빗 클라우드 플랫폼이다. VM, 컨테이너, AI 워크로드를 하나의 인터페이스에서 관리할 수 있어 복잡한 AI 인프라 구성 부담을 크게 줄인다. 

GPU 기반 고성능 연산 환경을 제공하며, 인프라 배포·패치·확장 등 운영 자동화 기능을 갖춰 AI 프로젝트의 속도를 높일 수 있다. 퍼블릭 클라우드와의 연계성을 갖춘 멀티클라우드 호환성도 제공해 다양한 AI 프로젝트 확장성을 보장한다.

프라이빗 AI, VCF 9 기반 데이터 주권·보안·모델 거버넌스 강화 아키텍처

프라이빗 AI는 브로드컴의 VMware Cloud Foundation 9(VCF 9) 인프라 위에서 모델, 데이터, 실행 환경을 단일 프라이빗 클라우드 내부에서 완전히 통합 운영하도록 설계된 기술 전략이다. 

이 구조는 기업이 AI를 도입할 때 가장 우려하는 민감 데이터 유출 위험을 원천적으로 차단하는 방식으로 구성되어 있다. AI 분석과 추론에 필요한 모든 데이터가 기업 내부에서만 처리되므로 금융, 의료, 공공 등 높은 수준의 데이터 주권을 요구하는 산업에서도 규제 준수를 충족하며 AI를 활용할 수 있다.

VCF 9이 제공하는 인프라 통합 제어 기능은 이러한 프라이빗 AI의 동작 기반이 되며, 컴퓨팅, 스토리지, 네트워크, 보안이 하나의 정책 체계 안에서 관리되기 때문에 운영 일관성과 안정성이 강화된다.

프라이빗 AI의 핵심 특성은 단순히 AI 모델을 내부에서 실행하는 수준을 넘어, 모델 저장, 실행, 확장, 데이터 연결, 추론 최적화까지 전 과정을 네이티브 서비스로 제공한다는 점이다. 프라이빗 AI의 모델 스토어(Model Store)는 기업이 승인한 모델만 다운로드하고 검증하며 여러 팀과 안전하게 공유할 수 있도록 설계되어 있다.

이 기능은 모델의 품질과 보안 기준을 유지하고, 장기간 사용 시 발생할 수 있는 모델 성능 저하(drift)를 방지하는 데 중요한 역할을 한다. 또한 모델 런타임(Model Runtime)은 여러 부서가 동일 모델을 별도로 운영하던 기존 방식의 비효율을 제거하고, ‘서비스형 모델(Models-as-a-Service)’ 구조로 일관성을 유지한다. 이는 부서 간 중복 컴퓨팅 자원 사용을 줄이고, 배포된 모델이 최신 상태를 유지하도록 하며, 롤링 업그레이드를 통한 무중단 업데이트도 지원한다.

데이터 인덱싱 및 검색 기능은 프라이빗 AI의 또 다른 핵심 구성 요소다. 이 기능은 RAG(Retrieval-Augmented Generation) 워크플로우 구축에서 복잡한 데이터를 자동으로 수집하고 연결하며, 문서 분할, 임베딩 생성, 새로 고침 정책 같은 반복 작업을 자동화한다. 컨플루언스, 구글 드라이브, 쉐어포인트 등 다양한 문서 환경을 기본적으로 연결할 수 있어 대규모 데이터 환경을 가진 기업에서도 지식 기반 AI 활용이 쉬워진다.

브로드컴이 제공하는 DSM(Data Services Manager)을 통해 pgvector가 포함된 Postgres 벡터 데이터베이스를 즉시 사용할 수 있는 점도 RAG 기반 AI 서비스 구축의 장벽을 크게 낮춰준다. 이 덕분에 기업은 복잡한 데이터 파이프라인 설계 없이 프라이빗 환경에서 엔터프라이즈급 검색 증강 생성 기능을 빠르게 구현할 수 있다.

프라이빗 AI의 에이전트 빌더(Agent Builder)는 개발자가 하나의 UI 내에서 모델, 데이터, 지식베이스, 프롬프트를 결합해 AI 에이전트를 구성할 수 있도록 지원한다. 이 UI에는 다양한 모델 설정과 구성 요소를 실시간으로 테스트할 수 있는 플레이그라운드가 포함되어 있어 AI 응답 품질을 배포 전 즉시 확인할 수 있다.

에이전트를 구성한 후에는 기업 내부 시스템의 백엔드로 바로 연결해 서비스화할 수 있으며, 생성된 에이전트는 내부의 여러 팀이 공동으로 활용할 수 있어 부서 간 AI 활용 격차를 줄인다. 이러한 구조는 기업의 AI 도입 속도를 가속화할 뿐 아니라, 프라이빗 AI 플랫폼을 조직 전체의 표준 AI 개발·운영 환경으로 정착시키는 데 중요한 기반이 된다.

엔비디아·AMD 협력으로 고성능 AI 가속기 생태계 통합 지원

브로드컴은 프라이빗 AI 환경에서 고성능 AI 워크로드를 안정적으로 운영하기 위해 엔비디아와 긴밀한 기술 협력을 이어가고 있다. VCF 9은 엔비디아의 블랙웰(Blackwell) 기반 GPU(B200, RTX PRO 6000), ConnectX-7 네트워크, BlueField-3 DPU를 통합 지원해 대규모 연산 처리와 고대역폭 데이터 흐름을 요구하는 AI 학습·추론 작업을 효율적으로 처리한다. 

또한 양사가 공동 개발한 ‘VMware Private AI Foundation with NVIDIA’를 통해 엔비디아 AI 소프트웨어 스택이 프라이빗 클라우드 환경에서 표준화된 방식으로 작동하도록 설계되어 있으며, 이는 엔터프라이즈급 성능·안정성을 동시에 확보하도록 지원한다. 이 구조는 규제가 강한 산업에서 AI 계산 과정을 외부로 유출하지 않고 실행해야 하는 기업에게 중요한 기반이 된다.

AMD와도 협력해 이기종 가속기 선택권을 확장하고 있다. VCF 9은 AMD ROCm AI 소프트웨어와 Instinct MI350 GPU 기반 작업을 지원해 LLM 파인튜닝, RAG 기반 분석, 고밀도 추론 같은 주요 AI 워크로드를 프라이빗 환경 내부에서 처리하도록 한다. 

AMD 가속기 환경은 비용 효율성과 확장 유연성이 높아 엔비디아 대비 예산·성능 요구가 다른 조직에서 최적 대안이 될 수 있으며, 브로드컴은 이를 통해 프라이빗 AI 인프라의 벤더 종속성을 줄이고 기업이 장기적인 AI 현대화 전략을 유연하게 설계하도록 지원한다. 이러한 협력 구조는 다양한 산업에서 요구되는 성능, 비용, 규제 조건을 충족하며 프라이빗 AI 도입의 안정성과 확장성을 동시에 강화하는 핵심 요소로 자리 잡고 있다.

보안·효율·비용 최적화·운영 표준화 실현

VCF 9 기반 프라이빗 AI 도입은 민감 데이터 보호, 운영 효율성 증가, AI 개발·배포 속도 향상, 비용 절감 등 기업이 직면한 핵심 과제를 동시에 해결한다. 단일 플랫폼에서 VM·컨테이너·AI 워크로드를 통합 운영함으로써 중복 인프라 관리와 부서 간 중복 모델 운영을 제거한다. RAG·모델 스토어·모델 런타임·에이전트 빌더 등 네이티브 AI 서비스는 파일럿을 넘어 운영 단계까지 이어지는 엔드투엔드 AI 구축 환경을 제공한다. 또한 엔비디아·AMD 기반 가속기 호환성은 기업의 AI 성능·비용·유연성을 극대화한다.

브로드컴은 Intelligent Assist for VCF, Model Context Protocol(MCP), 멀티-가속기 모델 런타임, 멀티테넌트 모델 서비스(MaaS) 등 프라이빗 AI 네이티브 기능을 점진적으로 강화할 예정이다. 이는 인프라 운영 자동화, 데이터 연계 표준화, 이기종 가속기 효율화, 조직 규모 확장성 확보에 초점을 둔다.

VCF 9과 프라이빗 AI는 기업이 AI를 안전하게 도입하고 효율적으로 운영하기 위한 기술적 기준을 제시한다. 통합 인프라 구조, 고성능 가속기 호환성, 내부 데이터 보호 모델, 자동화된 AI 운영 환경 등 엔터프라이즈 요구조건을 모두 충족한다. 이는 단순한 도입이 아니라 기업의 AI 전략 실행에 필요한 기반을 마련하는 선택이며, 민감한 데이터를 다루는 산업에서 프라이빗 AI는 실질적인 표준으로 자리 잡을 것이다.

[알림] ‘GTT KOREA’ 와 ‘전자신문인터넷’이 공동으로 오는 11월 27일 양재역 엘타워에서 주최하는 “NSWS(Next Smart Work Summit) 2025”에서는 스마트워크 환경 관련 솔루션 글로벌 리더 기업들이 최신 기술과 시장 동향, 그리고 기업이 당면한 문제의 해결 방안을 심도 있게 다룰 예정입니다. 이번 서밋에서는 AI와 스마트워크를 활용한 혁신적인 업무 환경 구축 및 활용 전략 공유와 함께 전시 부스를 통해 기업에 필요한 다양한 스마트워크 활용법을 구체적으로 체험해 볼 수 있는 장도 마련됩니다.