기업들이 생성AI를 실무에 도입하려는 시도가 늘고 있지만, 높은 구축 비용과 품질 편차, 반복 불가능한 실험 등이 주요한 장애 요소로 작용하고 있다. 특히 비정형 데이터를 기반으로 한 신뢰도 높은 응답과 반복 가능한 AI 성능 구현은 여전히 해결 과제로 남아 있다. 이러한 상황에서 데이터 기반의 효율적이고 신뢰 가능한 AI 에이전트 구축 기술에 대한 산업 전반의 수요가 확대되고 있다.

데이터 및 AI 통합 플랫폼 기업 데이터브릭스(Databricks)가 비즈니스 맞춤형 고성능 AI 에이전트를 자동 구축할 수 있는 신규 솔루션 ‘에이전트 브릭스(Agent Bricks)’를 공개했다. 에이전트 브릭스는 간단한 작업 설명과 데이터 연동만으로 자동 최적화된 AI 에이전트를 생성하며, 구조화된 정보 추출, 지식 탐색, 맞춤형 텍스트 변환, 다중 에이전트 오케스트레이션 등 다양한 산업 사례에 특화된 성능을 제공한다. 이 솔루션은 현재 베타 버전으로 제공 중이다.

자동화된 성능 최적화...고품질·저비용 AI 구축 지원

에이전트 브릭스는 데이터브릭스의 모자이크 AI 리서치(Mosaic AI Research) 팀이 개발한 연구 기반 기술을 적용해, 도메인 특화형 합성 데이터와 작업 인지형 벤치마크를 자동으로 생성한다. 이를 통해 AI 에이전트의 성능을 자동 평가하고, 반복 실험 없이 품질과 비용 간 균형점을 찾아 최적화할 수 있도록 설계됐다. 모든 과정은 자동화되어 사용자는 최종 결과물만 선택하면 된다.

이 기술은 평가 기준 부족으로 인해 직관에 의존하던 기존 에이전트 개발 방식에서 벗어나, 벤치마크 기반의 정량 평가, 맞춤형 합성 데이터 생성, 다단계 성능 최적화를 자동 수행한다. 이를 통해 기업은 초기 단계부터 운영 수준의 품질을 구현할 수 있으며, 고비용 수작업 튜닝이나 기술 인력의 재교육 없이도 빠르게 활용 가능하다. 또한 데이터브릭스의 플랫폼에 내장된 보안 및 거버넌스 기능을 그대로 적용해, 별도의 툴 통합 없이 운영 전환이 가능하다.

에이전트 브릭스는 산업별 다양한 활용 사례에 최적화된 구조를 갖고 있다. 정보 추출 에이전트는 PDF, 이메일, 보고서 등 비정형 문서에서 구조화된 데이터를 자동 추출하며, 지식 탐색 에이전트는 정확한 인용을 포함한 응답으로 챗봇의 품질 문제를 보완한다. 다중 에이전트 통합 관리 기능은 여러 LLM 기반 에이전트들을 조율하며, 맞춤형 LLM 에이전트는 특정 기업 과제에 맞는 텍스트 생성에 특화돼 있다.

아스트라제네카(AstraZeneca)의 커머셜 IT 부문 데이터 및 AI 총괄 조셉 뢰머(Joseph Roemer)는 “에이전트 브릭스를 통해 40만 건의 임상시험 문서를 별도 코딩 없이 분석하고 구조화할 수 있었다”며, “단 60분 만에 복잡한 데이터를 분석 가능한 상태로 전환하는 에이전트를 구축할 수 있었다”고 밝혔다.

서버리스 GPU·MLflow 3.0으로 생성AI 인프라 완성도 제고

데이터브릭스는 이번 발표에서 서버리스 GPU(Serverless GPU) 기능도 함께 공개했다. 해당 기능은 GPU 인프라를 별도 프로비저닝 없이 사용할 수 있도록 지원해, 모델 파인튜닝, 대규모 언어모델 실험, 머신러닝 작업을 빠르고 효율적으로 수행할 수 있다. 온디맨드 방식의 컴퓨팅 확장과 낮은 관리 부담으로 AI 애플리케이션 개발의 진입 장벽을 크게 낮췄다.

또한, AI 수명주기 통합 관리 플랫폼인 MLflow 3.0도 발표됐다. MLflow 3.0은 생성AI 환경에 맞춰 새롭게 설계되었으며, AI 에이전트의 추적, 성능 비교, 디버깅, 품질 평가 등을 지원한다. 통합된 프롬프트 관리, 인적 피드백, LLM 기반 평가 기능이 제공되며, 데이터브릭스의 레이크하우스와 통합돼 운영 데이터를 분석에 직접 활용할 수 있다. MLflow는 오픈소스로 제공되며 월 3천만 회 이상의 다운로드를 기록 중이다.

알리 고드시(Ali Ghodsi) 데이터브릭스 공동창립자 겸 CEO는 “에이전트 브릭스는 아이디어 구상 단계부터 기업 데이터 기반의 운영형 AI를 구축할 수 있는 완전히 새로운 방식”이라며, “고비용 수작업 튜닝 없이 최적의 품질과 비용을 달성하고, 보안과 거버넌스를 내재한 구조로 실용성과 확장성을 모두 갖췄다”고 밝혔다.

데이터브릭스는 이번 에이전트 브릭스와 서버리스 GPU, MLflow 3.0을 통해 생성AI를 실제 운영에 적용할 수 있는 통합 플랫폼으로서의 기술 기반을 강화했다.