현재 전 세계 기업의 85%가 생성AI를 사용하고 있지만, 가장 발전된 모델도 기업별 데이터에 대한 이해가 부족해 비즈니스에 특화된 체계적인 결과를 제공하는 데 어려움을 겪고 있다.

데이터 및 AI 기업 데이터브릭스(Databricks)가 AI 에이전트를 시범(pilot)단계에서  대규모 운영 환경에 도입할 수 있는 새로운 도구를 18일 공개했다.  

이번에 발표된 신규 도구는 기업이 AI 에이전트를 비즈니스에 필수적인 고부가가치 애플리케이션에 도입할 수 있도록 지원한다. 주요 기능으로는 ▲중앙 집중식 거버넌스 ▲기존 애플리케이션 통합 ▲워크플로 간소화 ▲사용자 경험 개선 등이 있다.

모든 AI 모델 관리로 맞춤형 LLM 활용

이 도구는 모든 AI 모델(오픈 소스 및 상업용 모델)을 한 곳에서 관리할 수 있다. 또한 ‘모자이크 AI 게이트웨이(Mosaic AI Gateway)’를 통해 맞춤형 대규모 언어 모델(LLM)을 활용할 수 있어 모델 전반에 일관된 거버넌스, 모니터링 및 통합 기능을 제공한다.

AI·BI 지니(Genie) 대화형 API 제품군은 개발자가 자연어 기반 챗봇을 맞춤형 애플리케이션이나 마이크로소프트 팀즈, 쉐어포인트, 슬랙과 같은 기존 도구에 통합할 수 있다. 아울러 ‘지니 API(Genie API)’을 활용해 프로그래밍 방식으로 프롬프트를 제출하고, 지니 UI와 동일한 인사이트를 얻을 수 있다. 뿐만 아니라, 대화 스레드 내에서 여러 후속 질문에서 대화의 문맥을 유지할 수 있다. 

개선된 ‘에이전트 평가 리뷰 앱(Agent Evaluation Review App)’은 AI 에이전트의 성능을 쉽게 평가하고, 맞춤형 피드백을 제공하며, 라벨링을 위해 추적을 보내고, 평가 기준을 사용자 맞춤화 할 수 있다. 

엑셀 스프레드시트나 별도의 맞춤형 애플리케이션 없이도 체계적인 피드백을 수집할 수 있어, AI 성능을 지속적으로 개선할 수 있다. 실제 운영 환경에서 AI 에이전트의 성능을 평가하는 시간과 노력을 줄여준다.

고품질 AI 에이전트를 구축하기 위해서는 사용 경험을 단순화하는 것도 중요하다. 이번에 새롭게 추가된 기능은 ‘모자이크 AI(Mosaic AI)’에서 단일 SQL 쿼리만으로 배치 추론을 실행할 수 있고 별도의 인프라 설정 없이 비정형 데이터를 통합할 수 있다.

현재 모자이크 AI 게이트웨이, 지니 대화형 API 스위트, 에이전트 평가 리뷰 앱, 배치 AI는 퍼블릭 프리뷰(Public Preview) 버전으로 제공되고 있다.

데이터브릭스는 이번 신규 도구 출시를 계기로 기업이 고부가가치 활용 사례에서 AI를 더욱 신뢰하고 효과적으로 활용할 수 있도록 지원할 계획이다.