올인원 옵저버빌리티 플랫폼 기업 뉴렐릭이 AI 기반 애플리케이션용 APM(Application Performance Management) 솔루션인 뉴렐릭 AI 모니터링(New Relic AI monitoring, 이하 AIM)을 출시했다. 뉴렐릭은 AIM의 출시를 통해 엔지니어들에게 AI 애플리케이션 스택 전반에 걸친 가시성과 인사이트를 제공한다는 계획이다.

엔지니어들은 AIM을 통해 문제들을 더욱 쉽게 해결하는 동시에 AI 애플리케이션의 성능, 품질, 비용은 최적화시키고 AI의 책임감 있는 사용과 관련 규제 준수도 더욱 효율적으로 실천할 수 있다. LLM 반응 추적이나 모델 비교와 같은 기능, 50개 이상의 통합 기술을 활용해 AIM은 IT 부서가 LLM 기반 애플리케이션 구축을 돕는다.

AIM은 모든 AI 기반 애플리케이션에 엔드-투-엔드 옵저버빌리티를 제공함으로써, 엔지니어는 단일 화면을 이용해 한 곳에서 성능, 비용, 보안 관련 이슈뿐 아니라 환각현상(hallucination), 편향, 유해성이나 공정성과 같은 품질 관련 이슈에 관한 여러 LLM 프롬프트와 반응 문제를 확인하고, 비교해 최적화할 수 있다.

이를 통해 엔지니어들은 서비스와 인프라스트럭처와 관련된 AI 스택 전반에 모든 요소들에 대한 가시성을 확보할 수 있어 AI를 책임감 있게 사용하기 위해 필요한 데이터를 확인하고 향후 AI 규제 관련 컴플라이언스 준수 상황도 확인할 수 있다.

뉴렐릭 AIM에는 AI 스택 전반에 걸친 가시성 확보, 반응 추적, 모델 비교, 더욱 쉽고 빠른 설정 등 모든 AI 모니터링 기능들을 제공하는 뉴렐릭 에이전트(Agent)로 계측 자동화를 지원한다. 또한 애플리케이션, 인프라스트럭처, AI 레이어, 반응 품질이나 토큰과 같은 AI 메트릭에 이르는 모든 요소를 아우르는 통합적인 인사이트를 제공하며 APM에 있어 중요한 신호도 놓치지 않고 보내준다.

랭체인(Langchain)과 같은 툴로 구축된 복잡한 LLM 반응의 라이프사이클을 추적해 편향, 유해성, 환각현상과 같은 성능 관련 문제나 품질 문제들을 수정할 수 있도록 돕는 것은 물론이고 사용량, 성능, 품질, 비용을 모든 모델을 아우르며 비교해 단일 화면에서 한 눈에 볼 수 있도록 제공한다.

이외에도 더욱 안전하고 책임감 있는 AI 사용을 지원하기 위해 각 응답들이 AI로 생성한 대답이라는 것을 알려줄 수 있도록 적절히 태깅됐는지 검증하고, 반응 추적(response trace)으로 도출한 인사이트를 통해서 편향, 유해성, 환각현상을 방지할 수 있도록 돕는다.

마나브 쿠라나(Manav Khurana) 뉴렐릭 최고 제품 책임자(CPO)는 “모든 기업과 기관들이 제품과 작업 현장에 AI를 도입하고 있는 상황에서 AI 워크로드는 이제 모던 기업 애플리케이션 아키텍처의 일부가 되고 있다. 뉴렐릭은 이번 출시된 AI 모니터링에 그 동안 클라우드 APM 개발에서 AI 기반 애플리케이션의 엔드-투-엔드 가시성 확보 기술까지 뉴렐릭만의 심도있는 전문 기술을 녹여내, 기업들이 성능, 비용을 더욱 효율적으로 관리하는 동시에 AI 규제나 기준을 준수하며 작업할 수 있도록 돕고 있다”고 전했다.