생성AI의 잠재력에 대해 많은 기대가 쏟아지고 있다. 세계 경제에 수조 달러가 추가되는 것부터 생성AI가 주도하는 작업의 상당 부분까지 큰 그림은 훌륭해 보인다. 그러나 이러한 잠재력을 현실로 바꾸는 것부터 어려운 작업이 시작된다.

자율 에이전트는 사용자를 대신하여 작업을 수행하는 소프트웨어 프로그램이다. 가장 간단한 수준에서 자율 에이전트는 하나 이상의 LLM(대형 언어 모델)을 활용하고 문서 요약과 같은 작업을 수행할 수 있는 텍스트 인터페이스로 다른 서비스를 래핑한다. LLM이 사람들의 생각을 모방할 수 있다는 사실은 과거에는 구현하기 어렵거나 불가능했던 작업에 대한 새로운 가능성을 열어준다.

자율 에이전트의 목표

LLM은 사용자 요청에 훌륭하게 응답하지만 회사를 경쟁사와 차별화하는 생성AI 서비스를 구축하기에는 충분하지 않다. 진정한 차별화는 도메인 전문 지식, 고객 요구 사항에 대한 통찰력, 우수한 최종 사용자 경험을 만드는 능력에서 비롯된다. 상용 LLM 시대에 리더로 성장하는 기업은 고객이나 직원에게 효과적으로 권한을 부여하는 매력적인 자율 에이전트를 구축하는 방법을 이해하는 기업이 될 것이다.

자율 에이전트는 생성AI 주변에서 우리에게 익숙한 단순한 질문/응답 채팅보다 더 큰 문제를 해결한다. 에이전트는 차례로 수행할 수 있는 연결된 작업을 처리할 수 있으며 결과에 따라 사람의 개입이 제한되거나 전혀 없는 상태에서 목표를 반복하거나 변경할 수 있다. 가장 중요한 점은 에이전트가 복잡하고 진화하는 활동 패턴을 기반으로 동작을 조정할 수 있다는 것이다.

예를 들어, 소매업에 종사하는 상담원은 사기 행위를 인식하고 거짓 긍정 결과를 크게 줄일 수 있다. 이를 통해 서비스는 실행할 작업을 결정하여 실시간으로 사기를 감지 및 방지하고 실제 거래에 대한 잘못된 긍정 결과를 방지할 수 있다. 그 결과 사기 방지와 관련된 시간과 비용이 모두 절약된다.

자율 에이전트를 구축하는 방법

기술적인 관점에서 자율 에이전트 설계에는 ▲처리를 위한 에이전트 자체 ▲상호작용을 위한 도구 ▲프롬프트 및 계획을 위한 프롬프트 레시피 ▲데이터 훈련 및 저장을 위한 메모리 및 컨텍스트 ▲상호작용을 위한 API/사용자 인터페이스 등 5가지 요소가 있다.

이 인프라의 중심에 있는 에이전트는 하나 이상의 LLM과 다른 서비스와의 통합을 활용한다. 이 통합 프레임워크를 직접 구축할 수도 있고, LangChain 또는 LlamaIndex와 같이 생성된 기존 오케스트레이션 프레임워크 중 하나를 가져올 수도 있다. 프레임워크는 서비스가 지원할 낮은 수준의 기본 모델 API를 제공해야 한다. 이는 기존 데이터베이스 및 외부 API부터 시간이 지남에 따라 다른 요소까지 모든 것을 포함하여 전체 에이전트의 일부로 사용할 리소스에 에이전트를 연결한다. 또한 챗봇부터 보다 복잡한 자율 작업에 이르기까지 에이전트를 통해 어떤 사용 사례를 제공하려는지 고려해야 한다.

기존 오케스트레이션 프레임워크는 LLM 관리와 관련된 많은 무거운 작업을 처리할 수 있으므로 생성AI를 사용하는 애플리케이션이나 서비스를 훨씬 쉽고 빠르게 구축할 수 있다. 예를 들어 LangChain은 프롬프트 관리, 벡터 데이터 저장소 및 기타 도구와 같은 다른 요소에 대한 연결을 표준화하여 LLM을 중심으로 애플리케이션을 구축할 수 있는 인기 있는 오픈 소스 프레임워크를 제공한다. 개발자는 처음부터 각 통합을 직접 개발하고 지원할 필요 없이 다른 도구를 사용하여 LLM에 대한 호출을 연결하여 애플리케이션을 구축할 수 있다.

생성AI를 위한 도구 통합

도구 측면에서 에이전트는 LLM과만 상호 작용하는 것으로 제한되어서는 안 된다. 대신, 다른 데이터 세트나 애플리케이션을 활용하도록 에이전트를 구축해야 한다. 애플리케이션 측면에서는 간단한 계산기부터 외부 서비스 또는 내부 백엔드 애플리케이션용 API 호출에 이르기까지 다양하. 구글의 검색 API와 같은 외부 서비스와의 통합을 통해 응답에 더 많은 정보를 쉽게 추가할 수 있다.

예를 들어 오픈AI의 챗GPT는 2023년 3월까지의 데이터를 사용해 학습했기 때문에 그 이후에 데이터를 묻는 사용자의 질문에는 좋은 응답을 얻지 못할 것이다. 서비스는 응답할 올바른 데이터가 없다고 응답하거나 더 나쁜 경우 환각이라고 알려진 잘못된 정보를 생성할 수 있다. 검색 요청을 AI 에이전트에 통합하면 검색 요청을 수행한 다음 해당 정보가 응답에 포함될 수 있도록 LLM에 다시 제공할 수 있다.

이를 구현하려면 검색 API에 액세스할 도구를 정의해야 한다. 이와 함께 요청을 인식하고 도구에 액세스한 다음 응답을 로드하는 프롬프트 템플릿을 정의해야 한다. 예를 들어, 검색 프롬프트 템플릿은 검색 API를 트리거하는 것이 "현재 이벤트에 대한 질문에 답해야 할 때 유용하다"고 AI 에이전트에 알린다. 이것이 종합되면 구글 검색 액세스 권한이 있는 에이전트를 사용하여 "오늘 현재 캐나다에 몇 명이 살고 있습니까?"와 같은 현재의 사실 데이터가 포함된 요청과 관련된 답변을 얻을 수 있다.

이 예는 생성AI 시스템이 "현재" 데이터에 액세스하려면 "검색"을 사용해야 한다는 점을 이해하고 "검색" 도구를 사용하여 작업을 실행한 다음 관찰 내용을 사용자에게 다시 공유해야 함을 보여준다. 공용 데이터를 사용한 간단한 온라인 검색 외에도 AI 에이전트는 운영 데이터 저장소 또는 벡터 저장소에서 내부 기업 데이터 소스에 액세스할 수 있다. 이 회사 데이터를 사용하면 검색 증강 생성(RAG)을 사용하여 응답의 정확성을 향상시킬 수 있다.

당신의 제품이나 귀하의 조직이 활동하는 업계에 대해 보다 구체적인 도메인 컨텍스트를 추가하려는 경우 LLM 자체를 사용하는 것만으로는 충분하지 않다. 그러나 이러한 격차를 해결하기 위해 자체 모델을 교육할 필요는 없다. 대신 RAG를 사용하거나 도메인 컨텍스트에 따라 모델에 미세 조정을 추가할 수 있다.

이러한 접근 방식(미세 조정 및 RAG)을 결합하면 사용자에게 더 나은 품질의 응답을 제공할 수 있다. RAG를 사용하는 것은 강력한 데이터 개인 정보 보호 요구 사항을 충족해야 하고 회사 IP 또는 고객 PII를 LLM 모델에 저장하고 싶지 않은 경우에도 유용하다.

생성AI 서비스에 더 많은 데이터 추가

RAG를 통해 데이터를 주입하는 것은 모델의 훈련 데이터 세트에 없는 컨텍스트 정보를 생성AI 시스템에 제공하는 가장 효율적인 방법이다. 이는 정기적으로 업데이트되는 데이터가 있고 사용자가 응답에서 최신 데이터를 원하는 경우에 특히 유용하다. 미세 조정 및 RAG를 위한 이 데이터는 데이터베이스, 고객 관계 관리, 전사적 자원 계획, 지식 관리 시스템과 같은 기존 데이터 세트에서 가져옵니다. 그러나 메일 대화, 서비스 통화 음성 녹음, 비디오, 이미지 등과 같이 구조화되지 않은 소스에서도 정보가 나올 수 있다.

AI 에이전트는 이 데이터를 관리하기 위해 단기 및 장기 메모리를 위한 저장 계층을 필요로 한다. AI 에이전트가 상태를 유지하지 않기 때문에 단기 메모리는 대화의 기록을 유지하고 해당 데이터를 사용하여 추가 응답을 생성한다. 이는 이전 질문과 응답 로그를 포함하여 에이전트의 현재 상황과 관련된 많은 관찰과 함께 메모리 스트림처럼 작동한다. 이를 효율적으로 지원하기 위한 한 가지 방법은 검색을 지원하는 벡터 검색을 사용하는 것이다. 또한 이를 통해 에이전트의 메모리로 사용되는 이력을 관리하고 데이터 라이프사이클을 완전히 제어하며 모든 권한이나 보안 규칙을 정의할 수 있다.

생성AI에서 자율 에이전트를 구축하는 방법

자율 에이전트를 구축하려면 인간의 사고 패턴을 모방하고 작업 실행을 사전에 계획해야 한다. 계획하는 동안 LLM 에이전트를 생성하고 크고 복잡한 작업을 더 작고 관리 가능한 단계로 나눌 수 있다. 이러한 에이전트는 과거 작업을 통해 학습하고 실수에 대한 성공적인 결과를 추적할 수 있어야 한다. 이 데이터는 중요한 자율 에이전트가 향후 단계를 최적화하고 최종 결과를 개선하는 데 도움이 된다.

사용자를 위한 자율 에이전트를 생성하려면 함께 작동하는 다양한 에이전트로 구성된 복잡한 시스템을 구현해야 한다. 처음에는 정보나 요청을 받아들인 다음 관련 컨텍스트를 요청에 추가하고 이 요청을 메모리나 작업 저장소에 푸시하는 관찰자 에이전트가 있다. 그런 다음 필요한 특정 작업을 수행하고 사용자가 원하는 응답이나 작업을 생성하는 실행 에이전트에 작업이 푸시된다.

이와 함께 추가 작업을 수행하는 다른 에이전트도 있다. 이전에 사용된 사기 탐지 예제를 계속하려면 관찰자 에이전트는 신용 카드 거래 데이터를 보고 작업을 실행 에이전트, 관찰자 ​​에이전트 또는 트랜잭션과 상호 작용할 수 있는 기타 에이전트에 보낼지 여부를 결정한다. 단일 신용 카드 거래 자체는 큰 의미가 없지만 수백 마일 떨어진 다른 장소에서 짧은 시간 내에 동일한 카드를 두 번 사용하는 것은 사기의 예가 될 수 있다.

첫 번째 트랜잭션의 경우 에이전트는 이를 메모리에 저장할 수 있다. 그러나 동일한 카드가 너무 빨리 다시 사용되면 에이전트는 첫 번째 이벤트의 맥락을 기반으로 사기 거래를 분석하는 작업을 생성한다. 여기서는 우선순위 에이전트가 작업을 분석하고 사기 대응을 위해 실행 에이전트를 트리거할지 아니면 정상적으로 처리되도록 트랜잭션을 보낼지 결정하기 위해 트리거된다.

사기 대응 실행 에이전트는 사기 거래 분석만 담당한다. 검색 증강 생성 및 Google Maps API와 같은 외부 서비스를 사용하여 과거 거래 및 신용 카드 사용 행동과 같은 더 많은 컨텍스트 데이터에 액세스하여 카드가 사용된 장소의 여행 및 거리 정보를 이해할 수 있다. 분석을 돕기 위해 앱, 문자 메시지 또는 전화를 통해 고객과 상호 작용할 수도 있다.

이러한 상호 작용을 기반으로 서비스는 이러한 트랜잭션과 관련된 데이터 컨텍스트를 기반으로 효과적으로 대응하는 방법을 결정할 수 있다. 자율 에이전트는 여러 구성 요소를 사용하여 사용자가 보고 싶어하거나 비즈니스가 운영 가치를 창출하는 데 사용할 최종 응답을 생성한다. 이는 새로운 서비스가 구축될 때 반복해서 정의해야 하는 정적인 프로세스와 워크플로를 중심으로 진행되지 않기 때문에 매우 흥미롭다. 대신, 서비스는 개발되는 새로운 서비스에 반응하고 이를 사용할 수 있다.

자율 에이전트가 이전 접근 방식과 비교되는 방식

과거에는 사용자 요청에 대한 자동화된 응답을 달성하기 위해 미리 정의된 일련의 단계를 통해 작동하는 프로세스 실행 엔진을 활용했을 수도 있다. 그러나 이 접근 방식에는 처음부터 끝까지 필요한 다양한 단계를 정의하는 명시적인 모델이 필요했다. 이 접근 방식은 시스템 구현이 복잡하고 변경 사항이 있을 때마다 업데이트해야 하므로 유연성이 더 낮았다. 예상 매개변수를 벗어나는 모든 사건은 별도로 처리해야 하며, 새로운 동작을 반영하도록 모델을 업데이트해야 한다.

자율 에이전트는 보다 복잡한 환경을 처리하고 상황에 맞는 데이터를 사용하여 새로운 경험과 패턴에 대응할 수 있다. 에이전트는 모델에 대한 특정 수동 업데이트가 필요하지 않고 사용 가능한 도구를 사용하여 보다 관련성이 높은 실시간 데이터를 얻을 수 있다. 문제는 여전히 어려울 수 있지만 상담원은 문제 해결을 더 쉽고 쉽게 만들 수 있다.

LLM은 응용 분야에 큰 잠재력을 가지고 있지만 자율 에이전트와 같은 생성AI 서비스에 필요한 유일한 구성 요소는 아니다. 이러한 에이전트는 LLM과 기타 도구의 조합을 사용하여 문서 요약과 같은 기본 작업부터 인간 작업을 모방하는 복잡한 "에이전트 오케스트레이션"에 이르기까지 고급 기능을 잠금 해제한다. 이러한 에이전트가 함께 모이면 비즈니스에 더 많은 가치를 창출하고 고객 요구를 충족할 수 있다. 개발자의 경우 LLM 및 데이터를 다른 도구 및 서비스와 결합하려면 더 많은 통합이 필요하지만 더 혁신적인 애플리케이션을 구축하고 비즈니스 팀과 협력할 수 있는 기회를 제공할 것이다.

필자 돔 쿠드웰(Dom Couldwell)은 데이터스택스(Datastax) EMEA 현장 엔지니어링 책임자로 기업이 제대로 작동하는 오픈 소스 스택을 기반으로 실시간 애플리케이션을 구현하도록 돕고 있다. 금융 서비스, 의료, 소매를 포함한 다양한 분야에서 20년 이상의 경험을 쌓았다.

(*이 칼럼은 GTT KOREA의 편집 방향과 다를 수 있습니다.)