LLM(대형 언어 모델)은 특히 2022년 챗GPT-3.5가 시장에 출시된 이후 비즈니스에서 뜨거운 주제가 되었다.

생성AI를 이러한 모델에 통합하면 기능이 더욱 향상되어 기업에 비용 효율성과 신뢰성 사이의 딜레마가 발생한다. AI멀티플이 클라우드 LLM에 대한 광범위한 견해, 일부 사례 연구 및 사내에서 제공되는 로컬 LLM과의 차이점을 제시했다.

클라우드 대형 언어 모델(LLM)

클라우드 LLM은 클라우드 환경에서 호스팅되는 대규모 언어 모델이다. GPT-3과 같은 이러한 모델은 고급 언어 이해 기능을 갖추고 인간과 유사한 텍스트를 생성할 수 있는 AI 시스템이다. 클라우드 LLM은 인터넷을 통해 액세스할 수 있어 챗봇, 콘텐츠 생성, 언어 번역 등 다양한 애플리케이션에서 쉽게 사용할 수 있다.

그러나 대기업은 광범위한 클라우드 이니셔티브와 SaaS 통합에도 불구하고 일반적으로 클라우드에 애플리케이션의 15~20%만을 보유하고 있다. 이는 IT 인프라와 애플리케이션의 상당 부분이 여전히 온프레미스 또는 레거시 시스템에 의존하고 있음을 나타낸다.

클라우드 LLM은 기술 전문성이 낮은 팀에 적합하다. 클라우드 LLM은 사용자 친화적인 인터페이스와 API를 통해 액세스할 수 있고 효과적으로 구현하고 활용하는 데 기술 노하우가 덜 필요하므로 기술 전문성이 제한적인 팀에 적합할 수 있다.

또한 기술 예산이 제한된 팀에도 적절한 선택이다. 클라우드 LLM을 사용하면 상당한 초기 하드웨어 및 소프트웨어 투자가 필요하지 않다. 사용자는 구독 또는 사용량 기준으로 클라우드 LLM 서비스 비용을 지불할 수 있으며 이는 보다 예산 친화적일 수 있다.

클라우드 LLM의 장점과 단점

클라우드 LLM의 장점은 우선 유지 관리 부담이 없다. 클라우드 서비스 공급자가 이러한 책임을 처리하고 비용이 구독 가격에 추가되므로 클라우드 LLM 사용자는 기본 인프라를 유지 관리하고 업데이트하는 부담에서 해방된다.

클라우드 LLM은 인터넷 연결을 통해 어디서나 액세스할 수 있으므로 지리적으로 분산된 팀 전체에서 원격 협업이 가능하다.

비용이 절감된다. 사용자는 비용 효과적인 종량제 가격 책정 모델의 이점을 활용하여 하드웨어 및 소프트웨어 조달과 관련된 초기 자본 지출을 줄이고 필요할 때마다 모델을 활용할 수 있다.

그러나 여러 장점이 있지만 보안 위험을 고려해야 한다. 민감한 데이터를 저장하거나 LLM을 사용하면 잠재적인 데이터 침해 또는 무단 액세스로 인해 클라우드 보안 문제가 발생할 수 있다. 이는 정교한 사회 공학 공격에 취약할 수 있으므로 개인 정보 보호에 대한 우려가 큰 기업에게는 부담이 될 수 있다.

로컬 LLM

로컬 LLM은 조직의 자체 서버나 인프라에 설치 및 실행되는 대규모 언어 모델을 의미한다. 이러한 모델은 더 많은 제어 기능과 잠재적으로 향상된 보안을 제공하지만 클라우드 컴퓨팅 모델에 비해 더 많은 기술 전문 지식과 유지 관리 노력이 필요하다.

로컬 LLM은 첨단 기술 전문 지식을 갖춘 팀에 적합하다. 주요 기술 회사(예: 구글, IBM) 또는 복잡한 LLM 인프라를 유지 관리할 수 있는 리소스와 기술을 갖춘 연구실 등 전담 AI 부서가 있는 조직에서 잘 활용될 수 있다.

전문 용어를 사용하는 산업에도 활용도가 높다. 특정 전문 용어에 대해 훈련된 맞춤형 모델이 필수적인 법률이나 의학과 같은 분야에 유용하다.

클라우드 인프라에 투자한 기업도 적합하다. 이미 클라우드 기술에 상당한 투자를 한 기업이다. (예: Salesforce)은 사내 LLM을 보다 효과적으로 설정할 수 있다.

엄격한 테스트를 시작할 수 있는 기업도 적절하다. 정확성과 신뢰성을 위해 광범위한 모델 테스트가 필요한 기업에 필요하다.

로컬 LLM의 장점과 단점

로컬 LLM의 장점은 우선 높은 수준의 보안 운영이다. 조직은 데이터와 데이터 처리 방법에 대한 완전한 통제권을 유지하여 데이터 개인 정보 보호 규정 및 내부 보안 정책을 준수할 수 있다.

지역 LLM의 단점은 우선 초기 GPU 및 서버에 대한 상당한 투자가 필요하다는 것이다. 이는 중견 기술 회사가 로컬 LLM 인프라를 구축하기 위해 수십만 달러를 지출할 수 있는 시나리오와 유사하다. 모델 미세 조정과 같이 변동하는 요구 사항을 충족하기 위해 리소스를 확장하는 데 어려움이 있다. 하나의 대규모 언어 모델을 훈련하면 약 315톤의 이산화탄소가 배출되는 환경 문제도 있다.

로컬 또는 클라우드 LLM 선택 가이드

로컬 또는 클라우드 LLM 중에서 선택할 때 아래의 사항을 고려해야 한다.

① 사내 전문 인력

로컬에서 LLM을 실행하려면 기계 학습 및 복잡한 IT 인프라 관리에 대한 상당한 기술 전문 지식이 필요하다. 이는 강력한 기술팀이 없는 조직에게는 어려울 수 있다. 반면, 클라우드 기반 LLM은 유지 관리 및 업데이트를 포함하여 클라우드 제공업체에 많은 기술적 부담을 덜어 전문 IT 직원이 부족한 기업에 더 편리한 옵션이 된다.

② 예산 제약

로컬 LLM 배포에는 주로 강력한 컴퓨팅 하드웨어, 특히 GPU가 필요하기 때문에 상당한 초기 비용이 필요하다. 이는 소규모 회사나 스타트업에게는 큰 장애물이 될 수 있다. 반대로, 클라우드 LLM은 일반적으로 구독 또는 종량제 요금제와 같이 사용량에 따른 가격 책정 모델을 사용하여 초기 비용이 더 낮다.

③ 필요한 컴퓨팅 요구 사항

일관되고 대용량 컴퓨팅 요구 사항과 이를 지원하는 인프라가 있는 기업의 경우 로컬 LLM이 보다 안정적인 선택이 될 수 있다. 그러나 클라우드 LLM은 수요가 변동하는 비즈니스에 유용한 확장성을 제공한다. 클라우드 모델을 사용하면 리소스를 쉽게 확장하여 증가된 작업 부하를 처리할 수 있다. 이는 컴퓨팅 요구 사항이 주기적으로 급증하는 회사(예: 블랙 프라이데이 시즌의 화장품 회사)에 특히 유용하다.

④ 위험 관리 자산

로컬 LLM은 데이터 보안에 대한 보다 직접적인 제어를 제공하고 민감한 정보(예: 금융 또는 의료 데이터)를 처리하는 조직에서 선호할 수 있지만 강력한 내부 보안 프로토콜도 필요하다. 클라우드 LLM은 인터넷을 통한 데이터 전송으로 인해 잠재적으로 더 높은 위험을 초래할 수 있지만 일반적으로 보안 조치에 막대한 투자를 하는 공급자가 관리한다.

클라우드 LLM 사례

오스트리아의 법률 출판사인 Manz는 딥셋 클라우드(Deepset Cloud)를 사용하여 의미 검색을 통해 법률 연구를 최적화했다. 광범위한 법률 데이터베이스로 인해 관련 문서를 찾는 보다 효율적인 방법이 필요했다. 그들은 NLP 및 독일어 언어 모델 에 대한 딥셋 클라우드의 전문 지식을 통해 의미론적 추천 시스템을 구현해 Manz는 연구 작업 흐름을 크게 개선했다.

코그니전트(Cognizant)와 구글 클라우드는 의료 문제를 해결하기 위해 클라우드에서 LLM(대형 언어 모델)을 포함한 생성AI를 활용하기 위해 협력하고 있다. 구글 클라우드의 버텍스 AI 플랫폼과 코그니전트의 업계 전문 지식을 사용하여 이의 제기 및 환자 참여와 같은 의료 관리 프로세스를 간소화하는 것을 목표로 한다. 이 파트너십은 의료 운영을 최적화하고 비즈니스 효율성을 높이는 클라우드 기반 LLM의 잠재력을 강조한다.

홍콩에 본사를 둔 Allied Banking Corporation은 핵심 뱅킹 운영을 클라우드로 전환하고 피내스트라(Finastra)의 차세대 에센스(Essence) 솔루션으로 업그레이드했다. 또한 향상된 보고를 위해 피나스트라의 소매 분석을 구현했다.