다른 신기술과 마찬가지로 많은 사람들이 업무에 도움이 되도록 생성AI를 사용하고 싶어한다. 액센츄어의 연구에 따르면 기업의 89%가 생성AI를 사용하면 더 많은 비즈니스 기회가 열릴 것이라고 생각하고 있다. 또한 86%의 기업이 IT 및 기술 인프라를 현대화해야 한다고 생각한다

하지만, 문제는 엔터프라이즈 생성AI 프로젝트가 설계, 테스트, 구축, 확장하는 데 시간이 걸린다는 것이다. 새로운 생성AI 스택이 제공하는 빠른 생산 경로에도 불구하고 사람들이 직접 작업을 수행할 위험이 있다. 이는 섀도 AI라고 불리는 IT 영역 밖의 생성AI 구축으로 이어질 것이다. 이러한 무단 섀도 AI의 구축은 기업이 생성AI에 대한 초기 논의가 제대로 이루어지지 않고 팀에게 마찰이 적은 도구를 제공하지 않을 때 주로 발생한다.

예를 들어, 영업팀이 잠재 고객 발굴과 이메일 작성에 생성AI를 사용하려고 한다고 가정해 보자. 공개 LLM(대형 언어 모델)에 데이터를 넣으면 팀의 생산성이 향상되고 더 많은 거래를 성사시키며 비즈니스 성장을 달성하는 데 도움이 될 수 있다. 하지만 왜 그들이 멈춰야 하고 경쟁사가 앞서 나갈 위험을 감수해야 하는가?

생성AI 수요에 앞서가기

기업은 생성AI에 대해 어떻게 생각하고 무엇을 개선하고 싶은지에 대해 각 부서와 협의해야 한다. 협의에 참여해 비즈니스팀이 원하는 것이 무엇인지 경청한 다음, 더 완전한 전략을 제공할 계획을 세워야 한다. 이는 팀에게 가능한 것에 대해 조언하고, 이점에 대해 검토하며, 과대 광고나 오해를 풀 수 있는 기회가 될 수도 있다.

이러한 대화를 통해 팀 구성원은 동료가 직면한 비즈니스 문제에 대해 더 많은 것을 발견하고 이러한 필요에 맞는 생성AI 서비스를 설계하고 구축하는 방법을 살펴볼 수 있다. 여기서 중요한 부분은 기업이 팀이 이미 보유하고 있는 데이터를 가져와 생성AI와 결합하여 이를 더욱 유용하게 만드는 방법이다.

위의 예에서, 생성AI 시스템이 제공하는 응답에서 용어와 정확한 판매 포인트를 사용할 수 있도록 제품에 대한 정보를 어떻게 준비할 수 있을까? LLM이 교육받은 데이터만 사용하는 것보다, 사용자의 데이터를 통합하면 생산성이 향상되고 AI 환각이 줄어들며 효과적인 개인화를 할 수 있다. 동시에 민감한 자료를 제3자에게 넘기는 대신 사용자의 통제 하에 보관할 수 있다.

데이터와 생성AI의 차별화

생성AI는 회사가 수행하는 작업을 차별화하는 데 도움이 된다. 그러나 공개 LLM만으로는 이를 제공할 수 없으며 다른 사람들과 똑같이 들릴 것이다. 기업은 검색 증강 생성(RAG)을 사용하여 자체 데이터를 테이블로 가져옴으로써 생성AI 전략을 더욱 효과적이고 맞춤화할 수 있다.

RAG는 자체 데이터를 가져와 생성AI와 함께 사용할 수 있도록 준비한 다음 직원이 응답을 요청할 때 이 데이터를 LLM에 컨텍스트로 전달한다. RAG는 환각과 같은 문제를 해결할 수도 있으며, 동일한 종류의 질문을 하는 다른 기업과 유사한 결과를 얻는 대신 조직과 고객에게 더 관련성이 높은 결과를 제공한다. 다른 어떤 기업도 동일한 데이터의 깊이나 조합을 제공할 수 없다.

이를 구현하려면 벡터 데이터 저장소와 다양한 AI 통합 도구를 결합하여 더 쉽고 빠르게 시작할 수 있는 RAG 스택을 구축해야 한다. 이를 신속하게 구축하면 팀이 중앙 IT를 기다리는 동안 스스로 시도할 수 있는 ‘불법’ 구축을 방지할 수 있다. RAG와 같은 기술은 LLM에 대한 교육 없이도 향상된 컨텍스트를 위해 회사 데이터를 활용할 수 있도록 하여 데이터 유출 위험을 줄인다.

시간이 지남에 따라 서비스 구축에 대한 로우코드 및 노코드 접근 방식을 수용하여 조직 내의 더 많은 사용자가 생성AI 서비스를 사용할 수 있도록 할 수 있다. 전체 구현을 실행하는 대신 지침과 지원을 제공할 수 있는 ‘CoE(Center of Excellence)’ 접근 방식을 채택하면 중앙 IT의 속도를 늦추지 않고 모든 사람이 이러한 기술에 액세스할 수 있는 가능성이 높아지는 동시에 이러한 서비스는 실제로 사용되는 방법에 대한 올바른 가드레일을 마련할 수 있다.

생성AI에 대한 성숙한 접근 방식 구축

더 광범위하게 살펴보면 기업은 데이터 개인정보 보호 및 규정 준수, 사회적 영향 및 기술과 같은 문제와 함께 기술 요소를 살펴보는 자체 생성AI 성숙도 모델을 마련해야 한다. 이러한 요소는 단독으로 발생하지 않으므로, 시간이 지남에 따라 올바른 접근 방식을 취할 수 있는 더 나은 기회를 얻을 수 있고 개발된 관련 규칙과 규정을 더 쉽게 준수할 수 있다.

이와 함께 생성AI가 무엇이며 실제로 제공할 수 있는지에 대한 기대와 수준을 설정해야 한다. 생성AI를 사용하면 직원을 AI로 대체할 수 없다. 대신, 생성AI는 생성AI가 없거나 기본 LLM 도구를 마음대로 사용할 수 있는 다른 기업과 경쟁하기 위해 업무 생활에서 도구를 사용할 수 있는 더 우수하고 생산적인 직원을 제공할 수 있다. AI 기반 직원은 더 많은 작업을 수행하고, 더 높은 수준의 품질을 달성하며, 이전에 처리할 대역폭이 없었던 백로그의 항목을 처리하기 시작할 수 있다. 이러한 도구의 잠재력이 너무 크기 때문에 섀도 AI를 포함한 잠재적인 함정에 미리 대비해야 한다.

‘스파이더맨’의 피터 파커가 늘 말했듯이 큰 힘에는 큰 책임이 따른다. 생성AI의 경우 이 기능을 활용하는 것은 모든 조직에 중요한 문제가 될 것이다. 생성AI를 실제로 활용할 수 있는 사람들의 손에 빠르게 제공하는 것은, 조직이 스스로 차별화하고 섀도 AI의 함정을 피할 수 있는 방법이 될 것이다.

*필자 돔 콜드웰(Dom Couldwell)은 실시간 데이터 및 AI 회사인 데이터스택스(DataStax)의 현장 엔지니어링 EMEA 책임자다. 돔은 기업이 제대로 작동하는 오픈소스 스택을 기반으로 실시간 애플리케이션을 구현하도록 돕는다. 그는 이전에 금융 서비스, 의료, 소매를 포함한 다양한 분야에서 20년 이상의 경험을 보유하고 있다. 데이터스택스 이전에는 구글, 아피기, 도이치방크 등에서 근무했다.

(*이 칼럼은 GTT KOREA의 편집 방향과 다를 수 있습니다.)