챗GPT 등 '생성AI의 환각' 현상은 생성AI의 비즈니스 도입을 저해하는 원인 중 하나로 지적되고 있는 상황에서, '생성AI의 환각'이 실제로 어떤 위험성을 갖고 있는지 잘 보여주는 사례가 등장했다.

미국의 'Lebvidow, Levidow & Oberman'이라는 법률회사의 30년차 변호사 스티븐 슈워츠(Steven Schwartz)가 최근 한 법률 문서의 제작에 챗GPT를 사용했으나, 이 문서에 인용된 판례가 '생성AI의 환각'에 의해 만들어진 완전히 허구였던 것이 드러나면서 그의 경력에 오점을 찍은 것은 물론이고, 변호사로서의 경력을 송두리째 날릴 위험에 처했다고, '뉴욕 타임즈(New York Times)' 보도했다.

뉴욕 타임즈에 따르면, 로베르토 마타(Roberto Mata)라는 아비앙카(Avianca)의 고객이 서빙 카트로 인해 비행 중 무릎을 다친 후 항공사를 상대로 고소했으며, 아비앙카는 판사가 이 사건을 기각하게 하려고 시도했다. 이에 로베르토 마타의 변호인단은 과거의 판례를 정리해 법원에 제출했으며, 여기서 과거의 판례를 검색하고 정리하는 작업에 챗GPT를 사용한 것이 모든 일의 시작이었다.

로베르토 마타의 변호사인 스티븐 슈워츠는 최근 인기를 모으고 있는 오픈AI의 챗GPT를 이용해 과거의 판례를 질의했으며, 챗GPT는 과거의 유사 판례 여러 건을 제시했다.

하지만 챗GPT가 제시한 여러 건의 판례는 모두 '생성AI의 환각'에 의해 만들어진 실제로는 존재하지 않는 가상의 판례었으며, 스티븐 슈워츠 변호사가 제출한 서류를 검토한 아비앙카의 법률팀과 담당 판사는 변호사가 제시한 판례 중 어떤 것도 찾을 수 없었다.

스티븐 슈워츠 변호사는 "챗GPT가 제시한 판례가 가상의 판례일 것이라고는 생각도 못 했다"며, 심지어 챗GPT와의 질의 과정에 대한 스크린샷을 판사에게 제시하기까지 했다고 전했다.

특히 챗GPT는 검증 과정에서 챗GPT가 제시한 판례가 실제하는 것인지 재차 질의 내용에 대해 '그렇다'고 답한 것으로 알려졌다.

이번 사건은 챗GPT가 '생성AI의 환각' 현상을 해결하지 않고서는 비즈니스에 적용하기 힘들 것이라는 전문가들의 기존 지적을 재확인한 사건이다.

또한 생성AI가 취미나 호기심의 영역을 넘어, 실제 비즈니스 영역으로 진출하려는 시도가 이어지고 있는 가운데, 생성AI의 도입을 좀더 조심스럽게 만드는 계기가 될 것으로 예상된다.

그리고 생성AI의 성능과 능력을 아무리 신뢰하더라도, 결과물에 대한 책임은 사람이 지는 것이기 때문에, 책임감 있는 검증이 반드시 필요하다는 것을 일깨워주고 있다.