인공지능(AI) 스타트업인 워봇 헬스(Woebot Health)는 최근 문제 메시지에 심각한 결함이 있는 일부 인공봇의 응답에 대한 뉴스가 있었다. 시리즈 B 라운드에서 9000만 달러를 모금한 워봇은 위기 상황에서 사용하기 위한 것이 아니라고 응답했다. 기업의 경영진은 완전히 합리적으로 생각하지 못하는 환자들이 일반적인 의사소통 방식을 사용하는 것을 중단하고 대체 시스템에 접근할 것을 기대한다.

의사들은 치료를 위해 환자에게 가해지는 피해에 대해 책임을 져야 하지만, 이 분야에 진출하려는 스타트업 기업들은 이 기준을 따르지 않는다. 설상가상으로 취약한 환자들에게는 동일한 개인정보 보호 표준이 적용되지 않는다. AI 공간에서 환자와 직접 상호작용하는 것은 특히 복잡하다. 많은 환자들이 응급전화번호로 연락해야 하는 임계값보다 낮은 수준의 약한 위기를 겪기 때문에, 위기를 처리할 수 있는 봇이 환자가 일상적으로 경험하는 고통을 처리할 수 있는 장비를 제대로 갖춰져 있지 않을 가능성이 높기 때문이다.

인위적이고 의도치 않게 환자 위기를 망칠 수 있는 위험에도 불구하고, 이 분야의 정신 건강 스타트업들은 2022년 상반기에 총 13억 달러를 모금했다. 불행하게도 여전히 환자와 직접 소통하는 데 어려움이 많으며 AI는 이 작업을 대해 아직 준비되지 않았다. 단어는 속어나 대체 의미로 사용될 수 있다. 환자의 병력, 문화적 가치관, 몸짓, 운율, 목소리 톤에 따라 문장의 의미가 달라질 수 있다. 또한 치료 세션에서 환자의 잠재의식적 동기를 고려하는 것이 중요한데, AI로는 쉽게 설명되지 않는다.

AI는 문자 그대로의 의미를 감지할 수 있지만, 인간 치료사가 할 수 있는 수준까지 말하지 않은 내용 뒤에 숨은 의미를 이해하는 것은 불가능하다. 인간 치료사를 대체하는 데 어려움이 많다는 점을 감안할 때 AI는 다른 방식으로 배후에서 영향을 미칠 가능성이 더 높다.

환자와 상호작용하기 위해 인공봇에 의존하는 데는 많은 어려움이 있지만 AI가 의사결정을 강화할 수 있는 영역은 존재한다. 건강보험 회사는 이미 의료 서비스를 많이 활용하는 환자를 식별함으로써 비용 절감 측면에서 AI의 가치를 확인하고 있다. 처방 제공자는 최적으로 사용되지 않는 처방전을 중단하도록 권장하기 위해 불규칙한 처방전에 대해 건강 보험 회사로부터 알림을 받는다.

실제로 대형 보험 회사는 현재 알츠하이머병, 당뇨병, 심부전 및 만성 폐쇄성 폐질환(COPD)의 발병을 예측하기 위해 분석 중인 상당한 양의 데이터 세트를 보유하고 있다. AI는 이미 특정 용도에 대해 FDA의 승인을 받았으며, 현재 AI는 매우 구체적인 임상 문제에 적용될 때 유용하다. AI 시스템은 초기에는 임상 판단을 대체하기보다는 임상 판단을 향상시키기 위해 사용되었다. 이상적으로 AI는 일상적인 작업을 처리하고, 모호하고 인간의 추가 조사가 필요한 작업에 대해 경고함으로써 임상의의 생산성을 향상시키는 것이다.

보험 회사인 옵텀(Optum)에 따르면, 상위 3대 AI 애플리케이션은 웨어러블을 통한 데이터 모니터링, 임상 시험 가속화, 의료 코딩의 정확성 향상이다. 현재 목표는 데이터의 양을 늘리는 것이 아니라 임상의가 의미 있고 실행 가능한 방식으로 데이터를 제공하는 것이다.

AI는 정보 제공자에게 유익한 팁과 경고를 제공하여 의사결정을 강화하고 인적 오류를 줄이는 데 도움이 될 것이다. 의료 행위에는 컴퓨터에 맡겨질 수 있는 반복적인 작업들이 많다. 예를 들어, AI의 일반적인 응용 분야 중 하나로 망막 이미지 평가가 있다. 이를 통해 안과 의사는 더 보람 있는 다른 의학 분야에 집중할 수 있다. AI가 의료 분야에 진출함에 따라 임상의는 대체 여부에 대해 걱정할 것이 아니라 시간이 지남에 따라 진료가 어떻게 계속 발전할 것인지, 그리고 더 나은 방향으로 발전할 것인지에 대해 생각해야 한다.

AI를 적용할 때 어려운 점 중 하나는 의료 기록이 균일하게 구조화되지 않고 스타일이 제공자마다 매우 다양하다는 것이다. 의료 기록에는 가장 전형적인 환자 집단에 따라 고유한 편견이 포함될 수도 있다. AI 시스템에 입력된 편견은 편향된 결과를 낳는다. 따라서 AI의 ‘무엇’이 적용에서 중요한 요소이며, AI가 어떻게 적용되고 그 결과가 어떻게 되는지 역시 매우 의미가 깊다. 임상의가 주의가 산만해지거나 다른 화면을 보는 순간에 나타나는 팁과 경고는 간과될 수 있다.

AI의 사용자 경험은 최근 잘 알려진 경보 피로(alert fatigue)에 영향을 미칠 것이다. AI는 그것이 전달되는 매체와 제시되는 시점의 사용자 상태만큼 영향력을 발휘한다.

뉴스에 나오는 AI의 실수로부터 우리가 알 수 있는 것은, AI에 대해 일반적인 인간의 성과보다 더 높은 기준을 적용한다는 것이다. AI 시스템이 환자 한 명에게 해를 끼치는 것은 절대 용납될 수 없다. 우리는 AI가 인간보다 더 나은 성능을 발휘할 뿐만 아니라 어떤 환자에게도 해를 끼치지 않을 것으로 기대한다. 따라서 현재로서는 AI가 건강 관리에 미치는 영향에 대해 책임을 지든 아니든, 어쨌든 백그라운드에서 계속 작동할 것이라는 점은 분명하다.

* 필자 브루스 바시(Bruce Bassi)는 참헬스(CharmHealth)의 자문위원이다. 바시 박사는 일반(성인) 및 중독 정신의학 이중 인증을 받은 의사이며, 미국 전역에 가상 정신 건강 치료를 제공하는 플로리다주 잭슨빌에 본사를 둔 텔렙사이크헬스(TelepsychHealth)의 설립자다. 그는 컬럼비아 대학교에서 생의학 공학 석사 학위를 취득한 후 미시간 대학교에서 의과대학을 졸업했으며, 플로리다 대학교에서 정신의학 레지던트 과정을 마쳤고 노스웨스턴 대학교에서 중독 정신의학 펠로우십을 마쳤다. 그는 임상의의 효율성을 높이고 환자 치료를 향상시키기 위한 의학 기술의 사용에 대해 글을 쓰고 강의한다. 그의 임상 관심 분야는 중독과 수면 장애를 치료하는 것이다.

(*이 칼럼은 GTT KOREA의 편집 방향과 다를 수 있습니다.)