2023년 말에는 수술 후 합병증, 수술 위험 모델, 수술이 필요한 환자의 회복 경로 예측을 위한 AI 알고리듬 구축에 많은 관심이 쏠렸다. 이에 따라 병원과 의료 서비스 제공자가 환자 진료의 우수성보다 자동화를 통한 수익 창출을 우선시할 수 있다는 논란이 자연스럽게 제기됐다. 또한 의료 기관과 AI 기술 및 진료 경로에 사용되는 모델을 개발하는 기술 공급업체의 책임에 대한 의문도 대두되었다.

AI는 인류 혁신 역사에서 비약적 발전이지만, 예기치 못한 복잡성과 과제를 안고 있다. 예측 알고리듬의 ‘블랙박스’ 문제를 넘어 필수적인 임상 감독과 거버넌스 체계가 없는 자율 배포의 문제가 있다. 이러한 우려는 AI 개발 과정 전반에 걸쳐 데이터 품질, 접근성 및 편향성의 내재된 위험으로 의해 더욱 커진다.

따라서 AI의 변혁적 잠재력을 진정으로 그리고 책임감 있게 활용하기 위해서는 예측 모델이 환자의 건강을 최우선으로 하도록 보장하는 강력한 감독 메커니즘을 수립하고 이행하는 것이 필수적이다.

AI 통합으로 의료 혁신 촉진

의료 산업은 전례 없는 변화를 겪고 있다. 일반적으로 새로운 기술 수용에 신중하고 점진적인 모습을 보였지만, 산업 전반에서 클라우드, 데이터 민주화, AI 기술에 힘입어 대규모 디지털 전환을 가속화하고 있다.

기계학습(ML), AI, 생성AI(GAI)는 의료의 모든 측면을 혁신할 잠재력 때문에 상당한 기대를 모으고 있다. 폴 그레이엄의 “AI는 ‘문제를 찾는 솔루션의 정반대’”라는 주장이 다른 어느 산업보다 의료에 적절하다.

AI는 인프라 현대화를 통한 비효율 개선에서부터 의사결정 지원 및 진단 도구를 활용한 임상 생산성 향상, 환자 결과 개선을 위한 연구개발에 이르기까지 모든 분야에 영향을 미칠 가능성이 있다. 게다가 생성AI는 임상 현장의 일상적인 행정 업무를 자동화할 수 있어 의료 전문가가 임상 결과 개선과 같은 복잡한 작업에 집중할 수 있게 해준다.

AI는 이미 환자 치료 방법론과 양식에 상당한 발전을 가져왔다. 모델은 높은 수준의 정교함을 갖추게 되어 유방암 진단 검사, 실험실 검사에서 초기 스크리닝을 제공하고 CT 스캔에서 폐 결절의 조기 발견이 가능해졌다. 초기 사용 사례는 특히 종양학 분야에서 정밀의료의 발전을 위해 생성AI를 활용할 잠재력이 엄청나다는 것을 보여준다.

AI와 생성AI 모델은 의료 운영을 변화시킬 준비가 되어 있다. 실제로 공급망 리더들은 이미 이 기술을 활용해 필수 의료 상품과 서비스의 가용성을 높이고 잠재적인 중단을 예측하기 위해 그 기능을 활용하고 있다. 이러한 혁신의 궤적 전반에서 인간의 전문성, 창의성, 복잡한 문제 해결 능력은 여전히 고품질의 환자 진료를 위해 필수적이다.

우리 사회가 물어봐야 할 핵심 질문은 이러한 기술 발전을 수용할지 여부가 아니라 ‘어떻게 하면 책임감 있게 수용할 수 있을지’에 관한 것이다. 최근 AI 모델이 부정확하거나 오해의 소지가 있는 정보를 사실이나 확실성으로 제시하는 ‘환각’ 사례는 AI 모델의 내재된 결함을 상기시켜 준다. 따라서 기술이 성숙해가는 동안 바람직하지 않은 사회적, 인간적 영향을 최소화할 수 있는 사려 깊은 조치와 메커니즘을 시급히 개발해야 한다.

의료 분야의 AI 무결성 보호, 성숙한 거버넌스 수립

AI 무결성을 개선하기 위한 첫 번째 단계는 보안, 프라이버시, 데이터 거버넌스 문제를 해결하고 책임감 있고 편향되지 않은 AI 모델 개발을 육성하는 것이다.

인간이 의도하지 않게 주관적 관점을 모델에 주입할 수 있어 이는 어려운 과제다. 편향 위험을 완화하기 위한 근본적인 조치는 다양하고 포괄적인 데이터 세트로 모델을 구축할 수 있도록 견고한 데이터 거버넌스 관행을 구현하는 것이다.

이 목표를 달성하기 위해 기업은 데이터 수집, 저장, 처리, 보안을 아우르는 복원력 있는 데이터 인프라에 우선 투자해야 한다. 강력한 데이터 인프라는 사이버 위협에 점점 더 취약해지는 환자 데이터를 보호하기 위해 꼭 필요하다. 데이터 수집의 품질과 양을 추구하기 위해서는 ERP(전사적 자원 관리 시스템), EMR(전자 의무 기록), 의료 영상 저장소 등 다양한 데이터 소스를 통합해야 하며, 동시에 데이터의 청결성과 접근성을 보장해야 한다.

개인정보 보호 표준과 규제 준수를 위해 데이터 거버넌스 프로토콜을 수립하는 것도 매우 중요하다.

두 번째 단계는 책임 있는 AI가 무엇인지 정의하고 그 목표를 달성하기 위한 운영 전략과 정책을 개괄할 수 있는 선구자, 연구원, 전문가, 기술자, 산업 이해관계자, 정부 기관으로 강력한 연합체를 구축하는 것이다.

최근 유럽연합이 안전과 기본적 인권 보호, 혁신 촉진이라는 두 가지 필요성을 균형 있게 다루는 세계 최초의 고위험 AI 규제법인 ‘AI 법’을 제정한 바 있다. 이 법은 이번 달 발효될 것으로 예상되며 챗봇과 같은 생성AI 시스템에 대한 엄격한 규정이 적용될 전망이다.

2026년까지는 고위험 시스템에 대한 요구사항을 포함한 더 완전한 규제 체계가 시행될 것이다. 이 법은 생성AI 기술에 내재된 환상과 편향성을 방지하기 위한 중요한 첫 단계다.

윤리적이고 효과적인 AI 통합을 위한 전체론적 접근법

의료 분야에 AI 모델을 통합하기 위해서는 이 기술의 전체 역량과 잠재적 영향력을 점진적으로 배우고 이해하면서 균형 잡힌 신중한 접근법이 필수적이다.

적절한 테스트와 검증 없이 너무 빨리 나아가면 최악의 경우 개인, 지역사회, 기업에 해를 끼칠 수 있는 성능이 좋지 않은 모델이 만들어질 수 있다.

기존 모델의 점진적 개발과 정제를 촉진하고 새로운 모델을 구축하기 위해서는 반복적 사고방식이 중요하다. 이 접근법의 핵심은 모델의 모든 측면에 대한 철저한 테스트, 정제, 개선을 통해 필요한 표준을 준수하고 배포 후 오류나 ‘환각’의 위험을 완화하는 것이다. 또한 AI 솔루션의 광범위한 구현과 채택 준비 상태를 확인하기 위해 소프트웨어 개발 라이프사이클 프로세스 내에 견고한 품질 관리 메커니즘을 내재화해야 한다.

알고리듬의 편향 위험을 최소화하기 위해 AI 개발팀 내에서 다양성을 촉진하는 것이 중요한 모범 사례로 대두되었다. 인간에게 내재된 의식과 무의식의 편향과 선입견을 인정하고, 다양한 팀이 다양한 관점과 통찰력을 제공함으로써 편향의 잠재적 위험을 완화하는 안전장치 역할을 한다.

또한 AI 모델의 품질과 정확성을 보장하기 위해 새로운 데이터 세트로 재교육한 후에도 데이터 거버넌스 ‘건전성 점검’을 표준 관행으로 지속적으로 구현해야 한다. 이전 모델이 최적의 성능을 나타냈더라도 업데이트된 데이터로 인한 출력 변화를 평가하기 위해 정기적인 평가를 해야 한다. 오류 분석, 규정 준수 검증, 피드백 주입을 통한 배포 후 평가와 전반적인 유효성 검사도 포함된다.

또한 AI 개발의 신뢰성, 규제 준수, 지식 공유를 보장하기 위해 포괄적인 문서화를 구현하는 것이 중요하며, 이를 무시하면 빠르게 움직이는 팀에게 매우 위험할 수 있다. 이렇게 점검함으로써 기업은 의료 분야 AI 모델의 무결성을 높여 시간이 지날수록 효과성과 윤리적 사용에 대한 신뢰와 확신을 강화할 수 있다.

의료 분야에서 AI의 변혁적 잠재력은 매우 크지만 상당한 책임이 따른다. AI 모델 통합이 계속 가속화됨에 따라 환자의 복지를 최우선으로 하고, 강력한 데이터 거버넌스 표준을 유지하며, 책임감 있는 개발 관행을 옹호하는 것이 중요하다. 또한 업계 이해관계자, 기술 전문가, 정부 기관 간 협력이 가속화되어야 한다.

앞으로의 여정에 어려움이 있겠지만, AI 활용력과 편향에 대한 교육과 인식 제고를 위한 지속적인 노력이 힘이 될 것이다. 철저한 계획과 신중한 이행을 통해 AI는 의료를 혁신하고 인류를 혁신과 효율의 새로운 시대로 이끌 것이다.

*필자 아치 마야니(Archie Mayani)는 GHX의 최고 제품 책임자(CPO)로서, 현대적이고 지능적이며 탄력적인 의료 공급망 관리 플랫폼 및 솔루션의 설계와 개발을 주도하고 있다. 마야니는 의료 컨퍼런스, 팟캐스트, 사고 리더십 포럼에서 최첨단 ML/AI 혁신에 대한 토론을 주도해 왔다. 마야니는 의료 제품 형성, 지역 및 주 차원의 의료 정책에 영향을 미치고 인간의 건강과 웰빙에 대한 기술 중심의 개선을 통해 의료 산업에 발전에 기여하고 있다.

(* 이 칼럼은 GTT KOREA의 편집 방향과 다를 수 있습니다.)