오늘날 AI는 채용, 금융, 의료, 행정 등 다양한 사회적 결정에 영향을 미치는 핵심 기술로 부상하고 있다. 그러나 이 강력한 기술이 과연 누구를 위해 설계되었고, 누가 그 과정에서 배제되고 있는지는 충분히 논의되지 않고 있다. AI가 단지 효율성과 성능만으로 평가된다면, 우리는 그 이면에 있는 포용의 실패를 간과하게 된다.

포용은 기능이 아니라 설계의 출발점

포용적 AI 설계란, 기술의 수명 주기 초기에부터 소외 가능성이 높은 집단을 고려해 시스템을 설계하는 방식이다. 이는 단순히 기술적 윤리의 문제가 아니라, 실질적인 시스템의 성능과 범용성에 직결된 문제다. ‘나중에 덧붙이는 옵션’이 아니라, 처음부터 내장되어야 하는 설계 원칙으로 이해해야 한다.

포용이 부재할 경우, 배제는 조용하게 그리고 효율적으로 확산된다. 예를 들어, 대부분의 AI 시스템은 고속 인터넷, 최신 기기, 높은 디지털 리터러시를 전제로 작동한다. 이런 전제는 전 세계 수많은 사람들을 시스템에 접근하기도 전에 배제시키며, 이는 의도하지 않은 차별로 이어진다.

표현의 문제도 크다. 훈련 데이터에서 특정 지역, 언어, 행동 패턴이 배제될 경우, AI는 그들의 존재를 ‘보이지 않는 것’으로 처리한다. 결과적으로 시스템은 해당 집단을 단순히 오해하는 것이 아니라 아예 존재하지 않는 것처럼 대한다. 이는 단순한 정확도의 문제가 아니라, 설계 자체의 결함이다.

비주류를 위한 설계, 모두를 위한 혁신

포용적 설계는 단지 특정 계층을 위한 배려가 아니다. 소외 계층을 기준으로 시스템을 설계할 때, 결과적으로 모든 사용자에게 더 나은 기술을 제공하게 된다. 다양한 언어, 문화, 인지적 차이를 고려한 인터페이스는 보다 적응력 있고 복원력 있는 시스템으로 이어진다.

예를 들어, 디지털 능숙성과 고난도 텍스트 이해를 전제로 한 사용자 인터페이스는 노년층이나 신경발달적 특성을 지닌 사용자에게는 장벽이 된다. 하지만 이들을 고려해 단순성과 명확성을 강화하면, 전체 사용자 경험도 함께 향상된다. 이러한 설계 접근은 기술의 시장 도달 범위도 확장시킨다.

또한, 포용은 사회적 책임을 넘어 전략적 이점으로 작용한다. 규제 리스크를 줄이고, 브랜드 신뢰도를 높이며, 서비스가 부족한 시장으로 진입할 수 있는 기반이 된다. 기술은 더 이상 ‘효율만 추구하는 도구’가 아니라, 누구를 포함시키고 어떤 구조를 강화하거나 약화시키는가에 따라 평가받는 시대다.

실행을 위한 구조와 리더십이 필요

포용적 설계를 실행에 옮기기 위해서는 조직 전반의 구조적 변화가 요구된다. 단순한 의도나 선언만으로는 부족하며, 실제로 작동 가능한 데이터, KPI, 테스트 환경이 뒷받침되어야 한다. 데이터 세트에 내재된 편향을 식별하고, 다양한 실제 조건에서 테스트하며, 거버넌스 체계 내에 포용 지표를 내장해야 한다.

이러한 노력은 부서 간 협력을 기반으로 이루어져야 한다. 리더십은 명확한 방향성과 자원 배분을 책임져야 하고, 제품팀은 사용 사례의 영향을 진지하게 고려해야 하며, 디자인팀은 다양한 사용성 요구를 체계적으로 반영해야 한다. 이 모든 과정을 거버넌스 부문이 표준화하고 실행 가능하게 만들 때, 비로소 조직 내 포용성이 정착된다.

배제의 비용은 이제 기술적 오류를 넘어 시스템 전체의 실패로 이어질 수 있다. AI가 사회 전반에 깊이 침투하는 지금, 우리는 ‘누구를 위한 기술인가’라는 질문에 응답할 책임이 있다. 포용적 설계는 기술의 윤리적 토대이자, 실용적이고 전략적인 선택이다. 기술이 진정 모두를 위한 것이 되기 위해, 지금이 그 출발점이다.

필자 자말 D. 사카라 하미두(Jamal D. Sakara Hamidu)는 '현실적 낙관주의: AI의 가장 큰 위협은 기술 자체가 아니라 우리가 채택하는 방식이다'저자이다. 전략적 변화 리더이자 전 EY 고문인 그는 이전에 도이체방크 최고데이터책임자(CDO)에서 문화 및 역량 책임자로 재직했다. 그는 책임 있는 AI 도입을 위한 전략적 변화 방법론인 The RAPP Way의 설계자이자 changeportal.io의 개발자이다. 노스 사카라 컨설팅(North Sakara Consulting)의 설립자이자 대표인 자말은 조직이 사람 중심의 거버넌스 중심 전략을 통해 AI와 디지털 변화를 헤쳐나갈 수 있도록 지원한다.

(*이 기고문은 GTT KOREA의 편집 방향과 다를 수 있습니다.)