범용 AI·오픈소스 LLM·에이전트형 AI 확산 속도가 기존 보안 프레임과 정책 체계 대비 빠르게 진행되며 산업 전반에 새로운 유형의 리스크가 등장하고 있다. AI 모델은 방대한 데이터 기반으로 진화하지만 악성 데이터 주입이나 오용 시나리오가 더 쉽게 발생할 수 있는 구조가 유지되고 있다. 이와 같은 상황은 AI 안전성 확보가 단순 기술 선택이 아니라 기업 운영의 핵심 리스크 관리 요소가 되었음을 보여준다.

또한 기업은 AI 기반 자동화와 데이터 활용을 확장하고 있지만 AI 모델이 어떻게 공격받고 오작동할 수 있는지에 대한 이해와 대비 체계는 충분히 갖추지 못한 상황이다. 보고서는 이러한 ‘준비도 격차’가 기술 발전보다 더 심각한 위험 요인으로 작용할 수 있다고 경고한다.

범용 AI와 오픈소스 생태계 확산은 혁신을 빠르게 만들지만 사용자·기업 모두에게 적용되는 안전 장치를 충분히 마련하지 않은 채 도입이 먼저 이뤄지는 경향이 강하다는 점 또한 국제적 우려를 낳고 있다.

국제 AI 안전 보고서 2차 대규모 업데이트가 발표되어 범용 AI와 관련된 최신 위험 관리 방식과 기술적 완화 전략을 제공하고 있다. 보고서는 2025년 10월 발표된 1차 대규모 업데이트에 이어 발표되었으며, 정책 입안자들은 두 문서를 종합해 증거 기반 정책을 수립할 수 있다.

이번 업데이트는 100명 이상의 국제 전문가가 참여하고 EU, OECD, UN 등 30곳 이상의 국가 및 국제기구가 지원하였다. 기존 연례 보고서 방식으로는 빠르게 변하는 AI 현장을 반영하기 어렵다는 평가에 따라 단기간 내 업데이트 체계를 구축한 점이 특징이다.

“10번 시도에 50% 우회”... AI 공격 성공률이 보여주는 현실적 위험

보고서는 지능적 공격 시도가 불과 10회만 반복되어도 약 50% 확률로 모델 보안망이 우회될 수 있다고 지적한다. 이는 기존 보안 체계만으로는 AI 모델이 직면한 공격 다양성·속도를 따라가기 어렵다는 의미다.

악성 문서 250개만으로도 학습 데이터를 감염시켜 모델 성능을 저하시키는 ‘데이터 포이즈닝’ 가능성 역시 실증적으로 제시되었다. 기업이 자체적으로 사용하는 모델·API·데이터 파이프라인 모두가 이 공격 벡터에서 자유롭지 않다는 점은 산업 전반에 부담으로 작용한다.

보고서는 모델·시스템 수준의 기술 발전이 진행되고 있음에도 공격자 전략의 진화 속도가 여전히 더 빠르다는 점을 기업이 직시해야 한다고 경고한다. 이러한 공격 격차는 미래의 문제가 아니라 이미 발생하고 있는 현실적 리스크로 평가된다.

오픈소스 AI 격차 축소...민주화가 만든 새로운 안전 복잡성

업데이트는 오픈웨이트 기반 모델과 업계 리더 간 성능 격차가 이제 1년 이내로 축소되었다고 분석했다. 이는 고성능 모델에 대한 접근성이 대중화되는 긍정적 변화이지만, 동시에 오작동 방지·오용 대응 등 안전 관리가 훨씬 복잡해지고 있음을 의미한다.

오픈소스 생태계는 혁신 속도를 가속화하지만 ‘누구나 빠르게 강력한 모델을 구축할 수 있는’ 환경은 의도치 않은 위험 확산의 가능성을 높인다. 특히 모델의 안전성 검증을 충분히 거치지 않은 채 서비스에 통합될 경우 기업은 예기치 않은 오작동 위험에 직면한다.

이에 따라 보고서는 오픈소스 AI의 접근성 확대가 단순 기술적 이점에 머무르지 않고, 안전성 평가·검증·모니터링 체계를 병행해야 한다는 새로운 과제를 발생시킨다고 지적한다.

산업 규정은 늘었지만...‘효과는 불투명’한 위험 관리 프레임워크

보고서는 2025년 AI 기업의 위험 관리 프레임워크 도입이 전년 대비 두 배 이상 증가했다고 설명한다. 그러나 이 프레임워크가 실제로 위험을 줄였는지에 대한 효과는 아직 명확히 검증되지 않았다는 점을 지적한다.

산업계에서 안전 규정이 빠르게 제정되고 있지만 기술 자체의 속도·다양성·복잡성을 따라잡기 어렵다는 현실적 문제가 여전히 존재한다. 특히 각 산업별로 규정 수준과 적용 범위가 상이해 일관된 보호 체계를 구축하기 어렵다는 한계도 드러난다.

이러한 불확실성은 제도적 접근 방식이 단순한 규정 준수 수준을 넘어서, 실제 AI 모델의 위험 특성을 평가하고 지속적으로 대응할 수 있는 방향으로 발전해야 함을 시사한다. 보고서는 이 부분을 정책·기업 모두의 과제로 제시하고 있다.

글로벌 규제·시장 동향 ... ‘정책 대응 속도’가 기업의 경쟁력을 좌우

국제적으로 AI 안전성은 규제·표준·감독의 핵심 이슈로 자리 잡고 있다. 각국 정부는 위험 등급 기반 관리, 안전성 검증 의무화, 모델·데이터 모니터링 등 제도적 관리 체계를 강화하고 있다.

산업 전반에서는 모델 테스트, 시뮬레이션 기반 평가, 안전성 실험 환경을 구축하는 사례가 증가하고 있다. AI 오용·공격 위험이 비즈니스 신뢰성과 직결되는 만큼 기업은 AI 도입과 안전 검증을 동시에 고려해야 하는 구조가 되었다.

특히 오픈소스 모델 확산은 글로벌 산업에서 혁신 속도를 가속화하는 요인이지만, 안전성 평가가 각 기업의 역량에 따라 격차가 발생하여 시장 전반의 위험도 역시 변동성이 커지고 있다. 이에 따라 AI 안전 체계는 기업 경쟁력의 핵심 요소가 되고 있다.

이번 보고서 업데이트는 기술적 공격 대응, 오픈소스 위험, 제도적 접근 등 AI 안전성의 핵심 변화를 종합적으로 제시했다. 기업은 이번 보고서를 통해 AI 공격 가능성과 모델 오용 리스크가 이미 현실화되었음을 인식하고, 기술·제도·조직적 안전 체계를 조속히 마련해야 한다.