생성AI 도구의 사용이 증가함에 따라 여러 문제들이 발생하고 있다. 전 세계 CISO는 대중의 정서가 행복감에서 공포로 변하는 세상에서 공개적으로 사용 가능한 AI 도구가 제공하는 위험과 기회를 관리하는 방법을 이해하려고 노력하고 있다. 도구는 인터넷이나 소셜 미디어와 마찬가지로 빠르게 일상 생활의 일부가 되고 있다. 각 기업은 기회와 위험에 대한 선호도를 스스로 결정해야 한다.

사이보안 인공지능 분야 글로벌 기업 다크트레이스(Darktrace)는 전 세계 8400 고객이 증가하는 IP 손실 및 데이터 유출 위험을 해결할 수 있도록 지원하는 새로운 위험 및 규정 준수 모델 ‘다크트레이스 DETECT 및 RESPOND’를 출시했다.

다크트레이스 DETECT 및 RESPOND의 새로운 위험 및 규정 준수 모델을 통해 고객은 모니터링하기 위한 가드레일을 배치하고 필요한 경우 생성AI 및 대규모 언어 모델(LLM) 도구에 대한 활동 및 연결에 대응할 수 있다.

이는 다크트레이스의 AI가 활성 고객 배포의 74%가 직장에서 생성AI 도구를 사용하는 직원을 보유하고 있음을 관찰한 데 따른 것이다. 일례로, 2023년 1월 다크트레이스는 고객 중 한 곳에서 생성AI 도구에 1GB 이상의 데이터를 업로드하는 것을 감지하고 차단했다.

새로운 생성AI 도구는 생산성 향상과 인간의 창의성을 강화하는 새로운 방법을 약속한다. CISO는 위험을 관리하면서 생산성을 높이기 위해 이러한 혁신을 수용하려는 욕구 사이에서 균형을 유지해야 한다. 영국의 국가 사이버 보안 센터(National Cyber Security Centre)를 비롯한 정부 기관은 이미 직장에서 생성AI 도구 및 기타 LLM을 사용할 때 위험을 관리해야 할 필요성에 대한 지침을 발표했다. 또한 다양한 관할권(영국, EU 및 미국 포함)과 다양한 부문의 규제 기관은 AI의 잠재적 위험을 악화시키지 않으면서 AI를 최대한 활용하는 방법에 대한 지침을 기업에 제시해야 한다.

알란 제이콥슨(Allan Jacobson) 오리온 오피스(Orion Office) REIT의 부사장 겸 정보 기술 책임자는 "챗GPT와 같은 생성AI 도구가 주류가 되면서 우리 회사는 기업이 어떤 영향을 받고 있는지 점점 더 잘 알고 있다. 무엇보다도, 우리는 공격 벡터와 잠재적 위협에 얼마나 잘 대응할 수 있는지에 초점을 맞추고 있다. 데이터 프라이버시도 마찬가지로 중요하며, 우리는 잠재적인 데이터 보호 및 데이터 손실에 대한 뉴스를 듣고 있다"라며, "기업은 잠재적 위험을 관리하면서 이점을 활용하기 위해 기술과 명확한 가드레일의 조합이 필요한다."고 덧붙였다.

공격 방지, 위협 탐지, 자율 대응 및 정책 시행을 위한 핵심 자가 학습 AI를 보완하기 위해 Darktrace 사이버 AI 연구 센터는 고객이 대비하고 반격할 수 있도록 자체 독점 대규모 언어 모델을 포함한 새로운 AI 모델을 지속적으로 개발하고 있다. 점점 더 정교해지는 위협에 맞서 이러한 모델은 다크트레이스의 사이버 ​​AI 루프 제품 전체에서 적용된다 .

퍼피 구스타프슨(Poppy Gustafsson) 다크트레이스 CEO는 "다크트레이스는 개인화된 보안을 제공하는 사업에 종사하고 있다. CISO가 특정 컴플라이언스 정책을 시행하기 위해 우리 기술을 활용하는 초기 징후를 이미 보고 있는 것은 놀라운 일이 아니다."라며, "새로운 제품은 고객이 조직 내에서 이러한 AI 도구의 사용을 빠르게 이해하고 제어할 수 있게 한다. 그러나 AI는 더욱 미묘하고 효과적인 사이버 공격을 생성할 수 있는 강력한 도구가 될 수 있다. 사회는 이러한 놀라운 새 도구를 선의로 활용할 수 있어야 한다. 방어적인 AI 도구 대 공격적인 AI 공격의 새로운 시대에서 공격자보다 한 발 앞서 나가야 한다."고 강조한다.