최근 발생한 소프트웨어 업데이트 도중 발생한 결함으로 인해 850만 명의 사용자가 다양한 일상적인 비즈니스 기능을 수행할 수 없게 되었다. 하나의 결함이 클라우드를 통해 퍼지면서 철도 시스템과 항공 여행에서부터 소규모 사업, 은행, 응급 운영 및 병원까지 영향을 미쳤다.

결함이 있는 업데이트를 배포한 방어 논리로는 이러한 문제가 자주 발생하지만 이번처럼 공공에 크게 영향을 미치는 경우는 드물다는 것이다. 수년 동안 결함과 버그는 치명적인 자동차 고장, 전력 장애, 치명적인 의료 기기 오작동, 막대한 비용을 초래하는 은행 시스템 오류등 수많은 재앙을 일으켰다.

오늘날의 소프트웨어 개발 프로세스를 자세히 들여다보면 이러한 대규모 장애가 더 자주 발생하지 않는 것이 놀라울 정도다. 이는 대규모 배포 소프트웨어 개발 분야에서 일하는 전문가들의 실력이 얼마나 뛰어난 지를 보여준다.

소프트웨어 개발 생명 주기가 내포한 문제점

소프트웨어 개발 생명 주기(SDLC)에는 근본적인 문제가 있다. 품질이 프로세스 초기에 충분히 다루어지지 않아 내재된 저품질 문제를 증폭시키고 있다. 정보 및 소프트웨어 품질 컨소시엄의 2022년 1월 연구인 "저품질 소프트웨어의 비용"에 따르면, 미국에서만 매년 2.4조 달러의 품질 문제가 버그와 결함으로 인해 발생한다.

이 수치는 이전에는 큰 관심을 끌지 못했지만, 업데이트의 단일 결함이 영향을 미치면서 평판과 재정적 타격이 더욱 현실적인 수치로 다가오고 있다. 이제 단일 결함이 서비스 장애로 인해 발생하는 수십억 달러의 손실을 초래할 수 있다는 것을 명확히 알 수 있으며, 이를 완전히 정량화하는 데 몇 년이 걸릴 수 있다.

오늘날 애자일(Agile) 방법론 또는 애자일 하이브리드는 소프트웨어 설계 및 개발에서 가장 널리 채택된 표준이다. 애자일은 기능, 디자인 변경에 빠르게 반응할 수 있는 능력을 우선시하며, 추가 요청을 충족하면서도 빠른 출시 일정을 유지한다. 애자일 접근 방식은 개발 노력을 줄이고 생산까지의 속도를 높이는 데 매우 유익했다.

그러나 점점 짧아지는 일정에 맞추기 위해서는 모든 SDLC 팀 구성원, 특히 요구사항을 수집하는 사람들에게 "전달 압박"이 증가한다. 속도의 필요성은 본질적으로 위험에 취약한 일련의 사건에 의도치 않은 위험 요소를 발생시킨다. 요구사항 단계를 서두르면 놓치거나 잘못 기술되거나 애매한 요구사항이 쉽게 발생할 수 있으며, 이는 수정되지 않거나 제대로 해석되지 않으면 방지 가능한 결함이 된다.

그러나 소프트웨어 또는 업데이트가 출시 전에 품질 테스트를 거쳤다면 이러한 버그와 결함이 어떻게 SDLC 전체를 통과해 생산에 출시될 수 있을까? 여기에는 매우 큰 문제가 있다. 오늘날 품질은 거의 항상 SDLC의 끝에서 다루어 진다. 요구사항 단계에서 도입되고 SDLC 프로세스 전체에서 관리되는 것이 아니라 코딩 후에 품질이 테스트되며, 사전 개발 통찰력이 거의 없다. 이 과정 자체는 개발 및 품질 보증 팀이 미묘함과 애매함을 해석하도록 해 소프트웨어 제품 설계, 코드 개발 및 품질 테스트 간의 격차와 불일치를 초래한다.

2022년 5월, 챗GPT가 대형 언어 모델(LLM)을 대중에게 공개했다. 그 이후로 전 세계 개발자와 기술 창작자들은 LLM 기능을 활용해 효율성, 생산성, 자동화, 보안 및 삶의 질을 향상시키고 있으며, 여기에는 소프트웨어 개발 자체도 포함된다. 소프트웨어 개발 산업의 AI 도입은 주로 생산성 향상과 시장 출시 시간을 개선하기 위한 자동화 테스트 및 코드 개발에 중심을 두고 있다. 그러나 잘 정의된 요구사항, 사용자 스토리 및 수용 기준의 기본 요소는 거의 무시되었다.

소프트웨어 품질 높이는 필수 요건

필자는 품질 엔지니어링 분야에서 오랜 경험을 통해 품질 테스트 개발과 관련해 요구사항 및 수용 기준과 직접 일치하는 것이 소프트웨어 품질에 필수적이라는 것을 인지했다. 크로스톡(Crosstalk)의 연구 “국방 소프트웨어 공학 저널(The Journal of Defense Software Engineering)’에 따르면, 모든 버그와 결함의 64%가 요구사항 분석 및 설계 단계에서 발생한다.

필자는 부실한 요구사항 처리에 대한 좌절감을 "수정 가능한" 결함 유발 문제를 해결하는 데 주력했다. 해결책을 만들기 위해 수천 시간의 LLM 훈련, 프롬프트 작성 및 테스트 끝에  2023년 5월 ‘스펙투테스트AI(Spec2TestAI)’의 첫 번째 버전을 개발했다.

2023년 6월, 전문가 고문들에게 연락하기 시작했고 도구의 기능을 개선하고 스펙투테스트AI를 시장에 출시하기 위해 기업 리스크, 보안, 품질 보증 및 효율성 개선 임원들로 구성된 리더십 팀을 구성하기 시작했다. 20년 이상의 금융 분야에서 주로 운영/리스크 역할을 맡아 온 전문가들이 우리 팀에 합류하기 시작했다.

애자일AI 랩스(AgileAI Labs)는 그해 10월에 설립되었으며 첫 번째 SDLC 결함 예방 도구인 ‘스펙투테스트AI 패러다임(Spec2TestAI Paradigm)을 출시했다. 오늘날 스펙투테스트AI는 요구사항을 개선하고 정제해 잠재적인 버그와 결함을 식별한 다음 적절한 테스트 및 개발 자산을 생성해 품질 문제를 해결하는 제품군이다.

소프트웨어 결함 예방 도구 '스펙투테스트AI'

스펙투테스트AI는 4가지 기능과 복잡성이 증가하는 버전으로 구성된 특허 출원 중인 소프트웨어 서비스(SaaS) 플랫폼이다. 플랫폼의 각 수준은 사용자가 모호성, 결함 및 불일치 문제를 이해하고 수정할 수 있도록 돕는다.

플랫폼은 이해관계자의 질문을 생성하고 설명이 필요한 영역을 노출하며 업계 표준 모범 사례와 AI 생성 개선 및 격차 분석을 기반으로 권장 사항을 제시한다. 그런 다음 프로젝트 목표를 정확하게 캡처했는지 확인하기 위해 추적 가능하고 우선 순위가 매겨진 테스트 케이스와 함께 요구사항을 적절히 테스트하도록 자동으로 생성된 완전히 추적 가능하고 투명한 테스트 자산과 코드 프레임워크가 생성된다.

스펙투테스트AI의 주요 기능을 살펴보면 결함 예방 분석은 업계 모범 사례와 일치하는 결함을 자동으로 제거하며, 특허 출원 중인 강력한 AI 엔진은 사용자 스토리의 모호성을 한 번의 클릭으로 제거한다.

회사별 업로드 기능은 플랫폼에 회사별 컨텍스트, 형식, 보안 요구사항 등을 제공해 현재 프로젝트 요구사항 및 수용 기준과 분석한다. 프로젝트 상태 대시보드는 결함 가능성과 프로젝트 전체 상태에 대한 실시간 인사이트를 얻고 필요한 경우 쉽게 수정할 수 있다.

에지, 네거티브, 보안, UAT 등 다양한 테스트 케이스에 대해 6분 이내에 종합적인 테스트 케이스를 생성할 수 있다. 산업 표준이 내장돼 있어 SDLC 모범 관리 관행이 적용된다. 행위 주도 개발(BDD) 기능과 단계 파일이 자동으로 생성되어 시간을 절약한다.

OWASP((Open Web Application Security Project) 상위 10개 표준을 기반으로 한 보안 프레임워크가 제공된다. 자바, 자바스크립트, 파이썬, 루비 등 다중 언어가 자동화된 코드 프레임워크로 제공된다. 투명한 추적성과 감사 준비로 규정된 표준 준수를 보여줄 수 있다.

최근 발생한 대규모 장애 이후, 기업들은 지금까지 불가능했던 수준의 상세한 요구 사항 분석과 결함 예방을 제공하는 플랫폼을 준비해야 한다. 지능형 솔루션 스펙투테스트AI는 리스크를 줄이고 생산성을 향상시키며, 팀이 SDLC를 성공적으로 탐색하여 프로젝트 목표를 달성하게 할 것이다.