데이터가 디지털 전환과 생성AI 이니셔티브의 대대적인 물결을 이끄는 원동력이 되는 시대에 파일옵스(FileOps)는 진정한 게임 체인저로 떠오르고 있다.

파일옵스는 파일 작업을 효율적으로 수행하기 위한 로우코드/노코드 방법론으로, 조직이 파일 서버와 클라우드 객체 스토리지를 포함한 다양한 파일 형식의 데이터를 효과적으로 관리할 수 있도록 지원한다.

기존에는 일상적인 파일 작업을 관리하려면 데이터팀이 맞춤형으로 구축하고 운영하는 복잡한 코드 기반 솔루션이 필요했다. 그러나 테라바이트 및 페타바이트 규모에 이르는 수백만 개의 파일을 고려하면 너무 리소스 집약적이며 조직의 디지털 이니셔티브 이행 능력을 저하시키는 접근 방식이다.

대규모 데이터 통합의 과제

기존의 코드 기반 파일 작업은 데이터 통합 문제를 더욱 악화시킨다.

파일 작업을 위해 사용자 정의 코딩된 스크립트 또는 프로그램을 개발하고 유지하려면 상당한 양의 리소스가 필요하며 시간이 많이 걸릴 수 있다. 전문적인 기술이 필요하므로 인건비도 많이 든다. 데이터 양이 기하급수적으로 증가하고 변화하는 비즈니스 요구 사항에 신속하게 대응할 수 있어야 하기 때문에 수동 코딩 작업은 점점 더 오류가 발생하기 쉽고 확장하기 어려워진다.

예를 들어, 생명 과학 조직의 데이터팀이 약물과 관련된 잠재적인 부작용을 감지하여 환자의 안전을 향상시키는 머신 러닝 모델에서 사용할 데이터 제품을 준비해야 한다고 생각해 보자.

데이터는 보안상의 이유로 암호화되고 아카이브 비용을 절약하기 위해 압축되는 데이터 레이크에 상주할 수 있다. 데이터는 파케이(parquet)와 같은 개방형 형식으로 저장될 수 있지만 ML 모델에는 CSV가 필요하다. 또한 중복된 행과 널 행을 제거하거나 일부 특수 문자를 대체하기 위해 데이터를 사전 처리해야 할 수도 있다.

소스에서 파티션을 감지하거나 파일을 읽기 위한 사용자 정의 스키마를 제공하는 등 다른 세부 사항도 해결해야 할 수 있다. 데이터팀은 데이터 처리 속도를 높이기 위해 병렬 처리를 활성화하도록 선택할 수도 있다.

생성된 데이터 제품이 모델의 요구 사항을 충족하려면 파이프라인에서 최대할 빨리 문제를 감지하여 비즈니스별 데이터 품질 규칙을 적용해야 한다. 이는 복잡하고 시간이 많이 걸리는 작업이다.

비즈니스에서 끊임없이 요구되는 일정 내에 수많은 사용 사례에 걸쳐 수백만 개의 파일에 대해 동일한 작업을 수행한다고 생각해 보라. 코드를 작성하는 것은 팀이 지금까지 수행한 것에 불과하기 때문에 비즈니스 사용자는 ML 모델을 위한 데이터 제품을 준비하는 데 왜 그렇게 시간이 오래 걸리는지 궁금해할 것이다.

기업의 데이터팀은 사용자 요구를 충족하기 위해 고군분투하고 있다. 그들은 엄청난 양의 대역폭을 차지하는 반복 작업을 처리하기 위해 더 나은 접근 방식이 필요하다. 파일옵스는 광범위한 파일 처리 요구 사항을 처리하는 데이터팀의 요구 사항을 예측하도록 특별히 설계됐다.

로우코드 혁명

로우코드/노코드 방법론은 복잡한 코드 기반 솔루션에 대한 효율적인 대안을 제공함해 데이터 관리 환경을 변화시킨다. 데이터 운영을 간소화하고 디지털 이니셔티브를 가속화할 수 있도록 지원함으로써 프로덕션 환경에서 데이터 기반 사용 사례를 더 빠르게 개발하고 배포함으로써 비즈니스 민첩성을 제공한다. 또한 일상적인 작업을 자동화하고 데이터 투자의 생산성과 ROI를 개선해준다.

파일 복사, 병합, 암호화/복호화, 파일 형식 변환, 압축/압축 해제 등의 작업과 관련된 복잡성을 단순화해준다.

파일옵스, 결과를 증폭시키는 기준

파일 작업의 효율성을 최적화하려면 기업에는 다음과 같은 몇 가지 주요 구성 요소로 구성된 도구가 필요하다.

① 드래그 앤드 드롭 : 직관적인 드래그 앤드 드롭 인터페이스는 자주 수행되는 파일 작업을 위한 파이프라인 생성 프로세스를 단순화한다. 데이터 엔지니어는 이러한 작업을 자동화하는 워크플로를 설계하여 수동 코딩의 필요성을 줄일 수 있다. 또한 파일 관련 작업을 처리할 때 전반적인 효율성과 민첩성을 향상시키고 시간을 절약해준다.

② 확장성 : 파일옵스는 대규모 데이터 볼륨을 처리할 수 있으므로 테라바이트/페타바이트 규모의 데이터를 처리하는 조직에 적합하다. 원활한 확장 기능을 통해 데이터 볼륨에 상관 없이 파일 작업이 효율적으로 수행될 수 있다.

③ 멀티 클라우드 환경의 데이터 관리 : 멀티 클라우드 환경에서 로우코드 파일옵스를 통합하면 다양한 소스의 데이터를 다양한 클라우드 플랫폼으로 온보딩하는 작업이 단순화되어 여러 플랫폼 간의 원활한 데이터 흐름이 가능해진다.

④ 내장된 데이터 품질 : 출력 품질은 복잡한 데이터 변환 파이프라인의 각 단계에서 결정될 수 있다. ‘시프트-레프트(shift-left)’ 접근 방식은 개발 주기 초기에 데이터 품질을 해결함으로써 문제를 조기에 발견하고 시간을 절약해준다.

⑤ 통합 모니터링 : 파이프라인 작업을 모니터링하고 오류 발생 시 문제를 해결할 수 있는 단일 창을 제공한다.

디지털 전환에 미치는 영향

파일옵스는 파일 작업 실행을 단순화 및 가속화하고 복잡성을 제거한다.

기업들은 로우코드 파일옵스 솔루션을 활용하여 디지털 전환 이니셔티브를 확대하고 일상적인 파일 작업으로 인한 병목 현상을 제거할 수 있다.

파일옵스를 채택한 데이터 엔지니어는 수동 코딩에 과도한 시간을 소비하는 대신 더 높은 가치의 작업에 노력을 집중함으로써 생산성을 높일 수 있다. 이러한 생산성 향상은 조직 전체의 효율성과 역량을 더욱 강화할 수 있다.

파일옵스는 다양한 데이터 환경을 관리하기 위한 통합된 로우코드 솔루션을 제공하므로 데이터 통합을 단순화하고 데이터 품질을 향상하며 다양한 소스에서 데이터 흐름이 원활하도록 지원한다. 전사적 생성AI 모델을 교육하는 데 사용되는 데이터의 상당 부분이 주로 다양한 파일 형식의 데이터 세트에서 제공되므로 파일옵스는 생성AI 작업도 지원할 수 있다.

파일옵스 기능은 비용을 크게 낮추고 효율성을 높인다. 수동 코딩과 파일 운영 관리에 필요한 시간과 리소스를 줄임으로써 예산을 효과적으로 할당하고 리소스를 최적화할 수 있다.

파일옵스가 디지털 전환을 재편

파일옵스는 데이터 작업의 복잡성을 간소화하고 실행을 가속화한다. 고유한 확장성과 적응성, 여러 클라우드 소스에서 데이터를 관리하는 기능을 통해 다양한 파일 형식으로 저장된 데이터의 잠재력을 최대한 활용할 수 있도록 지원한다.

파일옵스는 기업들이 디지털 시대에 달성 가능한 목표를 설정하고 구현하는 데 필요한 도구와 기능을 제공한다. 그리고 성공과 변화로 정의되는 미래를 향해 나아가도록 힘을 준다.

필자 밀린드 치트구파카르는 모닥(Modak)의 공동 창립자이자 최고 분석 책임자이다. 모닥은 포춘 100대 기업의 디지털 혁신 여정을 지원하는 전문 데이터 분석 회사로, 밀린드는 23년 이상 대규모 데이터 볼륨에 대한 비즈니스 전략, 분석 및 최신 데이터 플랫폼과 관련된 여러 기업 고객 참여에 대한 사고 리더십과 탁월한 전달 능력을 제공해 왔다.

(*이 칼럼은 GTT KOREA의 편집 방향과 다를 수 있습니다.)