기업은 데이터 파이프라인을 구축하는데 어려운 선택지에 직면해 왔다. 분석가가 노코드 또는 로우코드 도구를 사용해 파이프라인을 직접 구축하면 거버넌스, 확장성, 신뢰성 측면에서 한계가 있었고, 운영 수준의 파이프라인을 코드로 개발하려면 데이터 엔지니어링 팀에 의존해야 했다. 그러나 엔지니어링 팀은 이미 과중한 업무에 시달리고 있어, 작업 요청은 장기간 대기 상태에 놓였다. 

이러한 이유로 다수의 기업들은 두 방식을 혼합해 사용하는 경우가 많지만, 이는 결국 복잡하고 관리가 어려운 데이터 환경을 만들게 된다. 데이터 기반 기업들이 결국 필요로 하는 것은 거버넌스, 확장성, 신뢰성을 모두 충족하면서도 코드 없이 손쉽게 구축할 수 있는 데이터 파이프라인 환경이다.

데이터 및 AI 기업 데이터브릭스(Databricks)가 비전문가도 코드 개발 없이 데이터 파이프라인을 구축할 수 있는 새로운 노코드 ETL 기능 ‘레이크플로우 디자이너(Lakeflow Designer)’의 프리뷰 버전을 공개할 예정이라고 13일 밝혔다. 

생성AI 기반 드래그 앤 드롭 데이터 프렙 툴

레이크플로우 디자이너는 직관적인 드래그 앤 드롭 방식의 시각적 인터페이스와 자연어 기반의 생성AI 도우미를 제공하여, 기술적 전문 지식이 없는 사용자도 운영 환경 수준의 데이터 파이프라인을 쉽게 설계하고 구축할 수 있다. 이를 통해 데이터 엔지니어가 구축한 파이프라인과 동일한 수준의 확장성, 거버넌스, 유지관리성을 확보할 수 있다.

이 기능은 데이터브릭스의 통합 데이터 파이프라인 솔루션 ‘레이크플로우(Lakeflow)’와, 유니티 카탈로그(Unity Catalog) 및 데이터브릭스 어시스턴트를 기반으로 설계돼 기존의 코드 기반 및 노코드 도구 간의 간극을 해소한다. 레이크플로우는 데이터 엔지니어들이 모든 비즈니스 핵심 데이터를 활용해 신뢰할 수 있는 파이프라인을 더 빠르게 구축할 수 있도록 설계된 솔루션으로, 현재 정식 출시됐다.

이를 통해 기술적 배경이 없는 사용자도 데이터 엔지니어에게 유지보수나 거버넌스 관련 부담을 주지 않고, 비즈니스 문제를 신속하고 유연하게 해결할 수 있다.

레이크플로우 정식 출시

레이크플로우는 오늘 정식 출시됐다. 데이터 수집부터 변환, 오케스트레이션에 이르는 통합 데이터 엔지니어링 솔루션을 제공한다. 특히, 선언형 파이프라인(Declarative Pipelines) 기능을 통해 데이터 엔지니어는 인프라를 직접 관리하지 않고도 SQL 또는 파이톤(Python)만으로 운영 수준의 엔드-투-엔드 파이프라인을 손쉽게 구축할 수 있다.

또한 레이크플로우는 AI 기반 코드 작성, 디버깅, 유효성 검사를 지원하는 통합 개발 환경(IDE)을 새롭게 도입해, 데이터 파이프라인 개발 속도를 향상한다.

데이터 수집 커넥터 ‘레이크플로우 커넥트(Lakeflow Connect)’에는 구글애널리틱스(Google Analytics), 서비스나우(ServiceNow), SQL 서버(Server), 셰어 포인트(SharePoint), 포스트그레SQL(PostgreSQL), SFTP를 위한 포인트 앤 클릭 방식의 신규 인제스트(수집) 커넥터가 추가된다. 이미 제공 중인 세일즈포스 플랫폼 및 워크데이 보고서(Workday Reports) 커넥터와 함께 더 폭넓은 데이터 소스 지원이 가능해졌다.

제로버스(Zerobus)를 통한 유니티 카탈로그 직접 쓰기 기능도 제공한다. 제로버스는 메시지 버스 같은 별도의 인프라 없이도, 대규모 이벤트 데이터를 지연 시간을 최소화해 레이크하우스에 직접 기록할 수 있게 해주는 서버리스 인프라다. 이 기능은 IoT 이벤트, 클릭스트림, 텔레메트리 등 이벤트 기반 워크로드에서 확장 가능한 고성능 처리를 가능하게 한다.

데이터 엔지니어링 전용 IDE는 현재 퍼블릭 프리뷰(Public Preview) 단계에 있으며, 신규 인제스트 커넥터들은 다양한 출시 단계에 따라 순차적으로 제공될 예정이다. 제로버스는 현재 프라이빗 프리뷰(Private Preview) 단계로 제공된다.

데이터브릭스 알리 고드시(Ali Ghodsi) 공동창립자 겸 CEO는 “조직들이 AI 역량을 확장해야 한다는 압박이 점점 커지고 있다. 고품질 데이터를 적시에 적절한 위치로 전달하는 것은 지능형 애플리케이션 개발을 앞당기는 핵심 요소”라며, “레이크플로우 디자이너는 아이디어에서 실제 영향으로 이어지는 과정을 더욱 빠르게 만들 수 있다.”고 말했다.