당근의 데이터 가치화 팀이 ELT 플랫폼 DT Platform을 구축하는 과정을 공유합니다.
당근 데이터 가치화 팀은 200개 이상의 DB를 효율적으로 전송하는 ELT 플랫폼인 DT Platform을 만든 이야기입니다. 기존 시스템은 파이프라인 설정과 코드의 결합으로 인해 리뷰 병목과 학습 부담이 발생했습니다. 이를 해결하기 위해 데이터 팀은 새로운 ELT 플랫폼을 설계하였고, 런칭 후의 지표 개선도 다뤘습니다. AI 시대를 대비한 ETL 관리 방안도 포함되어 있습니다.
Carrot's data valorization team shares their journey of building the DT Platform for efficient ELT.
The Carrot data valorization team shares their story of building the DT Platform, an ELT platform designed to efficiently transfer data from over 200 databases. The existing system faced issues due to the tight coupling between pipeline definitions and execution code, leading to bottlenecks in reviews and increased burdens on service teams. This article discusses how they addressed these challenges and improved key metrics after the platform's launch, while also preparing for ETL management in the AI era.