BACKEND·중요도 7·2026. 06. 12.·InfoQ
Slack Eliminates SSH in EMR Pipelines, Migrates 700+ Jobs to Rest-Based Architecture
── KO ──────────────────
슬랙이 SSH를 제거하고 700개 이상의 작업을 REST 기반 아키텍처로 마이그레이션했습니다.
슬랙은 Amazon EMR 파이프라인에서 SSH 기반 실행을 REST 구동 오케스트레이션 계층인 Quarry로 교체했습니다. 이 마이그레이션은 700개 이상의 Airflow 오퍼레이터를 포함하여 보안, 신뢰성 및 가시성을 개선하였습니다. 또한 생산 클러스터에 대한 직접 SSH 접근을 제거하고 서버 측 작업 생애 주기 모델을 가능하게 했습니다.
── EN ──────────────────
Slack replaces SSH with a REST-based architecture, migrating over 700 jobs.
Slack modernized its data platform by replacing SSH execution in Amazon EMR pipelines with a REST-driven orchestration layer called Quarry. The migration involved over 700 Airflow operators and improved security, reliability, and observability. It eliminated direct SSH access to production clusters while enabling a server-side job lifecycle model.