Netflix Reworks Conductor for 420 Million Monthly Workflow Executions and 10X Larger Workflows

Netflix가 Conductor를 재작업하여 30,000개의 작업을 지원합니다.

Netflix는 Conductor 워크플로우 오케스트레이션 엔진을 재작업하여 더 큰 작업 부하를 처리할 수 있도록 개선했습니다. 지원되는 워크플로우 크기가 2,500개에서 30,000개로 증가하고, p99 워크플로우 평가 지연 시간이 약 40% 감소했습니다. 새로운 버전은 워크플로우 메타데이터와 작업 데이터를 분리하고 비동기 처리를 도입했으며, 동적인 작업자 할당과 동시성 제어를 소개했습니다.

Netflix reworks Conductor to support 30,000 tasks in workflows.

Netflix has reworked its Conductor workflow orchestration engine to handle larger workloads, increasing the supported workflow size from 2,500 to 30,000 tasks and reducing the p99 workflow evaluation latency by about 40%. The new version separates workflow metadata from task data, moves evaluation to asynchronous processing, and introduces dynamic worker allocation and concurrency controls.