Netflix Moves Toward Open Source Flink Autoscaler for 30,000+ Streaming Jobs

넷플릭스가 3만 개 이상의 스트리밍 작업을 위해 플링크 오토스케일러를 오픈소스로 전환하고 있다.

넷플릭스는 30,000개 이상의 스트리밍 작업을 위해 아파치 플링크 오토스케일러로 전환하고 있다. 이 접근 방식은 복잡한 상태 저장 파이프라인에 대한 기존 클러스터 수준 자동 조정의 한계를 해결한다. 특히, 한 팀은 연간 플링크 컴퓨팅 비용을 58% 줄여 약 110만 달러를 절감했다고 보고했다.

Netflix is transitioning to open-source Flink Autoscaler for over 30,000 streaming jobs.

Netflix is moving toward the open-source Apache Flink Autoscaler for more than 30,000 streaming jobs. This operator-level approach addresses the limitations of Netflix’s cluster-level autoscaler for complex, stateful pipelines. Notably, one team reported a 58% reduction in annualized Flink compute expenditure, saving approximately $1.1 million annually.