Apache Flink

베를린 TU대학교에서 시작된 아파치 프로젝트로 Exactly-once 이벤트 처리를 보장하는 Native Stream 방식의 Stream Processing 플랫폼입니다. 최근 우버(Uber Technologies Inc.)를 비롯하여 알리바바(Alibaba Group Holding Limited) 등의 글로벌 대기업들이 사용하는 Stream Processor로 자리 잡고 있습니다.

 

flink.apache.org

 

1. Apache Flink 특징
   • Native Stream : 오버헤드는 낮으면서도 Exactly-once 이벤트 처리를 보장
   • In-Memory : JVM에서 실행되며 커스텀 메모리 매니저를 구현해 안정적인 메모리 사용량을 유지
   • Low latency와 High throughput : 낮은 지연과 우수한 처리 성능
2. 이외 Event Stream Processing 제품
   • Storm : 업계 표준으로 불릴만큼 많이 사용, low-level API 제공하는 Native Stream 시스템
   • Spark : Micro Batch 생성 및 처리하는 Batch Processing 플랫폼
   • Samza : Kafka와 함께 LinkeIn에서 개발한 Streaming 처리 플랫폼
   • Kafka Streams : LinkedIn 개발한 오픈소스 프로젝트, Kafka 기능의 일부로 Stream Processing을 위한 경량 라이브러리