GitHub 오픈소스 탐험

Apache Flink: 강력한 스트림 처리 프레임워크

데이터 처리의 시대에 접어들면서 실시간 데이터 분석의 필요성이 급증하고 있습니다. 전통적인 배치 처리 방식은 이미 많은 데이터를 처리하는 데에는 효율적이지만 실시간으로 흐르는 데이터를 다루기에는 한계가 있습니다. 이러한 문제를 해결하기 위해 등장한 것이 바로 Apache Flink입니다. Flink는 스트림 처리와 배치 처리 모두를 지원하는 오픈소스 프레임워크로, 데이터의 흐름을 실시간으로 처리하면서도 높은 성능과 안정성을 자랑합니다.

Apache Flink의 주요 기능

Apache Flink는 많은 기능을 가지고 있지만, 그 중에서도 특히 주목할 만한 몇 가지를 소개합니다.

스트리밍 우선 런타임: Flink는 스트리밍 처리에 최적화되어 있으며, 동시에 배치 처리도 지원합니다. 이는 개발자가 스트리밍과 배치 처리를 별도로 고민하지 않고도 사용할 수 있게 해줍니다.
우아한 API: Java와 Scala를 위한 직관적인 API를 제공하여, 개발자가 더 쉽게 코드를 작성할 수 있습니다.
높은 처리량과 낮은 지연 시간: Flink는 높은 데이터 처리량과 낮은 이벤트 지연을 동시에 지원합니다. 따라서 실시간 데이터 스트리밍 작업에서 매우 효과적입니다.
이벤트 시간 및 비순차적 처리: Flink의 DataStream API는 이벤트 시간과 비순차적 데이터 처리를 지원하여 복잡한 데이터 흐름을 유연하게 처리할 수 있습니다.
내결함성과 정확한 처리 보장: Flink는 장애 발생 시에도 데이터 손실 없이 정확한 처리 결과를 보장합니다.
유연한 윈도우: 시간, 카운트, 세션, 사용자 정의 트리거 등 다양한 기준으로 윈도우를 설정할 수 있어 다양한 분석 시나리오를 지원합니다.
Hadoop 생태계와의 통합: Flink는 Apache Hadoop과의 호환성을 제공하여, HDFS, HBase, YARN 등과 통합하여 사용할 수 있습니다.

빠른 시작 가이드

이제 Flink를 설치하고, 기본적인 스트리밍 예제와 배치 예제를 실행해 보겠습니다.

1. 설치하기

Flink를 사용하기 위해서는 먼저 Java 개발 환경이 필요합니다. 아래의 요구 사항을 확인하고 준비해 주세요.

Unix-like 환경 (Linux, Mac OS X, Cygwin, WSL)
Git
Maven (버전 3.8.6 이상)
Java (버전 11, 17, 또는 21)

##### Flink 소스 코드 다운로드

git clone https://github.com/apache/flink.git
cd flink

##### Flink 빌드하기

자신의 Java 버전에 따라 아래 명령어 중 하나를 선택하여 실행합니다.

Java 11

./mvnw clean package -DskipTests -Djdk11 -Pjava11-target

Java 17 (기본)

./mvnw clean package -DskipTests -Djdk17 -Pjava17-target

Java 21

./mvnw clean package -DskipTests -Djdk21 -Pjava21-target

이제 Flink가 빌드되었습니다.

2. 기본 사용법

##### 스트리밍 예제

아래는 소켓을 통해 들어오는 텍스트 데이터를 처리하여 단어 수를 세는 간단한 스트리밍 예제입니다.

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.datastream.DataStreamSource;

import java.util.Arrays;

public class WordCount {
    public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        DataStreamSource<String> text = env.socketTextStream("localhost", 9999);
        
        DataStream<WordWithCount> windowCounts = text
            .flatMap((FlatMapFunction<String, String>) (line, collector) 
                -> Arrays.stream(line.split("\\s")).forEach(collector::collect)
            ).returns(String.class)
            .map(word -> new WordWithCount(word, 1)).returns(WordWithCount.class)
            .keyBy(wordWithCount -> wordWithCount.word)
            .sum("count").returns(WordWithCount.class);

        windowCounts.print();
        env.execute();
    }

    public static class WordWithCount {
        public String word;
        public int count;

        public WordWithCount() {}

        public WordWithCount(String word, int count) {
            this.word = word;
            this.count = count;
        }
    }
}

##### 배치 예제

바로 파일에서 데이터를 읽어 단어 수를 세는 배치 예제는 아래와 같습니다.

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.connector.file.src.FileSource;
import org.apache.flink.connector.file.src.reader.TextLineInputFormat;
import org.apache.flink.api.common.typeinfo.TypeInformation;

import java.nio.file.Paths;
import java.util.Arrays;

public class BatchWordCount {
    public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setRuntimeMode(RuntimeExecutionMode.BATCH);
        
        FileSource<String> source = FileSource.forRecordStreamFormat(new TextLineInputFormat(), Paths.get("MyInput.txt")).build();
        DataStreamSource<String> text = env.fromSource(source, WatermarkStrategy.noWatermarks(), "MySource");
        
        DataStream<WordWithCount> windowCounts = text
            .flatMap((FlatMapFunction<String, String>) (line, collector) -> Arrays
                .stream(line.split("\\s"))
                .forEach(collector::collect)).returns(String.class)
            .map(word -> new WordWithCount(word, 1)).returns(TypeInformation.of(WordWithCount.class))
            .keyBy(wordWithCount -> wordWithCount.word)
            .sum("count").returns(TypeInformation.of(WordWithCount.class));

        windowCounts.print();
        env.execute();
    }

    public static class WordWithCount {
        public String word;
        public int count;

        public WordWithCount() {}

        public WordWithCount(String word, int count) {
            this.word = word;
            this.count = count;
        }
    }
}

실무에서의 활용 시나리오

Apache Flink는 다양한 산업에서 활용될 수 있습니다. 예를 들어, 소셜 미디어 플랫폼에서는 유저의 실시간 활동을 분석하여 트렌드를 파악하거나, 금융 분야에서는 거래 데이터를 실시간으로 모니터링하여 이상 거래를 탐지하는 데 사용할 수 있습니다. 또한, IoT 디바이스에서 발생하는 데이터 스트림을 처리하여 실시간 대시보드를 구축하는 등의 시나리오도 가능합니다.

비슷한 도구와의 비교

Apache Flink는 Apache Spark와 유사한 기능을 제공하지만, Flink는 실시간 스트리밍 처리에 더 강력한 성능을 발휘합니다. Spark는 배치 처리에 더 최적화되어 있어 스트리밍 작업에서는 상대적으로 높은 지연 시간을 가질 수 있습니다. 반면, Flink는 낮은 지연 시간과 높은 처리량을 동시에 보장합니다.

apache/flink — Apache Flink