GitHub 오픈소스 탐험

Apache Gluten: JVM 기반 SQL 엔진을 네이티브 엔진으로 전환하는 혁신적 솔루션

대규모 데이터셋을 처리하는 데 있어 Apache Spark는 가장 널리 사용되는 프레임워크 중 하나입니다. 그러나 Spark의 JVM 기반 SQL 엔진은 성능의 한계를 겪고 있으며, 이를 극복하기 위한 다양한 최적화가 필요합니다. 이러한 필요성을 충족시키기 위해 등장한 프로젝트가 바로 Apache Gluten입니다. Gluten은 Spark SQL의 실행을 네이티브 엔진으로 오프로드하여 성능을 획기적으로 향상시키는 중간 계층입니다. 본 글에서는 Gluten의 주요 기능과 사용법을 알아보고, 실무에서 어떻게 활용할 수 있는지 살펴보겠습니다.

Apache Gluten의 주요 기능

1. 성능 향상

Gluten의 가장 큰 장점은 네이티브 엔진의 성능을 활용할 수 있다는 점입니다. ClickHouse와 Velox와 같은 네이티브 SQL 엔진은 JVM 기반의 Spark SQL 엔진보다 훨씬 빠른 성능을 자랑합니다. Gluten은 Spark의 물리적 계획을 Substrait 계획으로 변환한 후, 이를 네이티브 엔진으로 전달하여 데이터 처리의 부담을 덜어줍니다.

2. 손쉬운 구성

Gluten은 Spark의 DataFrame API나 SQL 쿼리를 수정할 필요 없이 간편하게 사용할 수 있습니다. 사용자는 Gluten을 올바르게 구성하기만 하면 되며, 복잡한 설정 과정 없이 성능 개선의 혜택을 누릴 수 있습니다.

3. 확장성

Gluten은 추가적인 네이티브 엔진을 지원할 수 있도록 설계되었습니다. 현재는 ClickHouse와 Velox 두 가지 백엔드를 지원하지만, 향후 더 많은 백엔드의 추가가 가능합니다.

설치 및 사용법

Gluten을 사용하기 위해서는 먼저 Apache Spark가 설치되어 있어야 합니다. 이후, 아래의 단계를 따라 설치를 진행합니다.

1. Maven 의존성 추가

Maven을 사용하는 경우, pom.xml 파일에 다음 의존성을 추가합니다.

<dependency>
    <groupId>org.apache.greenplum</groupId>
    <artifactId>gluten-spark_2.12</artifactId>
    <version>0.9.0</version> <!-- 사용하고자 하는 Gluten 버전 -->
</dependency>

2. Spark 설정

Gluten을 활성화하기 위해 Spark 세션을 생성할 때 다음과 같은 설정을 추가합니다.

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
    .appName("Gluten Example")
    .config("spark.sql.extensions", "org.apache.spark.sql.gluten.GlutenSparkSessionExtensions")
    .config("spark.sql.gluten.enabled", "true")
    .getOrCreate()

3. 기본 사용법

Gluten을 통해 SQL 쿼리를 실행하는 방법은 매우 간단합니다. 다음은 데이터프레임을 생성하고 SQL 쿼리를 실행하는 예시입니다.

// 예제 데이터프레임 생성
val df = spark.createDataFrame(Seq(
    (1, "Alice"),
    (2, "Bob"),
    (3, "Cathy")
)).toDF("id", "name")

// 데이터프레임을 SQL 쿼리로 변환
df.createOrReplaceTempView("people")

// SQL 쿼리 실행
val result = spark.sql("SELECT * FROM people WHERE id > 1")
result.show()

실무 활용 시나리오

실무에서는 대규모 데이터셋을 처리해야 하는 상황에서 Apache Gluten을 활용하여 성능을 극대화할 수 있습니다. 예를 들어, 다음과 같은 경우에 유용하게 사용될 수 있습니다.

대규모 로그 분석: 대규모 로그 파일을 Spark로 처리할 경우, Gluten을 활용하여 ClickHouse에 오프로드함으로써 더 빠른 쿼리 성능을 얻을 수 있습니다.
실시간 데이터 처리: 실시간으로 수집되는 데이터를 효율적으로 처리해야 할 경우, Gluten을 통해 성능을 극대화할 수 있습니다.

비슷한 도구와의 비교

Gluten은 Apache Spark와 함께 사용되는 솔루션으로, 다른 데이터 처리 도구인 Apache Flink나 Druid와 비교할 수 있습니다. Flink는 스트리밍 처리에 강점을 두고 있지만, SQL 쿼리의 성능 면에서 Gluten이 더 나은 성능을 보일 수 있으며, Druid 역시 OLAP 쿼리에 특화되어 있지만, Spark의 확장성에 비해 제한적일 수 있습니다.

apache/gluten — Gluten is a middle layer responsible for