데이터로 보는 세상

데이터 분석의 과정에서 데이터 전처리는 필수적인 단계입니다. 전처리를 통해 데이터의 품질을 높이고, 이후 분석 결과의 신뢰성을 확보할 수 있습니다. 오늘은 이러한 데이터 전처리를 보다 효율적으로 수행할 수 있도록 도와주는 Polars 라이브러리를 소개하겠습니다.

Polars는 Rust로 작성된 고성능 데이터 프레임 라이브러리로, Python, R, Node.js 등 여러 언어에서 사용할 수 있습니다. 특히 Pandas와 유사한 API를 제공하면서도 비약적으로 빠른 성능을 자랑합니다. 이는 멀티스레딩 및 Lazy Evaluation 방식을 통해 가능해졌습니다.

Polars 설치하기

Polars는 PyPI에 등록되어 있어 쉽게 설치할 수 있습니다. 아래의 명령어를 통해 설치해보세요.

pip install polars

기본적인 사용법

Polars 데이터 프레임을 생성하는 것은 매우 간단합니다. 다음 예제를 통해 기본적인 사용법을 살펴보겠습니다.

import polars as pl

data = {
    "name": ["Alice", "Bob", "Charlie"],
    "age": [25, 30, 35],
    "city": ["Seoul", "Busan", "Incheon"]
}

df = pl.DataFrame(data)
print(df)

위 코드를 실행하면 다음과 같은 데이터 프레임이 생성됩니다.

shape: (3, 3)
┌─────────┬─────┬────────┐
│ name    ┆ age ┆ city   │
│ ---     ┆ --- ┆ ---     │
│ str     ┆ i64 ┆ str    │
╞═════════╪═════╪════════╡
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │
├─────────┼─────┼────────┤
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │
│ ---     ┆ --- ┆ ---     │

데이터 전처리 기능

Polars는 다양한 전처리 기능을 제공합니다. 여기서는 몇 가지 주요 기능을 살펴보겠습니다.

1. 결측치 처리

결측치를 처리하는 방법은 데이터 분석에서 중요한 부분입니다. Polars에서는 간단한 메서드를 통해 결측치를 처리할 수 있습니다.

# 결측치가 있는 데이터프레임 생성
data_with_nan = {
    "name": ["Alice", "Bob", None],
    "age": [25, None, 35],
    "city": ["Seoul", "Busan", "Incheon"]
}

df_nan = pl.DataFrame(data_with_nan)

# 결측치 제거
df_cleaned = df_nan.drop_nulls()
print(df_cleaned)

위 코드를 실행하면 결측치가 제거된 데이터 프레임을 확인할 수 있습니다.

2. 그룹화 및 집계

Polars를 활용하면 데이터의 그룹화 및 집계 작업도 간편하게 수행할 수 있습니다. 아래 예제에서는 city별로 나이의 평균을 계산합니다.

data = {
    "name": ["Alice", "Bob", "Charlie", "David"],
    "age": [25, 30, 35, 40],
    "city": ["Seoul", "Busan", "Seoul", "Busan"]
}

df = pl.DataFrame(data)

# city별 나이 평균 계산
avg_age = df.groupby("city").agg(pl.col("age").mean().alias("average_age"))
print(avg_age)

3. 데이터 타입 변환

데이터 분석 과정에서 데이터 타입의 변환이 필요할 때가 많습니다. Polars에서는 데이터 타입을 쉽게 변환할 수 있습니다.

# 연령을 문자열로 변환
df = df.with_column(df["age"].cast(pl.Utf8))
print(df)

Polars의 장점

성능: 멀티스레딩과 Lazy Evaluation 방식을 통해 빠른 데이터 처리를 지원합니다.
유연성: 다양한 데이터 형식을 지원하며, 여러 언어에서 사용할 수 있습니다.
Pandas 유사성: Pandas와 유사한 API를 제공하여 기존 사용자의 진입 장벽이 낮습니다.

마무리

Polars는 데이터 전처리 과정에서 더욱 효율적이고 강력한 도구가 될 수 있습니다. 대규모 데이터셋을 다루거나 성능이 중요한 프로젝트에서 특히 유용합니다. 간단한 설치와 직관적인 API 덕분에 데이터 분석가라면 꼭 한 번 사용해보기를 추천합니다. 데이터 전처리의 새 시대를 경험해 보세요!

딕셔너리를 사용하여 데이터프레임 생성