데이터로 보는 세상

대용량 데이터 처리 시 Pandas 성능 최적화 기법

Pandas는 Python에서 데이터 분석을 할 때 많이 사용되는 라이브러리로, 데이터 처리와 조작을 쉽게 할 수 있는 강력한 도구입니다. 그러나 대용량 데이터셋을 다룰 때는 성능 문제가 발생할 수 있습니다. 이 글에서는 Pandas를 사용하여 대용량 데이터를 처리할 때 성능을 최적화하는 몇 가지 기법을 소개하겠습니다.

1. 데이터 타입 최적화

Pandas의 DataFrame은 각 열의 데이터 타입에 따라 메모리 소비가 달라집니다. 따라서 불필요하게 큰 데이터 타입을 사용하는 것을 피해야 합니다. 예를 들어, 정수형 데이터의 경우, 기본적으로 int64 타입을 사용하지만, 데이터의 범위가 작다면 int32 또는 int16으로 변경할 수 있습니다.

import pandas as pd
import numpy as np

data = {
    'id': range(1, 1000001),
    'value': np.random.randint(1, 100, size=(1000000,))
}

df = pd.DataFrame(data)

# 데이터 타입 최적화
df['id'] = df['id'].astype(np.int32)
df['value'] = df['value'].astype(np.int8)

위의 코드에서는 id와 value 열의 데이터 타입을 변경하여 메모리 사용량을 줄였습니다.

2. 필요한 열만 로드하기

대용량 CSV 파일을 로드할 때 필요한 열만 선택적으로 불러오는 것이 좋습니다. 이를 통해 메모리 사용을 줄이고 처리 속도를 향상시킬 수 있습니다.

# 필요한 열만 로드하기
df = pd.read_csv('large_data.csv', usecols=['id', 'value'])

usecols 파라미터를 사용하여 필요한 열만 선택적으로 로드할 수 있습니다.

3. 청크(chunk) 단위로 데이터 처리

데이터셋이 너무 커서 메모리에 모두 올릴 수 없는 경우, 데이터를 청크 단위로 나누어 처리하는 것이 효과적입니다. pd.read_csv의 chunksize 파라미터를 이용하면 이를 쉽게 구현할 수 있습니다.

chunks = pd.read_csv('large_data.csv', chunksize=100000)

for chunk in chunks:
    # 각 청크에 대한 데이터 처리
    process(chunk)  # 사용자 정의 함수

이 코드 조각에서는 데이터 파일을 10만 행씩 읽어와서 각 청크에 대해 처리하는 방법을 보여줍니다.

4. 벡터화 연산 사용하기

Pandas는 벡터화 연산을 지원하여, 루프를 사용하는 것보다 훨씬 더 빠르게 데이터를 처리할 수 있습니다. 따라서 데이터 처리 시 가능한 한 Pandas의 벡터화 기능을 활용해야 합니다.

# 벡터화 연산 예
df['new_value'] = df['value'] * 2

위의 코드에서는 value 열의 모든 요소에 2를 곱하여 new_value 열을 생성합니다. 이렇게 벡터화된 연산은 루프보다 빠르며 성능을 크게 향상시킵니다.

5. 필터링과 조건부 연산 최적화

조건부 연산을 수행할 때, 데이터Frame의 불리언 마스킹을 활용하여 빠르게 필터링할 수 있습니다. 예를 들어, 특정 조건을 만족하는 데이터만 선택하는 경우 다음과 같이 할 수 있습니다.

# 조건부 필터링
filtered_df = df[df['value'] > 50]

이 코드에서는 value 열의 값이 50보다 큰 데이터만 선택하여 새로운 DataFrame을 생성합니다.

6. 멀티스레딩 활용

Pandas는 기본적으로 단일 스레드로 작업하지만, dask와 같은 라이브러리를 사용하여 멀티스레딩을 활용할 수 있습니다. Dask는 Pandas API와 유사하여 사용이 간편하며, 대용량 데이터를 효율적으로 처리할 수 있도록 도와줍니다.

import dask.dataframe as dd

# Dask를 사용하여 대용량 CSV 파일 로드
dask_df = dd.read_csv('large_data.csv')

# Dask DataFrame에서 작업 수행
result = dask_df[dask_df['value'] > 50].compute()

Dask를 사용하면 데이터를 분산 처리하여 성능을 극대화할 수 있습니다.

마무리

대용량 데이터 처리 시 Pandas의 성능을 최적화하는 여러 기법에 대해 살펴보았습니다. 데이터 타입 최적화, 필요한 열만 로드하기, 청크 단위로 데이터 처리, 벡터화 연산, 필터링 최적화, 그리고 멀티스레딩 활용 등을 통해 데이터 처리 속도를 높이고 메모리 사용량을 줄일 수 있습니다. 이러한 기법들을 적절하게 활용하여 효율적인 데이터 분석을 수행해 보시기 바랍니다.

대용량 데이터 생성