데이터로 보는 세상

데이터 분석의 첫걸음은 데이터 크리닝입니다. 데이터가 아무리 방대하고 유용하더라도, 데이터의 품질이 낮다면 그 데이터로부터 의미 있는 인사이트를 도출하기란 매우 어렵습니다. 오늘은 Python의 Pandas 라이브러리를 활용하여 데이터 크리닝을 자동화하는 방법을 알아보겠습니다.

Pandas란?

Pandas는 데이터 조작 및 분석을 위한 Python 라이브러리로, 데이터 프레임(DataFrame)이라는 강력한 데이터 구조를 제공합니다. 데이터 프레임을 사용하면 대량의 데이터를 조작하고 분석하는 작업이 수월해집니다. 특히, 데이터 크리닝 과정에서 Pandas의 여러 기능을 활용해 자동화할 수 있습니다.

데이터 크리닝 프로세스

데이터 크리닝은 보통 다음과 같은 단계로 진행됩니다:

결측치 처리: 데이터셋에서 비어 있는 값(결측치)을 처리합니다.
중복 데이터 제거: 중복된 레코드를 찾아서 제거합니다.
데이터 타입 변환: 데이터의 형식을 적절하게 변환합니다.
이상치 처리: 이상값, 즉 통계적으로 비정상적인 값을 찾아서 처리합니다.
형식 통일: 문자열의 대소문자 통일, 공백 제거 등 형식을 일관되게 정리합니다.

이제 각 단계에 대해 Pandas를 사용하여 자동화하는 방법을 살펴보겠습니다.

1. 결측치 처리

import pandas as pd

df = pd.read_csv('data.csv')

# 결측치 확인
print(df.isnull().sum())

# 결측치 제거 (행 단위)
df = df.dropna()

# 결측치 대체 (평균값으로 대체)
df['column_name'] = df['column_name'].fillna(df['column_name'].mean())

2. 중복 데이터 제거

# 중복된 행 확인
duplicates = df.duplicated()

# 중복된 행 제거
df = df.drop_duplicates()

3. 데이터 타입 변환

# 데이터 타입 확인
print(df.dtypes)

# 특정 열의 데이터 타입 변환
df['date_column'] = pd.to_datetime(df['date_column'])
df['int_column'] = df['int_column'].astype(int)

4. 이상치 처리

이상치는 일반적으로 IQR(Interquartile Range) 방법을 사용하여 감지할 수 있습니다.

# IQR을 사용하여 이상치 제거
Q1 = df['numeric_column'].quantile(0.25)
Q3 = df['numeric_column'].quantile(0.75)
IQR = Q3 - Q1

# IQR을 통해 이상치 제거
df = df[(df['numeric_column'] >= (Q1 - 1.5  IQR)) & (df['numeric_column'] <= (Q3 + 1.5  IQR))]

5. 형식 통일

문자열 데이터의 형식을 통일하는 것은 데이터 분석에서 중요한 단계입니다.

# 대문자로 변환
df['string_column'] = df['string_column'].str.upper()

# 공백 제거
df['string_column'] = df['string_column'].str.strip()

데이터 크리닝 함수 자동화

위의 모든 과정을 함수로 만들어 자동화할 수 있습니다.

def clean_data(df):
    # 결측치 처리
    df = df.dropna()
    # 중복 데이터 제거
    df = df.drop_duplicates()
    # 데이터 타입 변환
    df['date_column'] = pd.to_datetime(df['date_column'])
    df['int_column'] = df['int_column'].astype(int)
    # 이상치 처리
    Q1 = df['numeric_column'].quantile(0.25)
    Q3 = df['numeric_column'].quantile(0.75)
    IQR = Q3 - Q1
    df = df[(df['numeric_column'] >= (Q1 - 1.5  IQR)) & (df['numeric_column'] <= (Q3 + 1.5  IQR))]
    # 형식 통일
    df['string_column'] = df['string_column'].str.upper().str.strip()
    
    return df

# 데이터 정리
cleaned_df = clean_data(df)

마무리

Pandas를 활용한 데이터 크리닝 자동화 방법을 살펴보았습니다. 데이터 크리닝은 데이터 분석의 중요한 첫 단계로, 사전에 데이터를 정제하는 것이 분석 결과에 큰 영향을 미칩니다. 위의 코드 예제를 통해 자동화된 크리닝 과정을 이해하고, 여러분의 데이터 분석 프로젝트에 적용해 보시기 바랍니다. 데이터 크리닝을 통해 얻은 깨끗한 데이터는 더 나은 인사이트를 제공할 것입니다.

데이터 불러오기