데이터로 보는 세상

데이터 분석에서 데이터 정제는 매우 중요한 과정입니다. 원본 데이터는 종종 불완전하거나 오류가 포함되어 있어, 분석에 적합한 형태로 가공해야 합니다. 이번 글에서는 Pandas 라이브러리를 활용하여 데이터를 효율적으로 정제하는 다양한 기법을 다루어 보겠습니다.

Pandas 소개

Pandas는 Python에서 데이터 조작과 분석을 위한 오픈 소스 라이브러리로, 데이터프레임(DataFrame)이라는 자료구조를 통해 데이터를 쉽게 다룰 수 있도록 해줍니다. Pandas를 사용하면 데이터 정제, 변환, 필터링 등의 작업을 간편하게 수행할 수 있습니다.

데이터 불러오기

먼저, 예시로 사용할 데이터를 불러와 보겠습니다. CSV 파일 형식의 데이터를 사용해 보겠습니다.

import pandas as pd

data = pd.read_csv('data/sample_data.csv')
print(data.head())

결측치 처리

데이터 정제의 첫 번째 단계는 결측치를 처리하는 것입니다. 결측치는 데이터 분석에 큰 영향을 미칠 수 있습니다. Pandas에서는 결측치를 쉽게 확인하고 처리할 수 있는 여러 가지 방법을 제공합니다.

결측치 확인

# 결측치 확인
print(data.isnull().sum())

결측치 제거

결측치를 제거할 때는 dropna() 메서드를 사용합니다. 이 메서드는 결측치가 포함된 행(row) 또는 열(column)을 제거합니다.

# 결측치가 포함된 행 제거
cleaned_data = data.dropna()

결측치 채우기

결측치를 채우는 방법으로는 fillna() 메서드를 사용할 수 있습니다. 평균값, 중앙값 또는 특정 값으로 결측치를 대체할 수 있습니다.

# 평균값으로 결측치 채우기
data['column_name'] = data['column_name'].fillna(data['column_name'].mean())

데이터 타입 변환

데이터 타입이 적절하지 않은 경우, 분석 결과에 영향을 미칠 수 있습니다. Pandas에서는 astype() 메서드를 사용해 데이터 타입을 변환할 수 있습니다.

# 데이터 타입 변환
data['column_name'] = data['column_name'].astype('int')

중복 데이터 처리

데이터셋에 중복된 행이 있는 경우, 중복을 제거해야 합니다. Pandas의 drop_duplicates() 메서드를 사용하여 중복된 행을 쉽게 제거할 수 있습니다.

# 중복된 행 제거
data = data.drop_duplicates()

데이터 필터링

특정 조건에 맞는 데이터를 필터링하는 것도 중요한 작업입니다. Pandas에서는 조건을 설정하여 원하는 데이터만 추출할 수 있습니다.

# 특정 조건을 만족하는 데이터 필터링
filtered_data = data[data['column_name'] > 50]

데이터 정렬

데이터를 정렬하여 시각적으로 분석하기 쉽게 만들 수 있습니다. sort_values() 메서드를 사용하여 특정 열을 기준으로 데이터를 정렬할 수 있습니다.

# 특정 열을 기준으로 정렬
sorted_data = data.sort_values(by='column_name', ascending=False)

데이터 변환

Pandas에서는 데이터를 변환할 수 있는 여러 가지 방법이 있습니다. apply() 메서드를 사용하면 특정 함수에 따라 데이터를 변형할 수 있습니다.

# 특정 함수 적용
data['new_column'] = data['column_name'].apply(lambda x: x * 2)

마무리

이번 블로그에서는 Pandas를 활용한 데이터 정제의 여러 기법을 살펴보았습니다. 결측치 처리, 데이터 타입 변환, 중복 데이터 제거, 데이터 필터링 및 정렬 등 다양한 기법을 통해 데이터를 효율적으로 정제할 수 있습니다. 데이터 정제는 데이터 분석의 첫걸음으로, 올바른 데이터를 바탕으로 유의미한 인사이트를 도출해낼 수 있습니다. Pandas를 활용하여 데이터 정제를 마스터하고, 보다 정확하고 신뢰성 있는 분석을 수행해 보세요.

CSV 파일 불러오기