머신러닝 모델을 평가할 때, F1 Score는 매우 유용한 지표로 자리 잡고 있습니다. 하지만 과연 F1 Score가 모든 상황에서 최선의 선택인지에 대한 논의는 여전히 활발히 이루어지고 있습니다. 이번 글에서는 F1 Score의 의미, 장단점, 그리고 대안이 될 수 있는 평가 지표들에 대해 살펴보겠습니다.

F1 Score란?

F1 Score는 정밀도(Precision)와 재현율(Recall)의 조화 평균으로 정의됩니다. 정밀도는 모델이 예측한 긍정 클래스 중 실제로 긍정인 비율을 나타내고, 재현율은 전체 실제 긍정 클래스 중 모델이 올바르게 예측한 비율을 의미합니다. F1 Score는 다음과 같이 계산됩니다.

\[ F1 = 2 \cdot \frac{정밀도 \cdot 재현율}{정밀도 + 재현율} \]

코드 예제

아래는 Python의 sklearn 라이브러리를 사용하여 F1 Score를 계산하는 간단한 코드 예제입니다.

from sklearn.metrics import f1_score

y_true = [1, 1, 0, 1, 0, 0, 1]
y_pred = [1, 0, 0, 1, 0, 1, 1]

# F1 Score 계산
f1 = f1_score(y_true, y_pred)
print(f"F1 Score: {f1:.2f}")

이 코드는 주어진 실제 레이블과 예측 레이블을 기반으로 F1 Score를 계산하여 출력합니다.

F1 Score의 장점

  1. 불균형 데이터셋에 유리: F1 Score는 정밀도와 재현율의 조화 평균이기 때문에, 클래스 간의 불균형이 큰 데이터셋에서 더 잘 작동합니다. 예를 들어, 양성 클래스가 극히 적은 경우, 단순히 정확도만으로 평가하기에는 한계가 있습니다.
  2. 모델의 성능 종합 평가: F1 Score는 단순히 긍정 클래스의 예측 성능 뿐만 아니라, 모델이 얼마나 많은 긍정 사례를 놓치지 않았는지를 함께 평가하기 때문에, 모델의 전반적인 성능을 종합적으로 평가할 수 있습니다.

    3. F1 Score의 단점

  3. 해석의 어려움: F1 Score는 단일 숫자로 모델의 성능을 요약하기 때문에, 특정 비즈니스 문제에 대한 해석이 어려울 수 있습니다. 예를 들어, 특정 상황에서는 정밀도가 더 중요할 수 있고, 다른 상황에서는 재현율이 더 중요할 수 있습니다.
  4. 모델 성능의 왜곡 가능성: F1 Score는 한 쪽(정밀도 또는 재현율)에서 낮은 성능을 보여도 이를 보완할 수 있는 특성이 있습니다. 즉, F1 Score가 높다고 해서 항상 좋은 모델이라고 단정할 수 없습니다.

    5. 대안 평가 지표

    F1 Score가 항상 최선의 선택은 아닙니다. 다음은 대안이 될 수 있는 다른 평가 지표들입니다.

  5. 정밀도(Precision): 특정 비즈니스 문제에서 false positive 비용이 큰 경우, 정밀도를 우선적으로 고려할 수 있습니다.
  6. 재현율(Recall): 반대로, false negative 비용이 큰 경우에는 재현율을 중심으로 평가할 필요가 있습니다. 예를 들어, 질병 진단 모델에서 환자를 놓치는 것은 큰 문제가 될 수 있습니다.
  7. ROC AUC: Receiver Operating Characteristic Curve의 면적(AUC)은 다양한 임계값에 대한 모델의 성능을 평가합니다. 이 지표는 모델의 전반적인 예측 능력을 보여줍니다.
  8. MCC (Matthews Correlation Coefficient): 이 지표는 혼동 행렬의 모든 요소를 고려하여 모델의 품질을 평가합니다. 특히 불균형 데이터셋에서 유용합니다.

마무리

F1 Score는 머신러닝 모델의 성능을 평가하는 데 유용한 지표이지만, 모든 상황에서 최선의 선택은 아닙니다. 특정 비즈니스 문제의 특성과 데이터의 성격에 따라 적합한 평가 지표를 선택하는 것이 중요합니다. 정밀도, 재현율, ROC AUC, MCC 등 다양한 지표를 활용하여 모델의 성능을 종합적으로 평가하는 것이 바람직합니다. 데이터 분석가나 머신러닝 엔지니어로서, 다양한 평가 지표들을 이해하고 활용하는 것은 성공적인 모델 개발의 필수 요소입니다.