Bias and Variance - Tradeoff

 

머신러닝과 통계 모델링에서, 바이어스(Bias)와 분산(Variance)을 이해하는 것은 모델 성능 문제를 진단하고 적절한 모델링 접근법 및 훈련 전략을 선택하는 데 필수적입니다.

바이어스 (Bias)

• 정의: 바이어스는 학습 알고리즘에서 과도하게 단순화된 가정에서 발생하는 오류입니다. 높은 바이어스는 알고리즘이 특성과 타겟 출력 사이의 중요한 관계를 놓치게 하여, 모델이 과소적합(underfitting)되는 결과를 초래할 수 있습니다.
• 특징:
  • 높은 바이어스를 가진 모델은 일반적으로 데이터 구조에 대해 강한 가정을 합니다.
  • 바이어스가 높은 경우, 모델은 훈련 데이터의 복잡성을 충분히 학습하지 못할 수 있습니다.
  • 과소적합(underfitting)이 나타나는 경우, 훈련 데이터와 테스트 데이터 모두에서 낮은 성능을 보일 수 있습니다.

분산 (Variance)

• 정의: 분산은 모델이 훈련 데이터에 너무 민감하게 반응하여, 새로운 데이터에 대해 일관되지 못한 예측을 하는 것을 말합니다. 높은 분산은 알고리즘이 훈련 데이터의 무작위 노이즈까지 학습하게 되어, 과대적합(overfitting)을 일으킬 수 있습니다.
• 특징:
  • 높은 분산을 가진 모델은 훈련 데이터에 있는 임의의 변동성을 과도하게 학습합니다.
  • 이로 인해 테스트 데이터에 대한 모델의 성능이 훈련 데이터에 비해 현저히 낮아질 수 있습니다.
  • 과대적합(overfitting)이 나타나는 경우, 훈련 데이터에서는 높은 성능을 보이지만 테스트 데이터에서는 낮은 성능을 보입니다.

Bias와 Variance 사이의 균형을 맞추는 것은 중요한 문제이며, 바이어스가 너무 낮고 분산이 높으면 모델은 과대적합되고, 바이어스가 너무 높고 분산이 낮으면 과소적합됩니다. 이상적인 모델은 바이어스와 분산이 모두 낮은 상태에서 높은 일반화 성능을 보여줍니다.

 

바이어스-분산 트레이드오프 (Bias-Variance Tradeoff): 실제로, 바이어스와 분산 사이에는 트레이드오프 관계가 있습니다. 즉, 일반적으로 바이어스를 줄이면 분산이 증가하고, 분산을 줄이면 바이어스가 증가합니다. 따라서, 낮은 바이어스와 낮은 분산을 동시에 달성하는 것은 매우 어려울 수 있습니다.

1. 모델의 복잡성: 모델이 너무 간단하면 데이터의 중요한 패턴을 포착하지 못해 높은 바이어스를 가질 수 있습니다. 반면, 모델이 너무 복잡하면 데이터의 노이즈까지 학습하며 높은 분산을 가질 수 있습니다.
2. 데이터 특성: 모델의 성능은 또한 사용되는 데이터의 특성과 품질에 크게 의존합니다. 예를 들어, 노이즈가 많은 데이터나 적은 양의 데이터에서는 모델이 고전할 수 있습니다.
3. 문제의 복잡도: 문제의 복잡도에 따라 다른 종류의 모델이 더 적합할 수 있습니다. 간단한 문제는 단순한 모델로도 잘 해결될 수 있지만, 복잡한 문제는 더 복잡한 모델을 필요로 할 수 있습니다.

Bais-Variance Tradeoff - How to get most out of Bias-Variance Tradeoff