MLDL_정리/용어, 메모장
Bias recipe for machine learning
KimTory
2023. 11. 1. 20:03
"바이어스 레시피(Bias Recipe)"는 기계 학습에서 모델의 바이어스를 다루는 방법에 관한 지침이나 접근 방식을 의미합니다. 이는 모델이 훈련 데이터에 과도하게 적합되어 새로운 데이터에 대한 일반화 능력이 부족할 때 발생하는 높은 바이어스를 줄이는 데 중점을 둡니다. 여기에는 다양한 전략과 기법이 포함될 수 있습니다:
- 모델 복잡도 증가: 너무 간단한 모델은 데이터의 중요한 특성을 놓칠 수 있습니다. 따라서 모델의 복잡도를 적절히 증가시켜 데이터의 다양한 패턴과 관계를 더 잘 학습할 수 있도록 합니다. 예를 들어, 더 많은 층이나 뉴런을 가진 신경망을 사용하거나, 결정 트리에서 더 많은 분할을 허용하는 것 등이 있습니다.
- 특징 엔지니어링 (Feature Engineering): 데이터의 추가적인 정보를 활용하거나 새로운 특성을 생성하여 모델이 중요한 패턴을 더 잘 이해하고 학습할 수 있도록 합니다. 이는 모델이 더 복잡한 관계와 구조를 학습하는 데 도움이 됩니다.
- 훈련 데이터 증가: 더 많은 훈련 데이터를 사용하면 모델이 다양한 예시를 보고 학습할 수 있어 일반화 능력이 향상됩니다. 데이터 증강, 외부 데이터 소스 활용 등을 통해 훈련 데이터를 확장할 수 있습니다.
- 정규화 기법 완화: 정규화는 모델의 복잡도를 제한하여 과적합을 방지하지만, 때로는 너무 강한 정규화가 모델의 바이어스를 높일 수 있습니다. 따라서 정규화 강도를 줄여 모델이 데이터에 좀 더 유연하게 적합될 수 있도록 조정할 수 있습니다.
- 앙상블 방법 사용: 여러 모델을 결합하는 앙상블 방법은 다양한 가설을 평가하고, 다른 모델들의 결정을 평균내어 바이어스를 줄이는 데 도움을 줄 수 있습니다.
이러한 방법들은 모델의 바이어스를 줄이는 데 도움이 될 수 있지만, 바이어스와 분산 사이의 균형을 잘 맞추는 것이 중요합니다. 너무 많은 복잡성을 추가하면 분산이 증가할 수 있으므로, 바이어스를 줄이는 것과 모델의 일반화 능력을 유지하는 것 사이의 적절한 균형을 찾는 것이 핵심입니다.
