Bayes Error

Bayer Error(베이즈 에러)

• 정의
  1. Classification 문제에서 P(Y | X)에 대한 확률 분포(underlying true distribution)를 알고 있다는 가정 하에, 이론적으로 도달할 수 있는 최소 classification error를 의미
  2. underlying true distribution를 알고 있다하더라도, 이를 이용해 class label을 inference하는 방법이 반드시 P(y1, x)와 P(y2, x)를 비교해서 확률이 높은 쪽을 정답으로 골라야만 이 Bayes Error에 도달할 수 있다.
  3. Training data set을 완벽히 학습 하였을 때, 그 training data에 대해 가장 높은 확률이 높은 class label을 선택하는 방법에서 발생하는 이론적 최소 오차
  4. y는 본래 확률적이다. 즉 true error와 같은 개념
• 계산 공식
  1. min[P(y1|x), P(y2|x)] : 확률이 가장 큰 y를 선택 했을 때 발생하는 오차 값사건이 일어날 확률**(이때 y는 summation rule에 의해 시그마가 사라지며, P(x)로 바뀐다.)
     P(x,y) : x와 y의 joint probability(결합 확률), x와 y가 동시에 일어날 확률. 즉 말 그대로 x,y 사건이 일어날 확률(이때 y는 summation rule에 의해 시그마가 사라지며, P(x)로 바뀐다.)

https://hyeonnii.tistory.com/353

[개념정리] Bayes error (베이즈 에러) 란?