[인공지능개론] Fisher Discriminant Analysis - FDA

✏️ Fisher Discriminant Analysis 이란??

FDA 혹은 Linear Discriminant Analysis (LDA)라고 불리며,

데이터들을 하나의 직선으로 Projection 시킨 후, Projection된 Data들 간의 구분이 잘 되는 지
판단해주는 방식

 

판단 방식의 기준은 Projection 후, 두 데이터들의 중심(평균)이 서로 멀수록 + 분산이 작을수록 구분이 잘 되었다고 판단 할 수 있으며, 잘 분류 되게끔 하나의 Vector의 w를 구하는 것이 LDA 이다.

 

출처 : https://imgur.com/6ggd2F0

✏️ Variance 구하는 방식

좌 - 우

 

데이터  D = {x}iN 라고 할 때, 원래의 data들의 평균, projection된 data들의 평균, 그 이후 w 방향에 따라 projection된 data들의 분산을 구하는 방식이 위 - 오른쪽 그림이다.

 

||w||=1으로 생각을 하기 때문에,  위와 같은 식으로 구할 수 있다.

가운데 [ ]안의 식은 covariance Matrix(∑, 공분산행렬 , x가 D차원 벡터일 때 DxD matrix)로 표현할 수 있다.

 

클래스 내 분포 형태에 의한 문제와 해당 데이터에서 이상적인 LDA에 대한 그림이며, 클래스간 거리만 고려한 경우 최적의 Vector w를 잘못 찾을 가능성이 높다. 따라서 클래스 간의 거리 뿐 아니라 클래스 내 분산(within class scatter)도 고려하는 것이 좋다는 것을 알 수 있다. 즉 projection된 class 간 거리가 멀 수록, projection된 class 내 분산이 작을수록 최적이며, FDA, LDA의 핵심 알고리즘이라고 할 수 있다.

 

// 계산식 참고 블로그

https://lutecevision.tistory.com/1

Fisher Linear Discriminant Analysis (LDA)