Pre Train, Find Tuning 정의

💡Pre Training 정의

선행 학습, 사전 훈련, 전처리 과정이라고도 하며, multi layered perceptron(mlp)에서
weight와 bias를 잘 초기화 시키는 방법

---

💡Fine Tuning 정의

기학습된 모델을 기반으로 하여, 내가 원하는 이미지에도 대응이 가능하게, 학습된 모델의 weight로 부터 학습을 업데이트 하는 방법

---

👉 Pretrained Model의 Fine Tuning(미세 조정) 방식

ImageNet Pretrained 모델을 커스텀 모델로 활용 할 시, ImageNet으로 학습된 Feature Extractor 내의 가중치(weight)값의 급격한 변화를 제어하기 위해 적용 하는 기법

 

 

🚀 적용 방식

• 단계 1: feature extractor, classification layers단에서 trainable = false로 하여 freeze 진행
• 단계 2: classification layer만 학습을 진행 후, freeze 시킨 모델을 다시 unfreeze 시킨 후, 재학습
• 단계 3: 일반적으로 batchnormalization layer는 계속 freeze 시킴

🚀 1단계 보다는 Learing Rate를 감소시켜 적용
📝 Pretrained 모델의 Fine Tuning을 사용한다 해서, 성능이 항상 향상 되는 것은 아님.
📝 ImageNet 학습과 유사한 dataset에서 사용 권장, 개별 클래스 별로 데이터 건수가 작을 경우 사용 권장
      (오버피팅 개선 효과)

https://github.com/CVKim/Pretrain_N_FineTuning/blob/main/finetuning.py