[DL] 22.01.02 메모

 

▶ 딥러닝 과정

 

모델 알고리즘 선정 (데이터의 크기, 연산 시간, Output Data를 이용해 해야 할 것 등....)

 

파라미터 초기화 / 하이퍼파라미터 정의

 

num_iterations 만큼 Loop :

a. 순방향 전파
b. 비용 함수 계산
c. 역전파
d. 파라미터 업데이트

 

4. Model Training 및 Predict (Result return)

 

---

파라미터 (Parameter)

• 파라미터는 모델 내부에서 결정되는 변수
• EX
  
  • weight coefficient (가중치 계수)
  • bias (편향)
• 정규 분포를 그리면 평균과 표준 편차가 파라미터다.
• 모델링에 의해 자동으로 결정되는 값

하이퍼 파라미터 (Hyper parameter)

• 하이퍼 파라미터는 모델링할 때 사용자가 직접 세팅해주는 값
• EX
  
  • learning rate
  • epoch
  • iteration
• 하이퍼 파라미터는 정해진 최적의 값이 없으며, 경험 법칙에 의해 결정되는 경우가 다수
• 베이지안 옵티미제이션과 같이 자동으로 하이퍼 파라미터를 선택해주는 라이브러리도 존재

 

결론 ) 파라미터와 하이퍼 파라미터를 구분하는 기준은 사용자가 설정 할 수 있는지에 따라 다르다.