[DL] 확률적 경사 하강법 (Gradient Descent)

[ 확률적 경사 하강법 - SGD]

 

▶ Stochastic Gradient Descent는 추출된 데이터 한 개에 대해서 그래디언트를 계산하고, 경사 하강 알고리즘을 적용 하는 방법을 뜻함 (확률적 : 무작위 or 랜덤하게 데이터를 선택)

 

▶ 점진적 학습 또는 온라인 학습이란 말은 1차적으로 훈련한 모델을 버리지 않고 새로운 데이터에 대해서만 조금씩 순차적으로 훈련하는 방식을 점진적 또는 온라인 학습이라 하며, 점진적 학습 알고리즘은 대표적으로 확률적 경사 하강법입니다.

 

[ 용어 정리 ]

 

에포크 : 확률적 경사 하강법에서 훈련 세트를 한 번 모두 사용하는 일련의 과정

미니배치 경사 하강법 : 여러 개의 샘플을 사용해 경사 하강법을 수행하는 방식

배치 경사 하강법 : 훈련 세트 내의 모든 샘플을 이용해서 경사 하강법을 수행하는 방식

손실 함수 : 머신 - 딥러닝 알고리즘 구현 시, 러닝 모델의 출력값과 유저가 원하는 출력값의 차이의 오차를 뜻함

(손실 함수값이 최소화 되도록 가중치(w)와 편향(b)를 찾는 것이 바로 학습임)

＃손실 함수는 샘플 하나에 대한 손실을 정의 하고, 비용 함수는 훈련 세트에 있는 모든 샘플에 대한 손실 함수의 합임

 

 

Red Box Error : max_iter 상향 조정 필요

max_iter → 수행할 에포크 횟수를 지정

 

 

 

▶ 혼공머신 책 기반으로 소스 정리 하고 있는데, 직접 손코딩 안 하다 보니깐 제대로 공부가 안 되는 거 같아서 코랩에 직접 코드 입력해서 캡쳐하는 방식으로 바꿨습니다!