[DL] - Mini Batch Size, Epoch, Interation

🙋‍♂️ Mini Batch Size, Epoch, Interation 정의는??

▶ 무수히 많은 양의 Data Set을 학습 시, 한 번에 전체 데이터 셋을 학습 하기란 GPU를 사용해서 사실상 시간적,    효율적에서 매우 비효율적이다. 그래서 이를 해결 하기 위해, 머신 러닝에서 최적화(optimization)를 할 때는   일반적으로 여러 번 학습 과정을 거칩니다. 한 번의 학습 과정 역시 사용하는 데이터를 나누는 방식으   세분화 시키는 데, 이때 사용 되는 개념이 아래 기법들이다.

optimization 과정

✍ 정리

1) Mini batch Size

→ 전체 데이터 셋을 여러 개 나눈 상태 형태를 Mini batch 라고하며, 여러 개 중 1개의 양을 batch Size 라고 한다.

 

2) Epoch→ 한 번의 Epoch는 쉽게 정리하면, 전체 데이터 셋이 Forward / backword 과정을 거치는 것을 1회 epoch이라 함→ 즉, 전체 데이터 셋을 한 번 학습한 상태
중요 ) epoch 값이 너무 작으면 underfitting / 값이 너무 크면 overfitting이 발생할 가능성이 있음

 

3) Interation→ epoch를 나누어서 실행하는 횟수

→ interation 마다 주는 데이터 사이즈를 batch size라고도 한다.

✍ 예시

▶ 전체 Data Set 100개 / batch size 10

→ 1 interation은 10개 Data에 대해서 학습을 진행

→ 1 Epoch는 전체 데이터 셋(100개) / batch size = 10 interation