Machine Vision / ML / DL

💡Batch 단위 tf.keras.optimizer.LearingRateSchedule keras bacth 단위로 lr를 최적화하는 optimizer(sgd,rmsprop, adam 등..)에 적용됨 model.compile(optimizer=Adam(learing_rate=CosineDecay(..)))와 같이 compile() 호출 시, optimizer 인자로 적용되어야 함. 💡Epoch 단위 tf.keras.callbacks.LearingRateScheduler keras epoch 단위로 lr를 최적화하는 callbackmodel.fit(~callbacks=[LearningRateScheduler(schedule_funtion)]) 와 같이 fit() 호출 시, callbacks 인자로 입력

💡Learung Rate 정의 Learing Rate는 Gradient의 보폭을 말한다. Deep Learning Network이 확률적 경사 하강법(SGD) 최적화 알고리즘을 사용하여 훈련 하는 데, 사용되는 파라미터이다. Learing Rate는 성능에 꽤 큰 영향을 주는 파라미터이며, 학습되는 모델의 weight의 최적값을 어떻게 찾아 나갈 지 보폭을 정한다. (hyper param) ▶ Hyper Parameter는 user가 직접 셋팅 할 수 있는 값이며, knn or lr rate 등.. 👉 Scheduler Learing Rate를 조정하는 Learing Rate Scheduler를 사용하면 learning rate(보폭)으로 빠르게 optimize를 하고, 최적값에 가까월 질수록 leari..

🙋‍♂️ Mini Batch Size, Epoch, Interation 정의는?? ▶ 무수히 많은 양의 Data Set을 학습 시, 한 번에 전체 데이터 셋을 학습 하기란 GPU를 사용해서 사실상 시간적, 효율적에서 매우 비효율적이다. 그래서 이를 해결 하기 위해, 머신 러닝에서 최적화(optimization)를 할 때는 일반적으로 여러 번 학습 과정을 거칩니다. 한 번의 학습 과정 역시 사용하는 데이터를 나누는 방식으 세분화 시키는 데, 이때 사용 되는 개념이 아래 기법들이다. ✍ 정리 1) Mini batch Size → 전체 데이터 셋을 여러 개 나눈 상태 형태를 Mini batch 라고하며, 여러 개 중 1개의 양을 batch Size 라고 한다. 2) Epoch→ 한 번의 Epoch는 쉽게 정리..