Learing Rate의 Batch / Epoch Level 동적 적용

💡Batch 단위

tf.keras.optimizer.LearingRateSchedule
keras bacth 단위로 lr를 최적화하는 optimizer(sgd,rmsprop, adam 등..)에 적용됨
model.compile(optimizer=Adam(learing_rate=CosineDecay(..)))와 같이
compile() 호출 시, optimizer 인자로 적용되어야 함.

---

 

💡Epoch 단위

tf.keras.callbacks.LearingRateScheduler <batch 단위는 .LearingRateSchedule / r 없음>
keras epoch 단위로 lr를 최적화하는 callbackmodel.fit(~callbacks=[LearningRateScheduler(schedule_funtion)])
와 같이 fit() 호출 시, callbacks 인자로 입력

---