VGGNet16 - Network 구조 및 구현

💡Network

Learing Rate는 Gradient의 보폭을 말한다.
Deep Learning  Network이 확률적 경사 하강법(SGD) 최적화 알고리즘을 사용하여 훈련 하는 데,
사용되는 파라미터이다. Learing Rate는 성능에 꽤 큰 영향을 주는 파라미터이며,
학습되는 모델의 weight의 최적값을 어떻게 찾아 나갈 지 보폭을 정한다. (hyper param)
▶ Hyper Parameter는 user가 직접 셋팅 할 수 있는 값이며, knn or lr rate 등..

VGG16 Network

vgg block

 

---

 

👉 특징

Network Depth와 성능 영향에 집중을 위해 등장 하였으며,  Kernel Size가 크면 Image Size 축소가 급격하게 이뤄져서 더 깊은 층을 만들기 어려우며, Parameter 수와 많은 연산량도 필요함.
이를 대응 하기 위해 Convolution Kernel Size를 3x3으로 고정하여, 위에 문제를 해결함.
AlexNet의 11x11, 5x5와 같은 큰 Receptive Field를 가진 Kernel Size를 적용하지 않고도,
3x3 Kernel을 연속적으로 적용, Alex Net보다 더 깊은 Network을 구성하나,
Parameter 개수로 연산 성능을 개선

 👉 VGG는 합성곱 계층과 풀링 계층으로 구성 되는 CNN이며, VGG11 - 13 - 16 - 19층이 존재
 

---

✏️ Receptive Field

• 입력(Image or Feature Map)에서 Feature를 만드는 영역의 기본 크기(Size)
• 특정 output node를 계산하기 위해, 필요한 input size라고 생각하면 된다. (output node의 집합은 feature map)
  → output node 1개의 값을 계산하기 위해, 3개의 input이 필요하므로 receptive field는 3개다.
  
  

https://data-science-hi.tistory.com/128

 

🚀 적용 방식

• 단계 1: 5x5, 11x11와 같은 넓은 크기의 kernel로 Convolution 연산을 적용하는 것보다, 여러 개의 3x3 Conv
              연산을 수행 하는 것이 더 뛰어난 Feature 추출 효과를 나타냄
• 단계 2: 3x3 size kernel을 2 ~ 3번 연속해서 conv 적용한 뒤, max pooling 연산 하여 일련의 conv feature map
               block을 생성함 (상단 Network에 대한 설명 그림 참고)
• 단계 3: 개별 block 내에서는 동일한 kernel size와 ch 갯수를 적용하여 동일한 크기의 feature map을 생성
• 단계 4 : 이전 block 내에 있는 feature map 대비, 새로운 block 내에 Feature map size는 2배로 줄어 들지만, 채널 수는 2배로 늘어남 (last block 제외)

📝 https://github.com/CVKim/VGG_Trainable

GitHub - CVKim/VGG_Trainable

📝 https://github.com/CVKim/VGG-Layer-Dev

GitHub - CVKim/VGG-Layer-Dev

📝 https://github.com/CVKim/VGG-CIFAR10-Inference

GitHub - CVKim/VGG-CIFAR10-Inference