[DL] 순환 신경망 / 정의

[정리]

 

① 순환 신경망(RNN) : 순환 신경망을 사용하는 주 목적은 입력을 순차 데이터로 받거나 출력을 순차 데이터로 

    출력하기 위함

→ Sequential Data는 Text 또는 time series data와 같이 순서에 의미가 있는 데이터를 뜻함

 

▶ 특징

ⓐ 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로 보내면서, 다시 은닉층 노드의

    다음 계산의 입력으로 보내는 특징을 가지고 있음

ⓑ 은닉층에서 활성화 함수를 통해 결과를 내보내는 역할을 하는 노드를 cell 또는 RNN cell 이라고 함

 

 

② feedforward neural network :입력 데이터의 흐름이 앞으로만 전달되는 신경망

 

 

▶ RNN 문제점

 

→ 장기 의존성 문제점(Long - Term Dependency Problem)

 ⒜ RNN 같은 경우 짧은 시퀀스를 처리할 경우 유리하나, 정보와 그 정보를 사용하는 지점 사이 거리가 멀어지는

    경우 학습 능력히 저하됨

 ⒝ 장기 의존성 학습에 어려움이 있기 때문인데 가중치를 업데이트 하는 과정에서 1보다 작은 값들이 계속

     곱해지면서 기울기가 사라지는 기울기 손실 문제(Vanishing Gradient Problem)가 발생

 

# 은닉층의 활성화 함수로는 하이퍼볼릭 탄젠트(hyperbolic tangent) 함수인 tanh를 많이 사용함

→ tanh 함수는 sigmoid 함수와 다르게 -1 ~ 1 사이의 범위를 가지고 있음

   (순환 신경망에서는 활성호 함수로 tanh 함수를 사용)