[순환 신경망]

1. 배경

Sequence Data

ex) 음악/소리(Sound), 문자 언어/소리 언어(Language), 동영상/애니메이션(Video), 운동(Locomotion), 

DNA 염기 서열, 주가 차트(Trend), 자연 현상(Natural Phenomenon)

 

이러한 Sequence Data를 학습시키는 모델 

 

기억을 갖는 신경망 Association Memory (1982)

- Hopefield Network

 

2. RNN 구조

기억을 갖는 신경망

Feedforward Neural Network

RNN (Recurrent Neural Network)

Vanilla RNN

기억의 형태

RNN 응용

 

3. RNN 주요 모델

Many-to-One

Many-to-Many

 -Teacher Forcing

One-to-Many

Bidirectional

Encoder-Decoder

 

 

4. BPTT

Loss계산

Backpropagation

BPTT : Backpropagation Through Time

Truncated BPTT

 

5. RNN 예제 - Language Model

Character-level Language Model

Training Time

Test Time

 

6. RNN 예제 – Image Captioning

Image Captioning

이미지를 설명하는 문장을 만든다.

CNN과 RNN을 섞는다.

cnn에서 특정한 context vector를 얻어서 :v

end tocken이 나오면 문장학

 

 

7. LSTM/GRU

Long-Term Dependency

- LSTM 시간이 지나면 점점 기억이 희미해진다.

Gradient Vanishing/Exploding

- 지수 연산이 일어난다. W가 1보다 크면 발산 작으면 수렴