(AI Math 10강) RNN

RNN

시퀀스(sequence) 데이터 : 소리, 문자열 주가 등 시점별로 나타나는 것, 순서를 바꾸거나 과거 정보에 손실이 발생하면 데이터의 확률분포도 바뀜
시퀀스 데이터를 다루는 방법 : 조건부 확률 이용
$X_1 ... X_{t-1}$ 까지의 정보가 조건부로 주어진 상황에서 $X_t$를 모델링하는 조건부 확률 분포

• $X_t \sim P(X_t|X_{t-1},...,X_1)$
• 모든 과거 정보가 필요한 것은 아니다
• 조건부의 들어가는 데이터는 가변적

AR($\tau$) 모델

자기회귀모델(Autoregressive Model) : 고정된 길이 $\tau$만큼의 시퀀스만 사용

잠재 AR 모델

직전 정보 $X_{t-1}$와 직전이 아닌 정보들인 잠재변수 $H_t$로 인코딩

• 가변적인 데이터를 고정된 길이의 문제로 바꿀 수 있음
  

  

• $H_t$ : 과거 바로 이전의 데이터 $X_{t-1}$와 이전 잠재변수 $H_{t-1}$

RNN 이해하기

이전 순서의 잠재변수와 현재의 입력을 활용

순전파

• 입력으로부터 전달하게 되는 $W_t$와 이전 잠재변수로부터 정보를 전달받게되는 $W_H$를 새로 만들게 됨
• $H_t$ : 현재 들어온 $X_t$와 이전 시점의 $H_{t-1}$을 받아서 만듦
• $H_t$를 다음 시점에도 이용
• 가중치 행렬 $W$는 $t$에 따라서 변하지 않음

역전파 BPTT(Backpropagation Through Time)

잠재변수에 출력값과 다음 시점에서의 잠재변수가 들어옴

• 시퀀스의 길이가 길어질수록 알고리즘의 계산이 불안정하므로 길이를 끊어야 함
• -> truncate BPTT
• 위와 같은 문제를 해결하기 위해 등장한 네트워크 : LSTM, GRU