모두야

[ RNN 복습 / 문제점 ] RNN :순환 경로를 포함하여 과거의 정보 기억 RNN의 문제점 ▷ 시계열 데이터에서 시간적으로 멀리 떨어졌을 경우, 잘 기억하지 못한다. (장기 의존 관계 학습 X) ▷ (해결법) 게이트가 추가된 RNN : LSTM을 사용한다. ▷ (이유) BPTT 에서 기울기 소실 / 기울기 폭발이 일어난다. 기울기 소실 / 폭발 원인 Tom was watching TV in his room. Mary came into the room. Mary said hi to ? (Tom) Tom 이 방에서 TV를 보고 있음 & 그 방에 Mary가 들어옴 이라는 정보를 RNN 계층의 은닉 상태에 인코딩 보관해둬야함 과거 방향으로 의미 있는 기울기 전달 = 의미 있는 정보를 과거로 전달 = 장기 의..