모두야

seq2seq의 문제점/ 해결 Encoder가 시계열 데이터를 인코딩 할 때, Encoder의 출력은 '고정 길이의 벡터' 이다. 입력 문장 길이에 관계없이, 항상 같은 길이의 벡터로 표현해야한다. -> 아무리 긴 문장이여도 고정 길이의 벡터로 변환 해야한다. ☞ Encoder 개선 Encoder 출력 길이를 입력 문장 길이에 따라 바꿔주는 것이 좋다. 시각별 LSTM 계층의 은닉 상태 벡터를 모두 이용하여 입력된 단어와 같은 수의 벡터를 얻는다. => 시각별 LSTM 계층의 은닉 상태에는 어떤 정보가 담겨 있을까? 직전에 입력된 단어의 정보가 많이 포함되어 있다. 은닉상태의 모든 시각만큼 꺼낸다 ☞ Decoder 개선 1. 맥락벡터 c [ 입력과 출력의 여러 단어 중 어떤 단어끼리 서로 관련이 있는가 ..