모두야

CH3) word2vec - 간단ver (1) CH3) word2vec - 간단ver (1) 단어의 의미를 주변 단어에 의해 형성된다. 추론 기반 기법 word2vec 통계 기반 기법의 문제점 말뭉치의 어휘 수가 많으면 SVD 로 계산량이 큰 작업을 처리하기 어렵다. 통계 기반 기법 : 학습 데이 meme2.tistory.com word2vec 학습 데이터 준비하기 맥락 ->신경망 모델 -> 타깃 말뭉치로부터 맥락,타깃을 만드는 함수 def create_contexts_target(corpus, window_size=1): '''맥락과 타깃 생성 :param corpus: 말뭉치(단어 ID 목록) :param window_size: 윈도우 크기(윈도우 크기가 1이면 타깃 단어 좌우 한 단어씩이 맥락에 포..

단어의 의미를 주변 단어에 의해 형성된다. 추론 기반 기법 word2vec 통계 기반 기법의 문제점 말뭉치의 어휘 수가 많으면 SVD 로 계산량이 큰 작업을 처리하기 어렵다. 통계 기반 기법 : 학습 데이터를 한꺼번에 처리한다. (배치 학습) 추론 기반 기법 : 학습 데이터 일부를 순차적으로 학습한다. (미니배치 학습) 추론 기반 기법 : 추론 문제를 풀고 학습 하는 것 : 단어의 출현 패턴을 학습 하는 것 추론 기법에는 신경망 모델이 등장한다. 모델은 맥락 정보를 입력받아 출현하는 각 단어의 출현 확률을 출력한다. 원핫 표현(원핫 벡터) 단어-> 고정 길이 벡터로 변환하여 신경망에서 단어를 처리한다. 신경망의 화살표에 가중치(매개변수)가 존재하여, 입력층 뉴런과 가중치의 합이 은닉층이 된다. 완저연결계..