모두야

CH3) word2vec - 간단ver (1) CH3) word2vec - 간단ver (1) 단어의 의미를 주변 단어에 의해 형성된다. 추론 기반 기법 word2vec 통계 기반 기법의 문제점 말뭉치의 어휘 수가 많으면 SVD 로 계산량이 큰 작업을 처리하기 어렵다. 통계 기반 기법 : 학습 데이 meme2.tistory.com word2vec 학습 데이터 준비하기 맥락 ->신경망 모델 -> 타깃 말뭉치로부터 맥락,타깃을 만드는 함수 def create_contexts_target(corpus, window_size=1): '''맥락과 타깃 생성 :param corpus: 말뭉치(단어 ID 목록) :param window_size: 윈도우 크기(윈도우 크기가 1이면 타깃 단어 좌우 한 단어씩이 맥락에 포..

자연어 처리 -> 컴퓨터가 우리가 하는 말을 알아듣게(이해하게) 만드는 것이다. 고전적인 기법 (딥러닝 이전) 딥러닝 기법 (신경망) 파이썬으로 텍스트를 다루는 연습 - 텍스트를 단어로 분할하는 처리, 단어를 단어 ID로 변환하는 처리 앞으로 텍스트 처리를 위한 사전 준비!!! 자연어 (Natural Language) : 한국어, 영어 등 평소에 우리가 쓰는 말 자연어 처리(Natural Language Processing) : 자연어를 처리하는 분야 : 우리의 말을 컴퓨터에게 이해 시키기 위한 기술 : 사람의 말을 컴퓨터가 이해하도록 만들어서, 컴퓨터가 우리에게 도움이 되는 일을 수행하도록 하는 것 컴퓨터 이해 (프로그래밍 언어 : 딱딱한 언어) 평소 사용하는 말(자연어 : 부드러운 언어- 똑같은 의미..