Word2Vec 모델 만들기 sdc-james.gitbook.io/onebook/5./6.1./6.1.3.-word2vec 6.1.3. Word2Vec 모델 만들기 sdc-james.gitbook.io 다음 예제는 네이버 영화 리뷰를 정리해둔 Naver sentiment movie corpus v1.0(https://github.com/e9t/nsmc) 를 사용하여 Word Embedding Model (Word2Vec)을 빌드하는 것입니다. 일단 다음 명령으로 genism 라이브러리를 설치합니다. NLTK는 자연어 처리를 위해 광범위하게 쓰이는 Python library입니다. (onebook) > pip install lxml (onebook) > pip install utils (onebook) >..
Gensim을 사용하여 Python에서 Word 임베딩을 개발하는 방법 단어 임베딩은 자연어 처리에서 텍스트를 표현하기위한 현대적인 접근 방식입니다. word2vec 및 GloVe와 같은 단어 임베딩 알고리즘 은 기계 번역과 같은 자연어 처리 문제에 대한 신경망 모델을 통해 얻은 최첨단 결과의 핵심입니다. 이 튜토리얼에서는 Gensim을 사용하여 Python에서 자연어 처리 애플리케이션을위한 단어 임베딩 모델을 학습하고로드하는 방법을 알아 봅니다. 이 자습서를 완료하면 다음을 알게됩니다. 텍스트 데이터에서 자신 만의 word2vec 단어 임베딩 모델을 훈련하는 방법. 주성분 분석을 사용하여 훈련 된 단어 임베딩 모델을 시각화하는 방법. 사전 훈련 된 word2vec 및 GloVe 단어 임베딩 모델을 Go..
[python] TypeError: expected string or bytes-like object TypeError: expected string or bytes-like object 정규표현식을 사용하여 findall을 했는데, 타입에러(TypeError: expected string or bytes-like object)가 떴다. 분명 list에서도 잘 뽑아주고 정규표현식도 맞는데 왜 계속 에러가 나는거지.. 했는데 추출을 할 리스트가 string형식이 아니어서 string으로 변환. param1 = re.findall("[0-9]{5}", str(key)) param2 = re.findall("[A-Z]{1}[0-9]{3}", str(key))
matplotlib colormap colormap에 대한 설명을 찾기가 어렵다. 자세하게 설명을 붙여서 정리하고 싶은데, colormap 사용법은 많은데 설명은 없다. matplotlib 소스코드를 분석하는 중에 colormap을 알아야 하는 상황에 처하게 되서 부족하지만 정리해 본다. 내가 생각할 때는 숫자를 색상에 매핑시키기 위한 색상 지도이다. 다만 테이블처럼 2차원 형태가 아니라 30cm 자와 같이 1차원 형태의 색상 배열이다. 갖고 있는 데이터를 그래프에 표시할 때 일반적인 색상을 사용해서 표시하는 것은 의미가 없다. 데이터를 색상으로 표현하는 것은 말이 되지 않는다. 그러나, 잘 정리된 colormap을 사용한다면 시각적으로 엄청난 효과를 거둘 수 있다. 가령, 지구를 평균 기온에 따라 표현..
Gensim word vector visualization of various word vectors web.stanford.edu/class/cs224n/materials/Gensim%20word%20vector%20visualization.html Gensim word vector visualization For looking at word vectors, I'll use Gensim. We also use it in hw1 for word vectors. Gensim isn't really a deep learning package. It's a package for for word and text similarity modeling, which started with (LDA-style) topi..