반응형

1. 작업영역 폴더 생성
   예시로 venv-test 폴더 생성했다.

2. 작업영역 폴더 vscode로 열기

3. 콘솔창 열기
   Ctrl + ` 키를 눌러 콘솔창(터미널)을 연다.

3. 가상환경 구성
   python -m venv  ./env 명령을 실행한다.


4. Interpreter 설정
   F1 키를 누른 후, python Select Interpreter 를 입력한다. 그 후 해당 항목을 클릭한다.


5. Interpreter 선택
   선택하면 Interpreter 목록이 표시되는데, 앞서 생성한 venv가 표시되는 것을 확인할 수 있다.

6. 코드 파일 생성
   예시 스크린샷에서처럼 코드파일( main.py )을 생성한 뒤, vscode에서 열면 스크린샷과 같이 "Linter pylint is not installed." 라는 메시지와 함께 pylint를 설치할 수 있도록 메시지 창이 표시된다. Install 버튼을 눌러 설치를 진행한다.

7. venv 터미널 확인
   전 단계에서 Install 버튼을 누르면 새로운 python 터미널이 생성됨과 동시에 pylint 설치가 진행된다.
   설치가 완료된 후, 별도의 activate 과정없이 해당 터미널에서 가상환경에 필요한 패키지를 설치하면 된다.

추가적으로, vscode를 다시 열면 가상환경이 잡히지 않은 터미널(cmd)이 열려 있게되지만, + 버튼을 누르면 생성되는 터미널은 가상환경으로 자동 설정된다.


일일히 설정했을때 발생했던 debuging을 사용할 수 없는 문제도 발생하지 않는다.

반응형
반응형

 

영어/한국어 Word2Vec 실습

wikidocs.net/50739

 

위키독스

온라인 책을 제작 공유하는 플랫폼 서비스

wikidocs.net

 

반응형
반응형

Gensim을 사용하여 Python에서 Word 임베딩을 개발하는 방법

 

단어 임베딩은 자연어 처리에서 텍스트를 표현하기위한 현대적인 접근 방식입니다.

word2vec 및 GloVe와 같은 단어 임베딩 알고리즘 은 기계 번역과 같은 자연어 처리 문제에 대한 신경망 모델을 통해 얻은 최첨단 결과의 핵심입니다.

이 튜토리얼에서는 Gensim을 사용하여 Python에서 자연어 처리 애플리케이션을위한 단어 임베딩 모델을 학습하고로드하는 방법을 알아 봅니다.

이 자습서를 완료하면 다음을 알게됩니다.

  • 텍스트 데이터에서 자신 만의 word2vec 단어 임베딩 모델을 훈련하는 방법.
  • 주성분 분석을 사용하여 훈련 된 단어 임베딩 모델을 시각화하는 방법.
  • 사전 훈련 된 word2vec 및 GloVe 단어 임베딩 모델을 Google 및 Stanford에서로드하는 방법.

단계별 자습서  모든 예제에 대한 Python 소스 코드 파일을 포함하여 저의 새 저서 Deep Learning for Natural Language Processing으로 프로젝트  시작하십시오 .

 

튜토리얼 개요

이 튜토리얼은 6 개 부분으로 나뉩니다.  

  1. 단어 임베딩
  2. Gensim 도서관
  3. Word2Vec 임베딩 개발
  4. 단어 임베딩 시각화
  5. Google의 Word2Vec 임베딩로드
  6. Stanford의 GloVe 임베딩로드

단어 임베딩

단어 임베딩은 단어의 의미에 대한 무언가를 포착하는 단어의 조밀 한 벡터 표현을 제공하는 접근 방식입니다.

단어 임베딩은 문서를 설명하지만 단어의 의미가 아닌 크고 희소 한 벡터 (대부분 0 값)를 생성하는 단어 개수 및 빈도와 같은 단순한 단어 모음 모델 단어 인코딩 체계보다 개선 된 것입니다.

단어 임베딩은 알고리즘을 사용하여 큰 텍스트 코퍼스를 기반으로 고정 길이 밀도 및 연속 값 벡터 세트를 훈련하는 방식으로 작동합니다. 각 단어는 임베딩 공간의 한 지점으로 표시되며 이러한 지점은 대상 단어를 둘러싼 단어를 기반으로 학습 및 이동됩니다.

단어 임베딩이 단어의 의미에 대해 학습 할 수 있도록 유지하는 단어를 회사에서 정의하는 것입니다. 단어의 벡터 공간 표현은 유사한 의미를 가진 단어가 공간 내에서 로컬로 클러스터되는 투영을 제공합니다.

다른 텍스트 표현보다 단어 임베딩을 사용하는 것은 기계 번역과 같은 문제에 대해 심층 신경망을 사용하여 획기적인 성능을 이끌어 낸 핵심 방법 중 하나입니다.

이 튜토리얼에서는 Google 연구원이 word2vec, Stanford 연구원이 GloVe라는 두 가지 단어 임베딩 방법을 사용하는 방법을 살펴 봅니다.

 

Gensim Python 라이브러리

Gensim 은 주제 모델링에 중점을 둔 자연어 처리를위한 오픈 소스 Python 라이브러리입니다.

 

Gensim은 체코 자연어 처리 연구원 인 Radim Řehůřek 과 그의 회사 인 RaRe Technologies 가 개발하고 유지 관리합니다 .

NLTK와 같은 부엌 싱크대 NLP 연구 라이브러리를 포함한 모든 것이 아닙니다. 대신 Gensim은 주제 모델링을위한 성숙하고 집중적이며 효율적인 NLP 도구 모음입니다. 특히이 튜토리얼에서는 텍스트에서 새로운 단어 벡터를 학습하기위한 Word2Vec 단어 임베딩 구현을 지원합니다.

또한 사전 학습 된 단어 임베딩을 몇 가지 형식으로로드하고로드 된 임베딩을 사용하고 쿼리하기위한 도구를 제공합니다.

이 튜토리얼에서는 Gensim 라이브러리를 사용합니다.

Python 환경 설정이없는 경우이 가이드를 사용할 수 있습니다.

Gensim은 pip 또는 easy_install을 사용하여 쉽게 설치할 수 있습니다 .

예를 들어, 명령 줄에 다음을 입력하여 pip로 Gensim을 설치할 수 있습니다.

pip install --upgrade gensim


시스템에 Gensim을 설치하는 데 도움이 필요하면 Gensim 설치 지침을 참조하십시오 .

 

 

 

Word2Vec 임베딩 개발

Word2vec 은 텍스트 말뭉치에서 단어 임베딩을 학습하는 하나의 알고리즘입니다.

텍스트에서 임베딩을 학습하는 데 사용할 수있는 두 가지 주요 학습 알고리즘이 있습니다. CBOW (Continuous Bag of Words)이며 그램을 건너 뜁니다.

우리는 일반적으로 각 대상 단어에 대한 단어 창을보고 문맥을 제공하고 단어에 대한 의미를 제공한다고 말하는 것 외에는 알고리즘을 사용하지 않을 것입니다. 이 접근 방식은 이전에 Google에서 현재 Facebook에서 근무 했던 Tomas Mikolov에 의해 개발되었습니다 .

Word2Vec 모델에는 전체 Wikipedia 말뭉치와 같은 많은 텍스트가 필요합니다. 그럼에도 불구하고 우리는 작은 메모리 내 텍스트 예제를 사용하여 원리를 보여줄 것입니다.

Gensim은  Word2Vec 모델 작업을위한 Word2Vec 클래스를 제공합니다 .

텍스트에서 단어 임베딩을 학습하려면 텍스트를 문장으로로드 및 구성하고 새 Word2Vec () 인스턴스 의 생성자에 제공하는 작업이 포함됩니다 . 예를 들면 :

sentences = ...
model = Word2Vec(sentences)

특히, 각 문장은 토큰 화되어야합니다. 의미는 단어로 나뉘어 준비되어야합니다 (예 : 사전 필터링되고 선호되는 경우로 변환 될 수 있음).

문장은 메모리에로드 된 텍스트이거나 매우 큰 텍스트 말뭉치에 필요한 텍스트를 점진적으로로드하는 반복 기일 수 있습니다.

이 생성자에는 많은 매개 변수가 있습니다. 구성 할 수있는 몇 가지 주목할만한 인수는 다음과 같습니다.

  • size : (기본값 100) 임베딩의 차원 수 (예 : 각 토큰 (단어)를 나타내는 조밀 한 벡터의 길이).
  • window : (기본값 5) 대상 단어와 대상 단어 주변 단어 사이의 최대 거리입니다.
  • min_count : (기본값 5) 모델 학습시 고려할 최소 단어 수입니다. 이 개수보다 적은 발생이있는 단어는 무시됩니다.
  • worker : (기본값 3) 훈련 중에 사용할 스레드 수입니다.
  • sg : (기본값 0 또는 CBOW) 훈련 알고리즘, CBOW (0) 또는 스킵 그램 (1).

기본값은 처음 시작할 때 충분합니다. 대부분의 최신 컴퓨터처럼 코어가 많은 경우 코어 수 (예 : 8)에 맞게 작업자를 늘리는 것이 좋습니다.

모델이 학습 된 후 " wv "속성을 통해 액세스 할 수 있습니다 . 이것은 질의를 할 수있는 실제 단어 벡터 모델입니다.

예를 들어, 다음과 같이 토큰 (단어)의 학습 된 어휘를 인쇄 할 수 있습니다.

words = list(model.wv.vocab)
print(words)

다음과 같이 특정 토큰에 대한 포함 된 벡터를 검토 할 수 있습니다.

print(model['word'])

마지막으로 단어 벡터 모델에서 save_word2vec_format () 함수를 호출하여 훈련 된 모델을 파일에 저장할 수 있습니다 .

기본적으로 모델은 공간을 절약하기 위해 이진 형식으로 저장됩니다. 예를 들면 :

model.wv.save_word2vec_format('model.bin')

시작할 때 학습 된 모델을 ASCII 형식으로 저장하고 내용을 검토 할 수 있습니다.

save_word2vec_format () 함수를 호출 할 때 binary = False 를 설정하여이를 수행 할 수 있습니다 . 예를 들면 다음과 같습니다.

model.wv.save_word2vec_format('model.txt', binary=False)

그런 다음 Word2Vec.load () 함수를 호출하여 저장된 모델을 다시로드 할 수 있습니다 . 예를 들면 :

model = Word2Vec.load('model.bin')

이 모든 것을 실제 예제와 함께 묶을 수 있습니다.

파일에서 큰 텍스트 문서 나 말뭉치를로드하는 대신 미리 토큰 화 된 문장의 작은 메모리 내 목록을 사용하여 작업합니다. 모델이 학습되고 단어의 최소 개수가 1로 설정되어 단어가 무시되지 않습니다.

모델을 학습 한 후 요약하고 어휘를 인쇄 한 다음 ' 문장 ' 이라는 단어에 대한 단일 벡터를 인쇄합니다 .

마지막으로 모델은 바이너리 형식의 파일에 저장되고로드 된 다음 요약됩니다.

from gensim.models import Word2Vec
# define training data
sentences = [['this', 'is', 'the', 'first', 'sentence', 'for', 'word2vec'],
			['this', 'is', 'the', 'second', 'sentence'],
			['yet', 'another', 'sentence'],
			['one', 'more', 'sentence'],
			['and', 'the', 'final', 'sentence']]
# train model
model = Word2Vec(sentences, min_count=1)
# summarize the loaded model
print(model)
# summarize vocabulary
words = list(model.wv.vocab)
print(words)
# access vector for one word
print(model['sentence'])
# save model
model.save('model.bin')
# load model
new_model = Word2Vec.load('model.bin')
print(new_model)

참고 : 알고리즘 또는 평가 절차의 확률 적 특성 또는 수치 정밀도의 차이에 따라 결과가 달라질 수 있습니다 . 예제를 몇 번 실행하고 평균 결과를 비교해보십시오.

예제를 실행하면 다음 출력이 인쇄됩니다.

Word2Vec(vocab=14, size=100, alpha=0.025)
['second', 'sentence', 'and', 'this', 'final', 'word2vec', 'for', 'another', 'one', 'first', 'more', 'the', 'yet', 'is']
[ -4.61881841e-03  -4.88735968e-03  -3.19508743e-03   4.08568839e-03
  -3.38211656e-03   1.93076557e-03   3.90265253e-03  -1.04349572e-03
   4.14286414e-03   1.55219622e-03   3.85653134e-03   2.22428422e-03
  -3.52565176e-03   2.82056746e-03  -2.11121864e-03  -1.38054823e-03
  -1.12888147e-03  -2.87318649e-03  -7.99703528e-04   3.67874932e-03
   2.68940022e-03   6.31021452e-04  -4.36326629e-03   2.38655557e-04
  -1.94210222e-03   4.87691024e-03  -4.04118607e-03  -3.17813386e-03
   4.94802603e-03   3.43150692e-03  -1.44031656e-03   4.25637932e-03
  -1.15106850e-04  -3.73274647e-03   2.50349124e-03   4.28692997e-03
  -3.57313151e-03  -7.24728088e-05  -3.46099050e-03  -3.39612062e-03
   3.54845310e-03   1.56780297e-03   4.58260969e-04   2.52689526e-04
   3.06256465e-03   2.37558200e-03   4.06933809e-03   2.94650183e-03
  -2.96231941e-03  -4.47433954e-03   2.89590308e-03  -2.16034567e-03
  -2.58548348e-03  -2.06163677e-04   1.72605237e-03  -2.27384618e-04
  -3.70194600e-03   2.11557443e-03   2.03793868e-03   3.09839356e-03
  -4.71800892e-03   2.32995977e-03  -6.70911541e-05   1.39375112e-03
  -3.84263694e-03  -1.03898917e-03   4.13251948e-03   1.06330717e-03
   1.38514000e-03  -1.18144893e-03  -2.60811858e-03   1.54952740e-03
   2.49916781e-03  -1.95435272e-03   8.86975031e-05   1.89820060e-03
  -3.41996481e-03  -4.08187555e-03   5.88635216e-04   4.13103355e-03
  -3.25899688e-03   1.02130906e-03  -3.61028523e-03   4.17646067e-03
   4.65870230e-03   3.64110398e-04   4.95479070e-03  -1.29743712e-03
  -5.03367570e-04  -2.52546836e-03   3.31060472e-03  -3.12870182e-03
  -1.14580349e-03  -4.34387522e-03  -4.62882593e-03   3.19007039e-03
   2.88707414e-03   1.62976081e-04  -6.05802808e-04  -1.06368808e-03]
Word2Vec(vocab=14, size=100, alpha=0.025)

텍스트 문서를 준비하는 약간의 작업으로 Gensim으로 매우 쉽게 자신의 단어 임베딩을 만들 수 있음을 알 수 있습니다.

 

단어 임베딩 시각화

텍스트 데이터에 대한 단어 임베딩을 배운 후 시각화를 통해 탐색하는 것이 좋습니다.

고전적인 프로젝션 방법을 사용하여 고차원 워드 벡터를 2 차원 플롯으로 줄이고 그래프에 플롯 할 수 있습니다.

시각화는 학습 된 모델에 대한 정 성적 진단을 제공 할 수 있습니다.

다음과 같이 훈련 된 모델에서 모든 벡터를 검색 할 수 있습니다.

X = model[model.wv.vocab]

그런 다음 scikit-learn에서 제공되는 방법과 같은 벡터에 대한 투영 방법을 훈련 한 다음 matplotlib를 사용하여 투영을 산점도로 플롯 할 수 있습니다.

Principal Component Analysis 또는 PCA 를 사용한 예제를 살펴 보겠습니다 .

 

 

PCA를 사용하여 단어 벡터 플로팅하기

다음과 같이 scikit-learn PCA 클래스  사용하여 단어 벡터의 2 차원 PCA 모델을 만들 수 있습니다 .

pca = PCA(n_components=2)
result = pca.fit_transform(X)

결과 투영은 다음과 같이 matplotlib를 사용하여 플로팅 할 수 있으며 두 차원을 x 및 y 좌표로 끌어낼 수 있습니다.

pyplot.scatter(result[:, 0], result[:, 1])

한 단계 더 나아가 그래프의 포인트에 단어 자체로 주석을 달 수 있습니다. 좋은 오프셋이없는 조잡한 버전은 다음과 같습니다.

words = list(model.wv.vocab)
for i, word in enumerate(words):
	pyplot.annotate(word, xy=(result[i, 0], result[i, 1]))

이 모든 것을 이전 섹션의 모델과 함께 종합하면 전체 예제가 아래에 나열됩니다.

from gensim.models import Word2Vec
from sklearn.decomposition import PCA
from matplotlib import pyplot
# define training data
sentences = [['this', 'is', 'the', 'first', 'sentence', 'for', 'word2vec'],
			['this', 'is', 'the', 'second', 'sentence'],
			['yet', 'another', 'sentence'],
			['one', 'more', 'sentence'],
			['and', 'the', 'final', 'sentence']]
# train model
model = Word2Vec(sentences, min_count=1)
# fit a 2d PCA model to the vectors
X = model[model.wv.vocab]
pca = PCA(n_components=2)
result = pca.fit_transform(X)
# create a scatter plot of the projection
pyplot.scatter(result[:, 0], result[:, 1])
words = list(model.wv.vocab)
for i, word in enumerate(words):
	pyplot.annotate(word, xy=(result[i, 0], result[i, 1]))
pyplot.show()

예제를 실행하면 단어로 주석이 추가 된 점이있는 산점도가 생성됩니다.

참고 : 알고리즘 또는 평가 절차의 확률 적 특성 또는 수치 정밀도의 차이에 따라 결과가 달라질 수 있습니다 . 예제를 몇 번 실행하고 평균 결과를 비교해보십시오.

이러한 작은 말뭉치가 모델에 적합하게 사용 되었기 때문에 그래프에서 많은 의미를 끌어 내기는 어렵습니다.

Word2Vec 모델의 PCA 투영 산점도

 

Google의 Word2Vec 임베딩로드

자신의 단어 벡터를 훈련하는 것이 주어진 NLP 문제에 대한 최선의 접근 방식 일 수 있습니다.

그러나 시간이 오래 걸리고 RAM과 디스크 공간이 많은 빠른 컴퓨터, 입력 데이터 및 학습 알고리즘을 미세 조정하는 데 일부 전문 지식이 필요할 수 있습니다.

대안은 단순히 기존의 사전 훈련 된 단어 임베딩을 사용하는 것입니다.

word2vec에 대한 문서 및 코드와 함께 Google은 Word2Vec Google 코드 프로젝트 에 사전 학습 된 word2vec 모델도 게시했습니다 .

사전 훈련 된 모델은 토큰 및 관련 단어 벡터를 포함하는 파일에 지나지 않습니다. 사전 학습 된 Google word2vec 모델은 Google 뉴스 데이터 (약 1,000 억 단어)에서 학습되었습니다. 300 만 개의 단어와 구가 포함되어 있으며 300 차원 단어 벡터를 사용하여 적합했습니다.

1.53 기가 바이트 파일입니다. 여기에서 다운로드 할 수 있습니다.

압축을 푼 바이너리 파일 (GoogleNews-vectors-negative300.bin)은 3.4GB입니다.

Gensim 라이브러리는이 파일을로드하는 도구를 제공합니다. 특히 다음과 같이 KeyedVectors.load_word2vec_format () 함수를 호출 하여이 모델을 메모리로로드 할 수 있습니다 .

from gensim.models import KeyedVectors
filename = 'GoogleNews-vectors-negative300.bin'
model = KeyedVectors.load_word2vec_format(filename, binary=True)

내 최신 워크 스테이션에서는로드하는 데 약 43 초가 걸립니다.

여러분이 할 수있는 또 다른 흥미로운 일은 단어로 선형 대수 연산을하는 것입니다.

예를 들어, 강의 및 소개 문서에 설명 된 인기있는 예는 다음과 같습니다.

queen = (king - man) + woman

그것은 여왕이라는 단어가 왕에서 남자라는 개념을 빼고 여자라는 단어를 더한 가장 가까운 단어입니다. 왕의“남자 다움”은 우리에게 여왕을주기 위해“여자 다움”으로 대체됩니다. 매우 멋진 개념입니다.

Gensim은 훈련되거나로드 된 모델  most_similar () 함수 에서 이러한 유형의 작업을 수행하기위한 인터페이스를 제공합니다 .

예를 들면 :

result = model.most_similar(positive=['woman', 'king'], negative=['man'], topn=1)
print(result)

이 모든 것을 다음과 같이 통합 할 수 있습니다.

from gensim.models import KeyedVectors
# load the google word2vec model
filename = 'GoogleNews-vectors-negative300.bin'
model = KeyedVectors.load_word2vec_format(filename, binary=True)
# calculate: (king - man) + woman = ?
result = model.most_similar(positive=['woman', 'king'], negative=['man'], topn=1)
print(result)

예제를 실행하면 Google 사전 훈련 된 word2vec 모델이로드 된 다음 (king – man) + woman =? 그 단어에 대한 단어 벡터에 대한 연산.

우리가 예상했듯이 대답은 여왕입니다.

[('queen', 0.7118192315101624)]

더 흥미로운 산술 예제를 살펴 보려면 추가 읽기 섹션의 게시물 중 일부를 참조하십시오.

 

 

 

Stanford의 GloVe 임베딩로드

스탠포드 연구원들은 또한 단어 표현을위한 글로벌 벡터 ( Global Vectors for Word Representation ) 또는 줄여서 글 로베 ( GloVe)라고하는 word2vec와 같은 자체 단어 임베딩 알고리즘을 가지고 있습니다 .

여기서는 word2vec과 GloVe의 차이점에 대해 자세히 설명하지 않겠지 만 일반적으로 NLP 실무자들은 결과를 기반으로 현재 GloVe를 선호하는 것 같습니다.

word2vec과 마찬가지로 GloVe 연구원은 사전 훈련 된 단어 벡터를 제공합니다.이 경우에는 선택할 수있는 훌륭한 선택이 있습니다.

GloVe 사전 훈련 된 단어 벡터를 다운로드하고 gensim을 사용하여 쉽게로드 할 수 있습니다.

첫 번째 단계는 GloVe 파일 형식을 word2vec 파일 형식으로 변환하는 것입니다. 유일한 차이점은 작은 헤더 행을 추가한다는 것입니다. glove2word2vec () 함수를 호출하면 됩니다. 예를 들면 :

from gensim.scripts.glove2word2vec import glove2word2vec
glove_input_file = 'glove.txt'
word2vec_output_file = 'word2vec.txt'
glove2word2vec(glove_input_file, word2vec_output_file)

일단 변환되면 위의 word2vec 파일처럼 파일을로드 할 수 있습니다.

예를 들어 구체적으로 만들어 보겠습니다.

GloVe 웹 사이트 에서 가장 작은 GloVe 사전 훈련 된 모델을 다운로드 할 수 있습니다 . 60 억 개의 토큰과 400,000 개의 단어 어휘로 Wikipedia 데이터에 대해 학습 된 4 가지 모델 (50, 100, 200 및 300 차원 벡터)이 포함 된 822MB zip 파일입니다.

직접 다운로드 링크는 다음과 같습니다.

모델의 100 차원 버전을 사용하여 다음과 같이 파일을 word2vec 형식으로 변환 할 수 있습니다.

from gensim.scripts.glove2word2vec import glove2word2vec
glove_input_file = 'glove.6B.100d.txt'
word2vec_output_file = 'glove.6B.100d.txt.word2vec'
glove2word2vec(glove_input_file, word2vec_output_file)

이제 gloVe 모델의 파일 ​​이름이 glove.6B.100d.txt.word2vec 인 word2vec 형식의 복사본이 있습니다.

이제 우리는 그것을로드하고 동일한 (king – man) + woman =? 이전 섹션에서와 같이 테스트하십시오. 전체 코드 목록은 아래에 제공됩니다. 변환 된 파일은 바이너리가 아닌 ASCII 형식이므로 로드 할 때 binary = False로 설정 합니다.

from gensim.models import KeyedVectors
# load the Stanford GloVe model
filename = 'glove.6B.100d.txt.word2vec'
model = KeyedVectors.load_word2vec_format(filename, binary=False)
# calculate: (king - man) + woman = ?
result = model.most_similar(positive=['woman', 'king'], negative=['man'], topn=1)
print(result)

예제를 실행하면 'queen'과 동일한 결과가 인쇄됩니다.

[('queen', 0.7698540687561035)]

추가 읽기

이 섹션에서는 더 자세히 살펴보고자하는 경우 주제에 대한 더 많은 리소스를 제공합니다.

Gensim

게시물

요약

이 튜토리얼에서는 Gensim을 사용하여 Python에서 단어 임베딩 레이어를 개발하고로드하는 방법을 발견했습니다.

구체적으로 다음을 배웠습니다.

  • 텍스트 데이터에서 자신 만의 word2vec 단어 임베딩 모델을 훈련하는 방법.
  • 주성분 분석을 사용하여 훈련 된 단어 임베딩 모델을 시각화하는 방법.
  • 사전 훈련 된 word2vec 및 GloVe 단어 임베딩 모델을 Google 및 Stanford에서로드하는 방법.

 

 

 

 

 

 

※machinelearningmastery.com/develop-word-embeddings-python-gensim/

 

How to Develop Word Embeddings in Python with Gensim

Word embeddings are a modern approach for representing text in natural language processing. Word embedding algorithms like word2vec and GloVe are key to the state-of-the-art results achieved by neural network models on natural language processing problems

machinelearningmastery.com

 

반응형
반응형

[python]  TypeError: expected string or bytes-like object

 

 

TypeError: expected string or bytes-like object

 

정규표현식을 사용하여 findall을 했는데, 타입에러(TypeError: expected string or bytes-like object)가 떴다.

분명 list에서도 잘 뽑아주고 정규표현식도 맞는데 왜 계속 에러가 나는거지.. 했는데 추출을 할 리스트가 string형식이 아니어서 string으로 변환. 

param1 = re.findall("[0-9]{5}", str(key))
param2 = re.findall("[A-Z]{1}[0-9]{3}", str(key))
반응형
반응형

matplotlib colormap

colormap에 대한 설명을 찾기가 어렵다.
자세하게 설명을 붙여서 정리하고 싶은데, colormap 사용법은 많은데 설명은 없다.
matplotlib 소스코드를 분석하는 중에
colormap을 알아야 하는 상황에 처하게 되서 부족하지만 정리해 본다.

 

내가 생각할 때는
숫자를 색상에 매핑시키기 위한 색상 지도이다.
다만 테이블처럼 2차원 형태가 아니라 30cm 자와 같이 1차원 형태의 색상 배열이다.

갖고 있는 데이터를 그래프에 표시할 때
일반적인 색상을 사용해서 표시하는 것은 의미가 없다.
데이터를 색상으로 표현하는 것은 말이 되지 않는다.
그러나, 잘 정리된 colormap을 사용한다면 시각적으로 엄청난 효과를 거둘 수 있다.

가령, 지구를 평균 기온에 따라 표현한다고 했을 때
추운 지역은 파란색으로, 더운 지역은 빨간색으로 표시할 수 있다.
결국 지구상의 모든 영역은 파랑과 빨강이 연결된 그라데이션에 포함된 어떤 색상이 된다.
이와 같이 특정 데이터에 대해 사용될 수 있는 색상표를 colormap이라고 부른다.

 

# matplotlib 도움말

 

# 과학 데이터를 표시하기에 적합한 colormap 모음.
미국 지도에 인구 밀도에 따른 색상으로 표시한 그래픽은 압권.

 

# colormap 한글 설명.
많은 설명은 아니지만, 일부 매핑에 대해 상세한 설명을 제공한다.



출처: https://pythonkim.tistory.com/82 [파이쿵]

반응형
반응형

Gensim word vector visualization of various word vectors

web.stanford.edu/class/cs224n/materials/Gensim%20word%20vector%20visualization.html

 

Gensim word vector visualization

For looking at word vectors, I'll use Gensim. We also use it in hw1 for word vectors. Gensim isn't really a deep learning package. It's a package for for word and text similarity modeling, which started with (LDA-style) topic models and grew into SVD and n

web.stanford.edu

import numpy as np

# Get the interactive Tools for Matplotlib
%matplotlib notebook
import matplotlib.pyplot as plt
plt.style.use('ggplot')

from sklearn.decomposition import PCA

from gensim.test.utils import datapath, get_tmpfile
from gensim.models import KeyedVectors
from gensim.scripts.glove2word2vec import glove2word2vec
 
glove_file = datapath('/Users/manning/Corpora/GloVe/glove.6B.100d.txt')
word2vec_glove_file = get_tmpfile("glove.6B.100d.word2vec.txt")
glove2word2vec(glove_file, word2vec_glove_file)
model = KeyedVectors.load_word2vec_format(word2vec_glove_file)
model.most_similar('obama')
model.most_similar('banana')
model.most_similar(negative='banana')
result = model.most_similar(positive=['woman', 'king'], negative=['man'])
print("{}: {:.4f}".format(*result[0]))
def analogy(x1, x2, y1):
    result = model.most_similar(positive=[y1, x2], negative=[x1])
    return result[0][0]
Analogy

analogy('japan', 'japanese', 'australia')
analogy('australia', 'beer', 'france')
analogy('obama', 'clinton', 'reagan')
analogy('tall', 'tallest', 'long')
analogy('good', 'fantastic', 'bad')
print(model.doesnt_match("breakfast cereal dinner lunch".split()))
 
def display_pca_scatterplot(model, words=None, sample=0):
    if words == None:
        if sample > 0:
            words = np.random.choice(list(model.vocab.keys()), sample)
        else:
            words = [ word for word in model.vocab ]
        
    word_vectors = np.array([model[w] for w in words])

    twodim = PCA().fit_transform(word_vectors)[:,:2]
    
    plt.figure(figsize=(6,6))
    plt.scatter(twodim[:,0], twodim[:,1], edgecolors='k', c='r')
    for word, (x,y) in zip(words, twodim):
        plt.text(x+0.05, y+0.05, word)
 
display_pca_scatterplot(model, 
                        ['coffee', 'tea', 'beer', 'wine', 'brandy', 'rum', 'champagne', 'water',
                         'spaghetti', 'borscht', 'hamburger', 'pizza', 'falafel', 'sushi', 'meatballs',
                         'dog', 'horse', 'cat', 'monkey', 'parrot', 'koala', 'lizard',
                         'frog', 'toad', 'monkey', 'ape', 'kangaroo', 'wombat', 'wolf',
                         'france', 'germany', 'hungary', 'luxembourg', 'australia', 'fiji', 'china',
                         'homework', 'assignment', 'problem', 'exam', 'test', 'class',
                         'school', 'college', 'university', 'institute'])
display_pca_scatterplot(model, sample=300)
반응형
반응형

Stanford Pos Tagger를 이용한 POS Tagging

from nltk.tag import StanfordPOSTagger
from nltk.tokenize import word_tokenize

STANFORD_POS_MODEL_PATH = "압축 푼 디렉토리/stanford-postagger-full-2018-02-27/models/english-bidirectional-distsim.tagger"
STANFORD_POS_JAR_PATH = "압축 푼 디렉토리/stanford-postagger-full-2018-02-27/stanford-postagger-3.9.1.jar"

pos_tagger = StanfordPOSTagger(STANFORD_POS_MODEL_PATH, STANFORD_POS_JAR_PATH)

text = """Facebook CEO Mark Zuckerberg acknowledged a range of mistakes on Wednesday, 
including allowing most of its two billion users to have their public profile data scraped by outsiders. 
However, even as he took responsibility, he maintained he was the best person to fix the problems he created."""

tokens = word_tokenize(text)
print(tokens)
print()
print(pos_tagger.tag(tokens))

['Facebook', 'CEO', 'Mark', 'Zuckerberg', 'acknowledged', 'a', 'range', 'of', 'mistakes', 'on', 'Wednesday', ',', 'including', 'allowing', 'most', 'of', 'its', 'two', 'billion', 'users', 'to', 'have', 'their', 'public', 'profile', 'data', 'scraped', 'by', 'outsiders', '.', 'However', ',', 'even', 'as', 'he', 'took', 'responsibility', ',', 'he', 'maintained', 'he', 'was', 'the', 'best', 'person', 'to', 'fix', 'the', 'problems', 'he', 'created', '.']

[('Facebook', 'NNP'), ('CEO', 'NNP'), ('Mark', 'NNP'), ('Zuckerberg', 'NNP'), ('acknowledged', 'VBD'), ('a', 'DT'), ('range', 'NN'), ('of', 'IN'), ('mistakes', 'NNS'), ('on', 'IN'), ('Wednesday', 'NNP'), (',', ','), ('including', 'VBG'), ('allowing', 'VBG'), ('most', 'JJS'), ('of', 'IN'), ('its', 'PRP$'), ('two', 'CD'), ('billion', 'CD'), ('users', 'NNS'), ('to', 'TO'), ('have', 'VB'), ('their', 'PRP$'), ('public', 'JJ'), ('profile', 'NN'), ('data', 'NNS'), ('scraped', 'VBN'), ('by', 'IN'), ('outsiders', 'NNS'), ('.', '.'), ('However', 'RB'), (',', ','), ('even', 'RB'), ('as', 'IN'), ('he', 'PRP'), ('took', 'VBD'), ('responsibility', 'NN'), (',', ','), ('he', 'PRP'), ('maintained', 'VBD'), ('he', 'PRP'), ('was', 'VBD'), ('the', 'DT'), ('best', 'JJS'), ('person', 'NN'), ('to', 'TO'), ('fix', 'VB'), ('the', 'DT'), ('problems', 'NNS'), ('he', 'PRP'), ('created', 'VBD'), ('.', '.')]

noun_and_verbs = []
for token in pos_tagger.tag(tokens):
    if token[1].startswith("V") or token[1].startswith("N"):
        noun_and_verbs.append(token[0])
print(', '.join(noun_and_verbs))

Facebook, CEO, Mark, Zuckerberg, acknowledged, range, mistakes, Wednesday, including, allowing, users, have, profile, data, scraped, outsiders, took, responsibility, maintained, was, person, fix, problems, created

novdov.github.io/nlp/2018/04/05/NLP-POS-Tagging-%ED%92%88%EC%82%AC-%ED%83%9C%EA%B9%85/

 

Stanford Pos Tagger를 이용한 POS Tagging

Stanford Pos Tagger를 이용해 POS tagging 방법을 간단하게 알아봅니다.

novdov.github.io

품사 태깅 약어 정보

www.ling.upenn.edu/courses/Fall_2003/ling001/penn_treebank_pos.html

 

Penn Treebank P.O.S. Tags

31. VBP Verb, non-3rd person singular present

www.ling.upenn.edu

Number

Tag

Description

1. CC Coordinating conjunction
2. CD Cardinal number
3. DT Determiner
4. EX Existential there
5. FW Foreign word
6. IN Preposition or subordinating conjunction
7. JJ Adjective
8. JJR Adjective, comparative
9. JJS Adjective, superlative
10. LS List item marker
11. MD Modal
12. NN Noun, singular or mass
13. NNS Noun, plural
14. NNP Proper noun, singular
15. NNPS Proper noun, plural
16. PDT Predeterminer
17. POS Possessive ending
18. PRP Personal pronoun
19. PRP$ Possessive pronoun
20. RB Adverb
21. RBR Adverb, comparative
22. RBS Adverb, superlative
23. RP Particle
24. SYM Symbol
25. TO to
26. UH Interjection
27. VB Verb, base form
28. VBD Verb, past tense
29. VBG Verb, gerund or present participle
30. VBN Verb, past participle
31. VBP Verb, non-3rd person singular present
32. VBZ Verb, 3rd person singular present
33. WDT Wh-determiner
34. WP Wh-pronoun
35. WP$ Possessive wh-pronoun
36. WRB Wh-adverb

반응형
반응형

Remove Elements From A Counter

 

counter에서 요소 삭제하기

Question:

How do you remove an element from a counter?

Answer:

Setting a count to zero does not remove an element from a counter. Use del to remove it entirely.

Source: (example.py)

from collections import Counter
 
c = Counter(x=10, y=7, z=3)
print(c)
 
c['z'] = 0
print(c)
 
del c['z']
print(c)

Output:

$ python example.py
Counter({'x': 10, 'y': 7, 'z': 3})
Counter({'x': 10, 'y': 7, 'z': 0})
Counter({'x': 10, 'y': 7})
반응형

+ Recent posts