[python] Gensim을 사용하여 Python에서 Word 임베딩을 개발하는 방법

Gensim을 사용하여 Python에서 Word 임베딩을 개발하는 방법

 

단어 임베딩은 자연어 처리에서 텍스트를 표현하기위한 현대적인 접근 방식입니다.

word2vec 및 GloVe와 같은 단어 임베딩 알고리즘 은 기계 번역과 같은 자연어 처리 문제에 대한 신경망 모델을 통해 얻은 최첨단 결과의 핵심입니다.

이 튜토리얼에서는 Gensim을 사용하여 Python에서 자연어 처리 애플리케이션을위한 단어 임베딩 모델을 학습하고로드하는 방법을 알아 봅니다.

이 자습서를 완료하면 다음을 알게됩니다.

• 텍스트 데이터에서 자신 만의 word2vec 단어 임베딩 모델을 훈련하는 방법.
• 주성분 분석을 사용하여 훈련 된 단어 임베딩 모델을 시각화하는 방법.
• 사전 훈련 된 word2vec 및 GloVe 단어 임베딩 모델을 Google 및 Stanford에서로드하는 방법.

단계별 자습서 와 모든 예제에 대한 Python 소스 코드 파일을 포함하여 저의 새 저서 Deep Learning for Natural Language Processing으로 프로젝트 를 시작하십시오 .

 

튜토리얼 개요

이 튜토리얼은 6 개 부분으로 나뉩니다.  

1. 단어 임베딩
2. Gensim 도서관
3. Word2Vec 임베딩 개발
4. 단어 임베딩 시각화
5. Google의 Word2Vec 임베딩로드
6. Stanford의 GloVe 임베딩로드

단어 임베딩

단어 임베딩은 단어의 의미에 대한 무언가를 포착하는 단어의 조밀 한 벡터 표현을 제공하는 접근 방식입니다.

단어 임베딩은 문서를 설명하지만 단어의 의미가 아닌 크고 희소 한 벡터 (대부분 0 값)를 생성하는 단어 개수 및 빈도와 같은 단순한 단어 모음 모델 단어 인코딩 체계보다 개선 된 것입니다.

단어 임베딩은 알고리즘을 사용하여 큰 텍스트 코퍼스를 기반으로 고정 길이 밀도 및 연속 값 벡터 세트를 훈련하는 방식으로 작동합니다. 각 단어는 임베딩 공간의 한 지점으로 표시되며 이러한 지점은 대상 단어를 둘러싼 단어를 기반으로 학습 및 이동됩니다.

단어 임베딩이 단어의 의미에 대해 학습 할 수 있도록 유지하는 단어를 회사에서 정의하는 것입니다. 단어의 벡터 공간 표현은 유사한 의미를 가진 단어가 공간 내에서 로컬로 클러스터되는 투영을 제공합니다.

다른 텍스트 표현보다 단어 임베딩을 사용하는 것은 기계 번역과 같은 문제에 대해 심층 신경망을 사용하여 획기적인 성능을 이끌어 낸 핵심 방법 중 하나입니다.

이 튜토리얼에서는 Google 연구원이 word2vec, Stanford 연구원이 GloVe라는 두 가지 단어 임베딩 방법을 사용하는 방법을 살펴 봅니다.

 

Gensim Python 라이브러리

Gensim 은 주제 모델링에 중점을 둔 자연어 처리를위한 오픈 소스 Python 라이브러리입니다.

 

Gensim은 체코 자연어 처리 연구원 인 Radim Řehůřek 과 그의 회사 인 RaRe Technologies 가 개발하고 유지 관리합니다 .

NLTK와 같은 부엌 싱크대 NLP 연구 라이브러리를 포함한 모든 것이 아닙니다. 대신 Gensim은 주제 모델링을위한 성숙하고 집중적이며 효율적인 NLP 도구 모음입니다. 특히이 튜토리얼에서는 텍스트에서 새로운 단어 벡터를 학습하기위한 Word2Vec 단어 임베딩 구현을 지원합니다.

또한 사전 학습 된 단어 임베딩을 몇 가지 형식으로로드하고로드 된 임베딩을 사용하고 쿼리하기위한 도구를 제공합니다.

이 튜토리얼에서는 Gensim 라이브러리를 사용합니다.

Python 환경 설정이없는 경우이 가이드를 사용할 수 있습니다.

• Anaconda를 사용하여 기계 학습 및 딥 러닝을위한 Python 환경을 설정하는 방법

Gensim은 pip 또는 easy_install을 사용하여 쉽게 설치할 수 있습니다 .

예를 들어, 명령 줄에 다음을 입력하여 pip로 Gensim을 설치할 수 있습니다.

pip install --upgrade gensim

시스템에 Gensim을 설치하는 데 도움이 필요하면 Gensim 설치 지침을 참조하십시오 .

 

 

 

Word2Vec 임베딩 개발

Word2vec 은 텍스트 말뭉치에서 단어 임베딩을 학습하는 하나의 알고리즘입니다.

텍스트에서 임베딩을 학습하는 데 사용할 수있는 두 가지 주요 학습 알고리즘이 있습니다. CBOW (Continuous Bag of Words)이며 그램을 건너 뜁니다.

우리는 일반적으로 각 대상 단어에 대한 단어 창을보고 문맥을 제공하고 단어에 대한 의미를 제공한다고 말하는 것 외에는 알고리즘을 사용하지 않을 것입니다. 이 접근 방식은 이전에 Google에서 현재 Facebook에서 근무 했던 Tomas Mikolov에 의해 개발되었습니다 .

Word2Vec 모델에는 전체 Wikipedia 말뭉치와 같은 많은 텍스트가 필요합니다. 그럼에도 불구하고 우리는 작은 메모리 내 텍스트 예제를 사용하여 원리를 보여줄 것입니다.

Gensim은  Word2Vec 모델 작업을위한 Word2Vec 클래스를 제공합니다 .

텍스트에서 단어 임베딩을 학습하려면 텍스트를 문장으로로드 및 구성하고 새 Word2Vec () 인스턴스 의 생성자에 제공하는 작업이 포함됩니다 . 예를 들면 :

sentences = ...
model = Word2Vec(sentences)

특히, 각 문장은 토큰 화되어야합니다. 의미는 단어로 나뉘어 준비되어야합니다 (예 : 사전 필터링되고 선호되는 경우로 변환 될 수 있음).

문장은 메모리에로드 된 텍스트이거나 매우 큰 텍스트 말뭉치에 필요한 텍스트를 점진적으로로드하는 반복 기일 수 있습니다.

이 생성자에는 많은 매개 변수가 있습니다. 구성 할 수있는 몇 가지 주목할만한 인수는 다음과 같습니다.

• size : (기본값 100) 임베딩의 차원 수 (예 : 각 토큰 (단어)를 나타내는 조밀 한 벡터의 길이).
• window : (기본값 5) 대상 단어와 대상 단어 주변 단어 사이의 최대 거리입니다.
• min_count : (기본값 5) 모델 학습시 고려할 최소 단어 수입니다. 이 개수보다 적은 발생이있는 단어는 무시됩니다.
• worker : (기본값 3) 훈련 중에 사용할 스레드 수입니다.
• sg : (기본값 0 또는 CBOW) 훈련 알고리즘, CBOW (0) 또는 스킵 그램 (1).

기본값은 처음 시작할 때 충분합니다. 대부분의 최신 컴퓨터처럼 코어가 많은 경우 코어 수 (예 : 8)에 맞게 작업자를 늘리는 것이 좋습니다.

모델이 학습 된 후 " wv "속성을 통해 액세스 할 수 있습니다 . 이것은 질의를 할 수있는 실제 단어 벡터 모델입니다.

예를 들어, 다음과 같이 토큰 (단어)의 학습 된 어휘를 인쇄 할 수 있습니다.

words = list(model.wv.vocab)
print(words)

다음과 같이 특정 토큰에 대한 포함 된 벡터를 검토 할 수 있습니다.

print(model['word'])

마지막으로 단어 벡터 모델에서 save_word2vec_format () 함수를 호출하여 훈련 된 모델을 파일에 저장할 수 있습니다 .

기본적으로 모델은 공간을 절약하기 위해 이진 형식으로 저장됩니다. 예를 들면 :

model.wv.save_word2vec_format('model.bin')

시작할 때 학습 된 모델을 ASCII 형식으로 저장하고 내용을 검토 할 수 있습니다.

save_word2vec_format () 함수를 호출 할 때 binary = False 를 설정하여이를 수행 할 수 있습니다 . 예를 들면 다음과 같습니다.

model.wv.save_word2vec_format('model.txt', binary=False)

그런 다음 Word2Vec.load () 함수를 호출하여 저장된 모델을 다시로드 할 수 있습니다 . 예를 들면 :

model = Word2Vec.load('model.bin')

이 모든 것을 실제 예제와 함께 묶을 수 있습니다.

파일에서 큰 텍스트 문서 나 말뭉치를로드하는 대신 미리 토큰 화 된 문장의 작은 메모리 내 목록을 사용하여 작업합니다. 모델이 학습되고 단어의 최소 개수가 1로 설정되어 단어가 무시되지 않습니다.

모델을 학습 한 후 요약하고 어휘를 인쇄 한 다음 ' 문장 ' 이라는 단어에 대한 단일 벡터를 인쇄합니다 .

마지막으로 모델은 바이너리 형식의 파일에 저장되고로드 된 다음 요약됩니다.

from gensim.models import Word2Vec
# define training data
sentences = [['this', 'is', 'the', 'first', 'sentence', 'for', 'word2vec'],
			['this', 'is', 'the', 'second', 'sentence'],
			['yet', 'another', 'sentence'],
			['one', 'more', 'sentence'],
			['and', 'the', 'final', 'sentence']]
# train model
model = Word2Vec(sentences, min_count=1)
# summarize the loaded model
print(model)
# summarize vocabulary
words = list(model.wv.vocab)
print(words)
# access vector for one word
print(model['sentence'])
# save model
model.save('model.bin')
# load model
new_model = Word2Vec.load('model.bin')
print(new_model)

참고 : 알고리즘 또는 평가 절차의 확률 적 특성 또는 수치 정밀도의 차이에 따라 결과가 달라질 수 있습니다 . 예제를 몇 번 실행하고 평균 결과를 비교해보십시오.

예제를 실행하면 다음 출력이 인쇄됩니다.

Word2Vec(vocab=14, size=100, alpha=0.025)
['second', 'sentence', 'and', 'this', 'final', 'word2vec', 'for', 'another', 'one', 'first', 'more', 'the', 'yet', 'is']
[ -4.61881841e-03  -4.88735968e-03  -3.19508743e-03   4.08568839e-03
  -3.38211656e-03   1.93076557e-03   3.90265253e-03  -1.04349572e-03
   4.14286414e-03   1.55219622e-03   3.85653134e-03   2.22428422e-03
  -3.52565176e-03   2.82056746e-03  -2.11121864e-03  -1.38054823e-03
  -1.12888147e-03  -2.87318649e-03  -7.99703528e-04   3.67874932e-03
   2.68940022e-03   6.31021452e-04  -4.36326629e-03   2.38655557e-04
  -1.94210222e-03   4.87691024e-03  -4.04118607e-03  -3.17813386e-03
   4.94802603e-03   3.43150692e-03  -1.44031656e-03   4.25637932e-03
  -1.15106850e-04  -3.73274647e-03   2.50349124e-03   4.28692997e-03
  -3.57313151e-03  -7.24728088e-05  -3.46099050e-03  -3.39612062e-03
   3.54845310e-03   1.56780297e-03   4.58260969e-04   2.52689526e-04
   3.06256465e-03   2.37558200e-03   4.06933809e-03   2.94650183e-03
  -2.96231941e-03  -4.47433954e-03   2.89590308e-03  -2.16034567e-03
  -2.58548348e-03  -2.06163677e-04   1.72605237e-03  -2.27384618e-04
  -3.70194600e-03   2.11557443e-03   2.03793868e-03   3.09839356e-03
  -4.71800892e-03   2.32995977e-03  -6.70911541e-05   1.39375112e-03
  -3.84263694e-03  -1.03898917e-03   4.13251948e-03   1.06330717e-03
   1.38514000e-03  -1.18144893e-03  -2.60811858e-03   1.54952740e-03
   2.49916781e-03  -1.95435272e-03   8.86975031e-05   1.89820060e-03
  -3.41996481e-03  -4.08187555e-03   5.88635216e-04   4.13103355e-03
  -3.25899688e-03   1.02130906e-03  -3.61028523e-03   4.17646067e-03
   4.65870230e-03   3.64110398e-04   4.95479070e-03  -1.29743712e-03
  -5.03367570e-04  -2.52546836e-03   3.31060472e-03  -3.12870182e-03
  -1.14580349e-03  -4.34387522e-03  -4.62882593e-03   3.19007039e-03
   2.88707414e-03   1.62976081e-04  -6.05802808e-04  -1.06368808e-03]
Word2Vec(vocab=14, size=100, alpha=0.025)

텍스트 문서를 준비하는 약간의 작업으로 Gensim으로 매우 쉽게 자신의 단어 임베딩을 만들 수 있음을 알 수 있습니다.

 

단어 임베딩 시각화

텍스트 데이터에 대한 단어 임베딩을 배운 후 시각화를 통해 탐색하는 것이 좋습니다.

고전적인 프로젝션 방법을 사용하여 고차원 워드 벡터를 2 차원 플롯으로 줄이고 그래프에 플롯 할 수 있습니다.

시각화는 학습 된 모델에 대한 정 성적 진단을 제공 할 수 있습니다.

다음과 같이 훈련 된 모델에서 모든 벡터를 검색 할 수 있습니다.

X = model[model.wv.vocab]

그런 다음 scikit-learn에서 제공되는 방법과 같은 벡터에 대한 투영 방법을 훈련 한 다음 matplotlib를 사용하여 투영을 산점도로 플롯 할 수 있습니다.

Principal Component Analysis 또는 PCA 를 사용한 예제를 살펴 보겠습니다 .

 

 

PCA를 사용하여 단어 벡터 플로팅하기

다음과 같이 scikit-learn PCA 클래스 를 사용하여 단어 벡터의 2 차원 PCA 모델을 만들 수 있습니다 .

pca = PCA(n_components=2)
result = pca.fit_transform(X)

결과 투영은 다음과 같이 matplotlib를 사용하여 플로팅 할 수 있으며 두 차원을 x 및 y 좌표로 끌어낼 수 있습니다.

pyplot.scatter(result[:, 0], result[:, 1])

한 단계 더 나아가 그래프의 포인트에 단어 자체로 주석을 달 수 있습니다. 좋은 오프셋이없는 조잡한 버전은 다음과 같습니다.

words = list(model.wv.vocab)
for i, word in enumerate(words):
	pyplot.annotate(word, xy=(result[i, 0], result[i, 1]))

이 모든 것을 이전 섹션의 모델과 함께 종합하면 전체 예제가 아래에 나열됩니다.

from gensim.models import Word2Vec
from sklearn.decomposition import PCA
from matplotlib import pyplot
# define training data
sentences = [['this', 'is', 'the', 'first', 'sentence', 'for', 'word2vec'],
			['this', 'is', 'the', 'second', 'sentence'],
			['yet', 'another', 'sentence'],
			['one', 'more', 'sentence'],
			['and', 'the', 'final', 'sentence']]
# train model
model = Word2Vec(sentences, min_count=1)
# fit a 2d PCA model to the vectors
X = model[model.wv.vocab]
pca = PCA(n_components=2)
result = pca.fit_transform(X)
# create a scatter plot of the projection
pyplot.scatter(result[:, 0], result[:, 1])
words = list(model.wv.vocab)
for i, word in enumerate(words):
	pyplot.annotate(word, xy=(result[i, 0], result[i, 1]))
pyplot.show()

예제를 실행하면 단어로 주석이 추가 된 점이있는 산점도가 생성됩니다.

참고 : 알고리즘 또는 평가 절차의 확률 적 특성 또는 수치 정밀도의 차이에 따라 결과가 달라질 수 있습니다 . 예제를 몇 번 실행하고 평균 결과를 비교해보십시오.

이러한 작은 말뭉치가 모델에 적합하게 사용 되었기 때문에 그래프에서 많은 의미를 끌어 내기는 어렵습니다.

Word2Vec 모델의 PCA 투영 산점도

 

Google의 Word2Vec 임베딩로드

자신의 단어 벡터를 훈련하는 것이 주어진 NLP 문제에 대한 최선의 접근 방식 일 수 있습니다.

그러나 시간이 오래 걸리고 RAM과 디스크 공간이 많은 빠른 컴퓨터, 입력 데이터 및 학습 알고리즘을 미세 조정하는 데 일부 전문 지식이 필요할 수 있습니다.

대안은 단순히 기존의 사전 훈련 된 단어 임베딩을 사용하는 것입니다.

word2vec에 대한 문서 및 코드와 함께 Google은 Word2Vec Google 코드 프로젝트 에 사전 학습 된 word2vec 모델도 게시했습니다 .

사전 훈련 된 모델은 토큰 및 관련 단어 벡터를 포함하는 파일에 지나지 않습니다. 사전 학습 된 Google word2vec 모델은 Google 뉴스 데이터 (약 1,000 억 단어)에서 학습되었습니다. 300 만 개의 단어와 구가 포함되어 있으며 300 차원 단어 벡터를 사용하여 적합했습니다.

1.53 기가 바이트 파일입니다. 여기에서 다운로드 할 수 있습니다.

• GoogleNews-vectors-negative300.bin.gz

압축을 푼 바이너리 파일 (GoogleNews-vectors-negative300.bin)은 3.4GB입니다.

Gensim 라이브러리는이 파일을로드하는 도구를 제공합니다. 특히 다음과 같이 KeyedVectors.load_word2vec_format () 함수를 호출 하여이 모델을 메모리로로드 할 수 있습니다 .

from gensim.models import KeyedVectors
filename = 'GoogleNews-vectors-negative300.bin'
model = KeyedVectors.load_word2vec_format(filename, binary=True)

내 최신 워크 스테이션에서는로드하는 데 약 43 초가 걸립니다.

여러분이 할 수있는 또 다른 흥미로운 일은 단어로 선형 대수 연산을하는 것입니다.

예를 들어, 강의 및 소개 문서에 설명 된 인기있는 예는 다음과 같습니다.

queen = (king - man) + woman

그것은 여왕이라는 단어가 왕에서 남자라는 개념을 빼고 여자라는 단어를 더한 가장 가까운 단어입니다. 왕의“남자 다움”은 우리에게 여왕을주기 위해“여자 다움”으로 대체됩니다. 매우 멋진 개념입니다.

Gensim은 훈련되거나로드 된 모델 의 most_similar () 함수 에서 이러한 유형의 작업을 수행하기위한 인터페이스를 제공합니다 .

예를 들면 :

result = model.most_similar(positive=['woman', 'king'], negative=['man'], topn=1)
print(result)

이 모든 것을 다음과 같이 통합 할 수 있습니다.

from gensim.models import KeyedVectors
# load the google word2vec model
filename = 'GoogleNews-vectors-negative300.bin'
model = KeyedVectors.load_word2vec_format(filename, binary=True)
# calculate: (king - man) + woman = ?
result = model.most_similar(positive=['woman', 'king'], negative=['man'], topn=1)
print(result)

예제를 실행하면 Google 사전 훈련 된 word2vec 모델이로드 된 다음 (king – man) + woman =? 그 단어에 대한 단어 벡터에 대한 연산.

우리가 예상했듯이 대답은 여왕입니다.

[('queen', 0.7118192315101624)]

더 흥미로운 산술 예제를 살펴 보려면 추가 읽기 섹션의 게시물 중 일부를 참조하십시오.

 

 

 

Stanford의 GloVe 임베딩로드

스탠포드 연구원들은 또한 단어 표현을위한 글로벌 벡터 ( Global Vectors for Word Representation ) 또는 줄여서 글 로베 ( GloVe)라고하는 word2vec와 같은 자체 단어 임베딩 알고리즘을 가지고 있습니다 .

여기서는 word2vec과 GloVe의 차이점에 대해 자세히 설명하지 않겠지 만 일반적으로 NLP 실무자들은 결과를 기반으로 현재 GloVe를 선호하는 것 같습니다.

word2vec과 마찬가지로 GloVe 연구원은 사전 훈련 된 단어 벡터를 제공합니다.이 경우에는 선택할 수있는 훌륭한 선택이 있습니다.

GloVe 사전 훈련 된 단어 벡터를 다운로드하고 gensim을 사용하여 쉽게로드 할 수 있습니다.

첫 번째 단계는 GloVe 파일 형식을 word2vec 파일 형식으로 변환하는 것입니다. 유일한 차이점은 작은 헤더 행을 추가한다는 것입니다. glove2word2vec () 함수를 호출하면 됩니다. 예를 들면 :

from gensim.scripts.glove2word2vec import glove2word2vec
glove_input_file = 'glove.txt'
word2vec_output_file = 'word2vec.txt'
glove2word2vec(glove_input_file, word2vec_output_file)

일단 변환되면 위의 word2vec 파일처럼 파일을로드 할 수 있습니다.

예를 들어 구체적으로 만들어 보겠습니다.

GloVe 웹 사이트 에서 가장 작은 GloVe 사전 훈련 된 모델을 다운로드 할 수 있습니다 . 60 억 개의 토큰과 400,000 개의 단어 어휘로 Wikipedia 데이터에 대해 학습 된 4 가지 모델 (50, 100, 200 및 300 차원 벡터)이 포함 된 822MB zip 파일입니다.

직접 다운로드 링크는 다음과 같습니다.

• glove.6B.zip

모델의 100 차원 버전을 사용하여 다음과 같이 파일을 word2vec 형식으로 변환 할 수 있습니다.

from gensim.scripts.glove2word2vec import glove2word2vec
glove_input_file = 'glove.6B.100d.txt'
word2vec_output_file = 'glove.6B.100d.txt.word2vec'
glove2word2vec(glove_input_file, word2vec_output_file)

이제 gloVe 모델의 파일 ​​이름이 glove.6B.100d.txt.word2vec 인 word2vec 형식의 복사본이 있습니다.

이제 우리는 그것을로드하고 동일한 (king – man) + woman =? 이전 섹션에서와 같이 테스트하십시오. 전체 코드 목록은 아래에 제공됩니다. 변환 된 파일은 바이너리가 아닌 ASCII 형식이므로 로드 할 때 binary = False로 설정 합니다.

from gensim.models import KeyedVectors
# load the Stanford GloVe model
filename = 'glove.6B.100d.txt.word2vec'
model = KeyedVectors.load_word2vec_format(filename, binary=False)
# calculate: (king - man) + woman = ?
result = model.most_similar(positive=['woman', 'king'], negative=['man'], topn=1)
print(result)

예제를 실행하면 'queen'과 동일한 결과가 인쇄됩니다.

[('queen', 0.7698540687561035)]

추가 읽기

이 섹션에서는 더 자세히 살펴보고자하는 경우 주제에 대한 더 많은 리소스를 제공합니다.

• Wikipedia에 단어 임베딩
• Wikipedia의 Word2Vec
• Google word2vec 프로젝트
• Stanford GloVe 프로젝트

Gensim

• gensim Python 라이브러리
• models.word2vec gensim API
• models.keyedvectors gensim API
• scripts.glove2word2vec gensim API

게시물

• 2016 년 Word2vec로 뒤죽박죽
• 디지털 인문학을위한 벡터 공간 모델 , 2015
• Gensim Word2vec 튜토리얼 , 2014

요약

이 튜토리얼에서는 Gensim을 사용하여 Python에서 단어 임베딩 레이어를 개발하고로드하는 방법을 발견했습니다.

구체적으로 다음을 배웠습니다.

• 텍스트 데이터에서 자신 만의 word2vec 단어 임베딩 모델을 훈련하는 방법.
• 주성분 분석을 사용하여 훈련 된 단어 임베딩 모델을 시각화하는 방법.
• 사전 훈련 된 word2vec 및 GloVe 단어 임베딩 모델을 Google 및 Stanford에서로드하는 방법.

 

 

 

 

 

 

※machinelearningmastery.com/develop-word-embeddings-python-gensim/

How to Develop Word Embeddings in Python with Gensim