긍정적 사고, 음식의 절제, 규칙적인 운동

[python] konlpy 하다가 그래프에 한글 안나올때, 어제는 안되고 오늘은 되네.

https://www.lucypark.kr/courses/2015-dm/text-mining.html

맥북에서 그래프에 한글 계속 안나오다가, 오늘 해보니까 또 나오네. 뭔 조화인가? 오타인가? 

Troubleshooting: For those who see rectangles instead of letters in the saved plot file, include the following configurations before drawing the plot:

from matplotlib import font_manager, rc
font_fname = 'c:/windows/fonts/gulim.ttc'     # A font of your choice
font_name = font_manager.FontProperties(fname=font_fname).get_name()
rc('font', family=font_name)

Some example fonts:

• Mac OS: /Library/Fonts/AppleGothic.ttf

.

.

잘못된 방향으로 힘차게 걷느니

절뚝거리더라도 옳은 방향으로

느릿하게 가는 것이 낫다.

- 마르쿠스 아우렐리우스 

속도가 아니라 방향입니다.

잘못된 방향으로 빨리 가면 더 빨리 망하게 됩니다.

방향을 제대로 잡고 우직하게 걸어가다 보면,

언젠가는 목적지에 도달하게 됩니다.

동료들과 한 방향을 보며 손잡고 함께 가면

더 빨리 갈 수 있습니다.

.

당신의 현재 모습을 

인정하는 것부터 시작하라.

영혼의 성장은 수양을 통해 연마되고 

완성된다. 그것은 악기처럼 연주되어야 한다.  

길처럼 걸어갈 수 있어야 한다. 인생 자체가 

영혼의 여행이다.

- 켄트 너번의《세상을 보는 16가지 지혜, 작은 유산》중에서 -

* 몸이 자라면서

영혼도 함께 자라야 합니다.

몸은 아무리 자라도 2m 안팎에 머물지만 

영혼이 자라면 하늘에 닿을 수 있습니다.

하늘에 닿는 길이 기도와 명상이고,

그것이 내 영혼을 성장시키는

영혼의 여행길입니다. 

.

파이썬으로 영어와 한국어 텍스트 다루기

https://www.lucypark.kr/courses/2015-dm/text-mining.html

문서 전처리

https://datascienceschool.net/view-notebook/3e7aadbf88ed4f0d87a76f9ddc925d69/

모든 데이터 분석 모형은 숫자로 구성된 고정 차원 벡터를 독립 변수로 하고 있으므로 문서(document)를 분석을 하는 경우에도 숫자로 구성된 특징 벡터(feature vector)를 문서로부터 추출하는 과정이 필요하다. 이러한 과정을 문서 전처리(document preprocessing)라고 한다.

BOW (Bag of Words) 

문서를 숫자 벡터로 변환하는 가장 기본적인 방법은 BOW (Bag of Words) 이다. BOW 방법에서는 전체 문서  {D1,D2,…,Dn}{D1,D2,…,Dn}  를 구성하는 고정된 단어장(vocabulary)  {W1,W2,…,Wm}{W1,W2,…,Wm}  를 만들고  DiDi 라는 개별 문서에 단어장에 해당하는 단어들이 포함되어 있는지를 표시하는 방법이다.

 만약 단어 Wj가 문서Di 안에 있으면 ,→xij=1

 만약 단어 Wj가 문서Di 안에 있으면 ,→xij=1

Scikit-Learn 의 문서 전처리 기능 

Scikit-Learn 의 feature_extraction.text 서브 패키지는 다음과 같은 문서 전처리용 클래스를 제공한다.

CountVectorizer:

    문서 집합으로부터 단어의 수를 세어 카운트 행렬을 만든다.

TfidfVectorizer:

    문서 집합으로부터 단어의 수를 세고 TF-IDF 방식으로 단어의 가중치를 조정한 카운트 행렬을 만든다.

HashingVectorizer:

    hashing trick 을 사용하여 빠르게 카운트 행렬을 만든다.

from sklearn.feature_extraction.text import CountVectorizer

corpus = [

    'This is the first document.',

    'This is the second second document.',

    'And the third one.',

    'Is this the first document?',

    'The last document?',    

]

vect = CountVectorizer()

vect.fit(corpus)

vect.vocabulary_

konlpy 한국어 처리 패키지 

https://datascienceschool.net/view-notebook/70ce46db4ced4a999c6ec349df0f4eb0/

konlpy는 한국어 정보처리를 위한 파이썬 패키지이다.

http://konlpy.org/ko/latest/

https://github.com/konlpy/konlpy

konlpy는 다음과 같은 다양한 형태소 분석, 태깅 라이브러리를 파이썬에서 쉽게 사용할 수 있도록 모아놓았다.

Kkma

http://kkma.snu.ac.kr/

Hannanum

http://semanticweb.kaist.ac.kr/hannanum/

Twitter

https://github.com/twitter/twitter-korean-text/

Komoran

http://www.shineware.co.kr/?page_id=835

Mecab

https://bitbucket.org/eunjeon/mecab-ko-dic

konlpy 는 다음과 같은 기능을 제공한다.

한국어 corpus

한국어 처리 유틸리티

형태소 분석 및 품사 태깅

한국어 corpus

 - 예문 호출, 파일리스트 

from konlpy.corpus import kolaw  

kolaw.fileids()

c = kolaw.open('constitution.txt').read()

print(c[:100])

from konlpy.corpus import kobill

kobill.fileids()

d = kobill.open('1809890.txt').read()

print(d[:100])

한국어 처리 유틸리티

konlpy에는 유니코드 한글 문자열이 리스트나 딕셔너리의 내부에 있을 때도 한글 글자 모양을 정상적으로 보여주는 pprint 유틸리티 함수를 제공한다.

x = [u"한글", {u"한글 키": [u"한글 밸류1", u"한글 밸류2"]}]

print(x)

from konlpy.utils import pprint

pprint(x)

형태소 분석 

konlpy는 tag 서브패키지에서 형태소 분석을 위한 5개의 클래스를 제공한다.

Kkma

Hannanum

Twitter

Komoran

Mecab

이 클래스는 다음과 같은 메서드를 대부분 제공한다.

morphs : 형태소 추출

nouns : 명사 추출

pos : pos 태깅

from konlpy.tag import *

hannanum = Hannanum()

kkma = Kkma()

twitter = Twitter()

명사 추출 

문자열에서 명사만 추출하려면 noun 명령을 사용한다.

pprint(hannanum.nouns(c[:65]))

pprint(kkma.nouns(c[:65]))

pprint(twitter.nouns(c[:65]))

형태소 추출 

명사 뿐 아니라 모든 품사의 형태소를 알아내려면 morphs라는 명령을 사용한다.

pprint(hannanum.morphs(c[:65]))

pprint(kkma.morphs(c[:65]))

pprint(twitter.morphs(c[:65]))

품사 태깅 

pos 명령을 사용하면 품사(POS)가 붙어있는(tagging) 형태로 형태소 분석을 한다. 다만 이 때 출력되는 품사의 정의 및 기호는 형태소 분석기 마다 다르므로 각 형태소 분석기에 대한 문서를 찾아봐야 한다.

다음은 많이 쓰이는 형태소 분석기의 품사 기호를 비교한 자료이다.

Korean POS tags comparison chart : https://docs.google.com/spreadsheets/d/1OGAjUvalBuX-oZvZ_-9tEfYD2gQe7hTGsgUpiiBSXI8/edit#gid=0

pprint(hannanum.pos(c[:65]))

pprint(kkma.pos(c[:65]))

pprint(twitter.pos(c[:65]))