본문 바로가기

Kkma

[python] 한글 토큰화 한국어는 교착어이다. 한국어는 띄어쓰기가 영어보다 잘 지켜지지 않는다. NLTK와 KoNLPy를 이용한 영어, 한국어 토큰화 실습 NLTK에서는 영어 코퍼스에 품사 태깅 기능을 지원하고 있습니다. 품사를 어떻게 명명하고, 태깅하는지의 기준은 여러가지가 있는데, NLTK에서는 Penn Treebank POS Tags라는 기준을 사용합니다. 실제로 NLTK를 사용해서 영어 코퍼스에 품사 태깅을 해보도록 하겠습니다. nltk 에러나면 CMD에서 pip install nltk >>> from nltk.tokenize import word_tokenize Traceback (most recent call last): File "", line 1, in from nltk.tokenize import word_tok.. 더보기
konlpy 한국어 처리 패키지 konlpy 한국어 처리 패키지 https://datascienceschool.net/view-notebook/70ce46db4ced4a999c6ec349df0f4eb0/ konlpy는 한국어 정보처리를 위한 파이썬 패키지이다. http://konlpy.org/ko/latest/https://github.com/konlpy/konlpykonlpy는 다음과 같은 다양한 형태소 분석, 태깅 라이브러리를 파이썬에서 쉽게 사용할 수 있도록 모아놓았다. Kkmahttp://kkma.snu.ac.kr/Hannanumhttp://semanticweb.kaist.ac.kr/hannanum/Twitterhttps://github.com/twitter/twitter-korean-text/Komoranhttp://www.s.. 더보기