살면서 당신이 실패를 경험해보지 않았다면, 당신은 스스로를 당신의 한계 속에 밀어 넣어 본 적이 없다는 뜻입니다. 스스로를 한계 속에 밀어 넣지 않으면, 스스로가 가진 잠재력 또한 폭발시킬 수가 없습니다. - 레이 달리오
아직 큰 실패를 해보지 않았다는 것은 도전 대신 안주하는 삶을 살아가고 있다는 것과 같습니다. ‘무섭고 겁이 나더라도 기회가 오면 무조건 잡아라. 불편한 상황으로 자신을 밀어 넣어라. 성장과 편안함은 공존하지 않는다.’ 버지니아 로메티 IBM 회장의 주장 함께 보내드립니다.
피곤해야 잠이 옵니다. 몸과 마음이 둘 다 피곤해야 좋은 잠을 잘 수 있습니다. 둘 중 하나라도 피곤하지 않으면 잠이 오지 않습니다. 우리가 잘 아는 코카인이라는 마약은 우리를 피곤하지 않게 만듭니다. 사실은 우리의 몸이 아니라 뇌를 피곤하지 않게 만듭니다. 그래서 이것에 중독된 사람은 밤새도록 떠들고 춤추고 술을 마셔도 전혀 피곤하지 않습니다. 불면증의 원인은 피곤하지 않아서이고, 불면증의 치료는 피곤해지도록 만드는 것입니다.
- 천종길의《건강하고 즐거운 인생》중에서 -
* 맞습니다. 피곤해야 잠이 잘 옵니다. 그러나 피곤하다고 무조건 잠이 잘 오는 것은 아닙니다. 너무 피곤해도 잠을 이루지 못하고, 너무 늘어져도 잠을 못잡니다. 몸만 피곤하거나 마음만 피곤해도 안됩니다. 몸과 마음이 함께 균형있게 피곤해야 단잠을 이룰 수 있습니다.
그러나 ‘진짜’ 감성 분석, 데이터 과학에 기반해 실제 언어를 맥락에 맞게 이해하고 분석하는 것은 결코 쉬운 일이 아니었다. 그 현란했던 시각화와 프레젠테이션이 지나가고 난 자리에는 오히려 회의감이 남았다. 고객들이 많이 언급했다던 단어와 연관 단어들은 비즈니스에는 큰 도움이 되지 않았다. 실제 ‘어떤 감정에서 왜’ 그 단어가 나왔는지, 실제 소비자들이 어떤 단어나 문장을 통해 말하고자 하는 맥락적 의미가 무엇인지는 전혀 분석되지 않았기 때문이다. 실제로 데이터 과학자들은 감성 분석의 기반이 되는 자연어 처리에 대해 ‘되는 거 몇 개 빼고는 다 안 된다’고 자조적으로 말하기도 했다.
ratings_test.txt: 50K reviews held out for testing
ratings_train.txt: 150K reviews for training
각 파일에 있는 Column 은 <영화 아이디, 영화 평, 영화 평점> 입니다.
위의 세개의 파일을 raw형태로 다운로드 합니다.
Onebook 가상환경 하단에 NLP라는 폴더를 만들고 다운받은 파일을 이동합니다. "NaverMovieWord2Vec.py" 파이썬 파일을 새로 만들고 프로그래밍을 시작하겠습니다.
일단 저장된 파일을 csv를 사용해서 읽겠습니다. CSV란 Comma-separated values의 약자로서 CSV 파일은 각 라인의 컬럼들이 콤마로 분리된 텍스트 파일 포맷입니다. CSV 파일을 읽기 위해서는 먼저 파이썬에 기본 내장된 csv 모듈을 import 합니다. 다음 .csv 파일을 오픈하고 파일객체를 csv.reader(파일객체) 에 넣으면 됩니다. csv.reader() 함수는 Iterator 타입인 reader 객체를 리턴하므로 for 루프를 돌며 한 라인씩 가져올 수 있습니다. CSV 파일과 비슷하지만, 콤마 대신 Tab으로 컬럼을 분리하는 파일포맷을 TSV 파일이라 합니다. TSV 파일은 컬럼 delimiter만 차이가 나므로, csv 모듈의 reader() 혹은 writer() 함수에서 delimiter='\t' 옵션만 지정해 주면 나머지는 CSV와 동일합니다. Naver sentiment movie corpus는 탭으로 구분되어 있으므로 TSV를 읽는 방식으로 읽습니다.
여기에서 “Josa”, “Eomi”, “'Punctuation”는 제외하고 처리해야 합니다. 전체 소스는 다음과 같습니다.
import csv
from konlpy.tag import Okt
from gensim.models import word2vec
#네이버 영화 코퍼스를 읽는다.
f = open('ratings_train.txt', 'r', encoding='utf-8')
rdr = csv.reader(f, delimiter='\t')
rdw = list(rdr)
f.close()
#트위터 형태소 분석기를 로드한다. Twiter가 KoNLPy v0.4.5 부터 Okt로 변경 되었다.
twitter = Okt()
#텍스트를 한줄씩 처리합니다.
result = []
for line in rdw:
#형태소 분석하기, 단어 기본형 사용
malist = twitter.pos( line[1], norm=True, stem=True)
r = []
for word in malist:
#Josa”, “Eomi”, “'Punctuation” 는 제외하고 처리
if not word[1] in ["Josa","Eomi","Punctuation"]:
r.append(word[0])
#형태소 사이에 공백 " " 을 넣습니다. 그리고 양쪽 공백을 지웁니다.
rl = (" ".join(r)).strip()
result.append(rl)
#print(rl)
#형태소들을 별도의 파일로 저장 합니다.
with open("NaverMovie.nlp",'w', encoding='utf-8') as fp:
fp.write("\n".join(result))
#Word2Vec 모델 만들기
wData = word2vec.LineSentence("NaverMovie.nlp")
wModel =word2vec.Word2Vec(wData, size=200, window=10, hs=1, min_count=2, sg=1)
wModel.save("NaverMovie.model")
print("Word2Vec Modeling finished")
위의 코드를 실행하면 종료 할 때까지 많은 시간이 걸립니다. 결과는 NaverMovie.model 파일입니다. 어미, 조사, 구두점을 제외하고 동사와 형용사는 기본형으로 학습하도록 입력 텍스트를 만들었습니다. 공백으로 구분된 텍스트 파일을 Word2Vec에 전달하고 생성된 모델을 save()로 저장했습니다.
이제 위에서 생성한 모델을 사용하여 단어 유사도를 확인해 보겠습니다.
다시 NaverMovieModelTest.py 라는 파일을 만들어 다음의 코드를 입력 해 봅니다.
from gensim.models import word2vec
model = word2vec.Word2Vec.load("NaverMovie.model")
print(model.most_similar(positive=["재미"]))
print(model.most_similar(positive=["최고"]))
