How to Make a Chatbot - Intro to Deep Learning #12

Code + Challenge for this video:
https://github.com/llSourcell/How_to_...

Nemanja's Winning Code:
https://github.com/Nemzy/language-tra...

Vishal's Runner up code:
https://github.com/erilyth/DeepLearni...

Web app to run the code yourself:
https://ethancaballero.pythonanywhere...

Please subscribe! And like. And comment. That's what keeps me going. 

More Learning resources:
https://www.youtube.com/watch?v=FCtpH...
https://www.youtube.com/watch?v=Qf0Bq...
https://yerevann.github.io/2016/02/05...
https://www.youtube.com/watch?v=2A5DK...
http://www.wildml.com/2016/01/attenti...
https://github.com/domluna/memn2n

...

Awesome-Korean-NLP

Github : https://github.com/datanada/Awesome-Korean-NLP

참고 : http://konlpy.org/en/v0.4.4/

A curated list of Natural Language Processing (NLP) of

• NLP of Korean Text
• NLP information written in Korean.

Feel free to contribute! or blab it here

Maintainer: Jaemin Cho

Index

1. Tools
2. Dataset
3. Blogs / Slides / Researchers
4. Papers
5. Lectures
6. Journals / Conferences / Institutes / Events
7. Online Communities
8. How to contribute

1. Tools

(Korean-specific tools are listed ahead of language-agnostic tools.)

1.1. Morpheme/형태소 분석기 + Part of Speech(PoS)/품사 Tagger

• Hannanum (한나눔) (Java, C) [link]
  • KoNLPy (Python) [link]
• Kkma (꼬꼬마) (Java) [link] [paper]
  • KoNLPy (Python) [link]
• Komoran (Java) [link]
  • KoNLPy (Python) [link]
• Mecab-ko (C++) [link]
  • KoNLPy (Python) [link]
• Twitter (Scala, Java) [link]
  • KoNLPy (Python) [link]
  • .NET, Node.js, Python, Ruby, Elasitc Search bindings
• dparser (REST API) [link]
• UTagger [link]
• Arirang (Lucence, Java) [link]
• Rouzeta [link] [slide] [video]
• seunjeon (Scala, Java) [link]
• RHINO (라이노) [link]
• KTS [paper]
• 깜짝새 [link]

1.2. Named Entity(NE) Tagger / 개체명 인식기

• annie [link]

1.3. Spell Checker / 맞춤법 검사기

• PNU Spell Checker [link]
• Naver Spell Checker [link]
• Daum Spell Checker [link]
• hunspell-ko [link]

1.4. Syntax Parser / 구문 분석기

• dparser (REST API) [link]
• NLP HUB (Java) [link]

1.5. Sentimental Analysis / 감정 분석기

• OpenHangul (오픈한글) [link] [paper]

1.6. Translator / 번역기

• Naver NMT [link]
• OpenNMT [link]
• Google Translator [link]

1.7. Packages

• KoNLP (R) [link]
• KoNLPy (Python) [link] [paper]
• KoalaNLP (Scala) [link]
• NLTK (Python) [link] [paper]
• gensim (Python) [link]
• FastText (C) [link]
  • FastText.py (Python) [link]

1.8. Others / 기타

• Hangulpy (Python) [link]
  • 자동 조사/접미사 첨부, 자모 분해 및 결합
• Hangulize (Python) [link]
  • 외래어 한글 변환
• Hanja (Python) [link]
  • 한자 한글 변환
• kroman [link]
  • Hangul Romanization
  • Ruby, Python, NodeJS, Objective-C, Swift
• hangul (Perl) [link]
  • Hangul Romanization
• textrankr (Python) [link] [demo]
  • TextRank 기반 한국어 문서 요약
• 한국어 Word2Vec [demo] [paper]
  • 한국어 Word2Vec의 analogy test 데모
• 나쁜 단어 사전 [link]
  • crowdsourced dic about badword in korean

2. Dataset

• Sejong Corpus [link]
• KAIST Corpus [link]
• Yonsei Univ. Corpus
• Korea Univ. Corpus
• Ulsan Univ. Corpus [link]
• Wikipedia Dump [link] [Extractor]
• NamuWiki Dump [link] [Extractor]
• Naver News Archive [link]
• Chosun Archive [link]
• Naver sentiment movie corpus [link]
• sci-news-sum-kr-50 [link]

3. Blogs / Slides / Researchers

3.1. Blogs

• dsindex's blog [link]
• 엑사젠, "혼자 힘으로 한국어 챗봇 개발하기" [link]
• Beomsu Kim, "word2vec 관련 이론 정리" [link]
• CPUU, "Google 자연어 처리 오픈소스 SyntaxNet 공개" (Korean tranlsation of Google blog) [link]
• theeluwin, "python-crfsuite를 사용해서 한국어 자동 띄어쓰기를 학습해보자" [link]
• Jaesoo Lim, "한국어 형태소 분석기 동향" [link]

3.2. Slides

• Lucy Park, "한국어와 NLTK, Gensim의 만남" (PyCon APAC 2015) [link]
• Jeongkyu Shin, "Building AI Chat bot using Python 3 & TensorFlow" (PyCon APAC 2016) [link]
• Changki Lee, "RNN & NLP Application" (Kangwon Univ. Machine Learning course) [link]
• Kyunghoon Kim, "뉴스를 재미있게 만드는 방법; 뉴스잼" (PyCon APAC 2016) [link]
• Hongjoo Lee, "Python 으로 19대 국회 뽀개기" (PyCon APAC 2016) [link]
• Kyumin Choi,"word2vec이 추천시스템을 만났을 때" (PyCon APAC 2015) [link]
• 進藤裕之 (translated by Hongbae Kim), "딥러닝을 이용한 자연어처리의 연구동향" [link]
• Hongbae Kim, "머신러닝의 자연어 처리기술(I)" [link]
• Changki Lee, "자연어처리를 위한 기계학습 소개" [link]
• Taeil Kim, Daeneung Son, "기계 번역 모델 기반 질의 교정 시스템" (Naver DEVIEW 2015) [link]

4. Papers

4.1. Korean

• 김동준, 이연수, 장정선, 임해창, 고려대학교, (주)엔씨소프트, "한국어 대화 화행 분류를 위한 어휘 자질의 임베딩(2015년 동계학술발표회 논문집)" [paper] link dead

4.2. English

5. Lectures

5.1. Korean Lectures

• Kangwon Univ. 자연언어처리 [link]
• 데이터 사이언스 스쿨 [link]
• SNU Data Mining / Business Analytics [link]

5.2. English Lectures

• Stanford CS224n: Natural Language Processing [link] [YouTube]
• Stanford CS224d: Deep Learning for Natural Language Processing [link] [YouTube]
• NLTK with Python 3 for NLP (by Sentdex) [YouTube]
• LDA Topic Models [link]

6. Conferences / Institutes / Events

6.1. Conferences

• 한글 및 한국어 정보처리 학술대회 [link]
• KIPS (한국정보처리학회) [link]
• 한국음성학회 학술대회 [link]

6.2. Institutes

• 언어공학연구회 [link]
  • 한글 및 한국어 정보처리 학술대회 (Since 1989, 매년 개최) [link]
  • 국어 정보 처리 시스템 경진대회 (Since 2010, 매년 개최, 주최: 문화체육관광부 및 국립국어원) [link]
  • 자연언어처리 튜토리얼 (비정기적) [link]
  • 자연어처리 및 정보검색 워크샵 [link]
• 한국음성학회 [link]

6.3. Events / Contests

• 국어 정보 처리 시스템 경진 대회 [link]

7. Online Communities

• Tensorflow KR (Facebook Group) [link]
• AI Korea (Facebook Group) [link]
• Bot Group (Facebook Group) [link]
• 바벨피쉬 (Facebook Group) [link]
• Reddit Machine Learning Top posts [link]

8. How to contribute

1. Fork this Repository, by clicking on "fork" icon at the top right corner.

2. Get the link for the forked repo, by clicking on the green button on your page. something like, "https://github.com/[username]/Awesome-Korean-NLP.git"

3. On your local machine, "git clone https://github.com/[username]/Awesome-Korean-NLP.git"

4. "cd Awesome-Korean-NLP"

5. open "README.md" with your favorite text editor.

6. Edit.

7. git commit -a -m "added section 8: emoticons"

8. git push, and verify on your fork

9. goto https://github.com/datanada/Awesome-Korean-NLP and create pull request.

10. "compare across forks" with base: datanada/Awesome.. and head: [username]/Awesome..

[beginners guide]

.........

챗봇 시작해보기   https://www.slideshare.net/ssusercf5d12/ss-69518853

Python 으로 Slackbot 개발하기   https://www.slideshare.net/ssusercf5d12/python-slackbot

20170227 파이썬으로 챗봇_만들기     https://www.slideshare.net/KimSungdong1/20170227-72644192

머신러닝의 자연어 처리기술(I)    https://www.slideshare.net/ssuser06e0c5/i-64267027

인공지능, 기계학습 그리고 딥러닝  https://www.slideshare.net/JinwonLee9/ss-70446412  

[F2]자연어처리를 위한 기계학습 소개   https://www.slideshare.net/deview/f2-14341235

.

모두를 위한 딥러닝 - Deep Reinforcement Learning

1. 강좌 소개

본 Reinforcement Learning(강화학습) 강좌는 홍콩과학기술대학교의 김성훈 교수님의 ‘모두를 위한 딥러닝’ 시리즈의 두번째 강좌입니다. 앞선 강좌로  기본적인 머신러닝과 딥러닝 강좌 가 있습니다.

일주일에 한강좌씩 천천이 업데이트 예정입니다.

알파고와 이세돌의 경기를 보면서 이제 머신 러닝이 인간이 잘 한다고 여겨진 직관과 의사 결정능력에서도 충분한 데이타가 있으면 어느정도 또는 우리보다 더 잘할수도 있다는 생각을 많이 하게 되었습니다. Andrew Ng 교수님이 말씀하신것 처럼 이런 시대에 머신 러닝을 잘 이해하고 잘 다룰수 있다면 그야말로 “Super Power”를 가지게 되는 것이 아닌가 생각합니다.

더 많은 분들이 머신 러닝과 딥러닝에 대해 더 이해하고 본인들의 문제를 이 멋진 도구를 이용해서 풀수 있게 하기위해 비디오 강의를 준비하였습니다. 더 나아가 이론에만 그치지 않고 최근 구글이 공개한 머신러닝을 위한 오픈소스인 TensorFlow를 이용해서 이론을 구현해 볼수 있도록 하였습니다.

이 머신러닝, 딥러닝 강좌는 수학이나 컴퓨터 공학적인 지식이 없이도 쉽게 볼수 있도록 만들려고 노력하였습니다.

2. 도움되는 분들

• 인공지능에 대해 관심이 있는 누구나
• 머닝러신, 딥러닝의 개념을 이해하고 싶으신분
• 머닝러신의 직접 구현해보고 싶으신 분
• 앞선 기본적인 머신러닝과 딥러닝 강좌 를 학습하신 분
• 강화학습에 대해 관심이 있는 분

3. 참고자료

이 비디오는 저도 인터넷등을 통해 공부하면서 만든것이며 아래 자료를 많이 사용하였습니다.

• Andrew Ng’s and other ML tutorials
  • https://class.coursera.org/ml-003/lecture
  • http://www.holehouse.org/mlclass/ (note)
  • Deep Learning Tutorial
• Convolutional Neural Networks for Visual Recognition.
  • http://cs231n.github.io/
• Tensorflow
  • https://www.tensorflow.org
  • https://github.com/aymericdamien/TensorFlow-Examples
  • Deep learning @Udicity

4. 지식공유자 소개

김성훈

Hong Kong University of Science and Technology 에서 컴퓨터 공학쪽으로 연구를 하고 있습니다.
비디오나 강의에 대한 의견이 있으시면 아래로 이메일을 보내 주시면 됩니다.
hunkim+ml@gmail.com

텐서플로  https://www.tensorflow.org/

구글(Google)사에서 개발한 기계 학습(machine learning) 엔진. 검색, 음성 인식, 번역 등의 구글 앱에 사용되는 기계 학습용 엔진으로, 2015년에 공개 소스 소프트웨어(open source software)로 전환되었다.

 텐서플로는 C++ 언어로 작성되었고, 파이선(Python) 응용 프로그래밍 인터페이스(API)를 제공한다.

텐서플로는 빠르고 유연하여 한 대의 스마트 폰에서도 운영될 수 있고, 데이터센터의 수천 대 컴퓨터에서도 동작될 수 있다.

Google : https://googleblog.blogspot.kr/2015/11/tensorflow-smarter-machine-learning-for.html

Github : https://github.com/tensorflow/tensorflow

FB Sight에 오신것을 환영합니다 (Terms of Service)!  : http://fbsight.com/c/TF-KR

TensorFlow™ is an open source software library for numerical computation using data flow graphs. Nodes in the graph represent mathematical operations, while the graph edges represent the multidimensional data arrays (tensors) communicated between them. The flexible architecture allows you to deploy computation to one or more CPUs or GPUs in a desktop, server, or mobile device with a single API. TensorFlow was originally developed by researchers and engineers working on the Google Brain Team within Google's Machine Intelligence research organization for the purposes of conducting machine learning and deep neural networks research, but the system is general enough to be applicable in a wide variety of other domains as well.

.

인공지능 알파고와 세기의 대결로 역사가 되다

지난 3월 이세돌 9단과 인공지능 알파고가 벌인 바둑 대국은 한국뿐 아니라 전 세계의 이목을 집중시켰다. 모두 5회의 대국 결과 인공지능의 승리로 끝났지만 끝까지 포기하지 않은 이세돌 9단에게 사람들은 격려와 찬사를 보냈다. 주요 서점에서는 ‘이세돌’이란 고유명사가 제목에 들어간 책들이 불티나게 팔리는 현상도 벌어졌다. 

http://www.seri.org/ic/icDBRV.html?s_menu=0608&pubkey=ic20161125001&menu_gbn=9&menucd=0601

http://t-robotics.blogspot.kr/2016/03/12.html#.VuJRGPmLSCo

알파고가 시사하는 인류 사회의 미래

인간이 모든 부분에서 우월하던 시기가 있었다. 하지만 증기기관을 시작으로 '힘'에서 기계가 인간을 압도하는 시기가 왔고, 이후엔 인간의 우월함은 힘이 아닌 '지능'으로 믿어져왔다. 하지만 계산기의 발명 이후 더이상 '계산'이란 부분은 인간의 장점이 아니게 되었으며, 결국 인간의 장점은 계산이 아닌 '모호함 속에 지식을 찾아내는 능력' 또는 '창의성'이 아닌가 싶었다.

하지만 이 마저도 정복당할 위기에 처했다. 머신러닝의 발달로 인해서 말이다. 모호함 속에서 지식을 추출하는 일을 머신러닝이 결국 해냈고, 나아가 알파고의 승리가 시사하는 바는, 이러한 패턴인식이 기존의 논리적 인공지능 방식과 결합할 수 있다는 점이었다. 멀게만 보였던 '논리(연산)'와 '경험(데이터)'이 처음으로 성공적인 합체를 이루는 순간이다.

그럼 정말 모든 분야가 정복된 것일까? 그것은 아니다. 바둑은 세상에서 가장 복잡한 "보드게임"일 뿐, 세상인 이보다 훨씬 모호한 일들이 많다. 아직까지는 인간의 우위이다. 하지만 그 차이는 점점, 아주 빠르게 좁혀지고 있다.

결국 미래엔 '인공지능 위의 인간'과 '인공지능 아래의 인간'으로 나눠지는 시대가 올 것이다.

지금보다 많은 영역이 자동화 기기로 대체될 것이며, 오직 인공지능 위의 인간만이 엄청난 임금을 받는 일이 발생할 것이다. 노동을 할 수 있다는 것은 일부만 노릴 수 있는 특권이 될 것이며, 미래사회는 '대부분이 고용되는 세상'을 벗어나 '대부분이 실업자인 세상'을 맞이해야 할 것이다. 기존엔 사회적 혁명이 민중의 피로 빚어졌겠지만 이젠 아니다. 테크놀로지의 역습은 이보다 더 큰 막을 수 없는 사회적 광풍을 몰고 올 것이다.

첨언하자면, 늘 주장하지만 인간이 우월함을 가지는 분야는 어쩌면 지능이 아닐지도 모른다. 인간의 지능은 저렴한 CPU, GPU 들의 연산 능력과 고도로 발달된 알고리즘에 의해 정복당할 위기에 처해있다. 물론 당장은 아니지만 내 살아 생전에는 꼭 일어날 것이라고 확신한다. (오래 살아야지...) 결국 머리를 써서 노동할 수 있는 인간은 극소수일 것이며, 드디어 기계과 인간의 힘과 지능을 모두 압도하는 제 2의 기계시대가 오는 것이다.

그렇다면 인간의 우월함은 어디에 있을까? 필자는 바로 "움직임"에 있다고 생각한다.

DARPA Robotic Challenge에 나온 어리숙한 동작의 휴머노이드 로봇들을 본 사람들이라면 아마 동의할 것이다. 인간의 장점은 어쩌면 머리에 있지 않고 우리의 몸에 있다. 사람의 뇌는 엄청 많은 CPU와 GPU가 대체할 수 있을지 몰라도 사람 몸 속의 수많은 근육들과 이들의 협응은 아직 베일에 쌓여있다. 따라서 유연한 움직임을 결합한 지능이 인간의 우월점이 될 것이란 것이다. "인간처럼 사물을 인식하는 인공지능을 만들 수 있나요?"에 대한 정답은 가까워보이지만 "인간처럼 움직일 수 있는 로봇을 만들 수 있나요?"라는 답은 아직도 갈 길이 요원해 보인다.

물론 이것도 언젠간 정복될 것이다. 하지만 그것이 정복되기 전까지 인공지능이 대부분의 일자리를 뺏어간 상황에서 "몸을 쓰는 직업"들은 여전히 존재할 것이며, 인공지능 이후엔 "움직임"을 정복하려는 기술적 도전이 있을 것이다.