반응형
반응형

Awesome-Korean-NLP


Github https://github.com/datanada/Awesome-Korean-NLP


참고 : http://konlpy.org/en/v0.4.4/



A curated list of Natural Language Processing (NLP) of

  • NLP of Korean Text
  • NLP information written in Korean.

Feel free to contribute! or blab it here

Maintainer: Jaemin Cho

Index

  1. Tools
  2. Dataset
  3. Blogs / Slides / Researchers
  4. Papers
  5. Lectures
  6. Journals / Conferences / Institutes / Events
  7. Online Communities
  8. How to contribute

1. Tools

(Korean-specific tools are listed ahead of language-agnostic tools.)

1.1. Morpheme/형태소 분석기 + Part of Speech(PoS)/품사 Tagger

  • Hannanum (한나눔) (Java, C) [link]
    • KoNLPy (Python) [link]
  • Kkma (꼬꼬마) (Java) [link] [paper]
    • KoNLPy (Python) [link]
  • Komoran (Java) [link]
    • KoNLPy (Python) [link]
  • Mecab-ko (C++) [link]
    • KoNLPy (Python) [link]
  • Twitter (Scala, Java) [link]
    • KoNLPy (Python) [link]
    • .NET, Node.js, Python, Ruby, Elasitc Search bindings
  • dparser (REST API) [link]
  • UTagger [link]
  • Arirang (Lucence, Java) [link]
  • Rouzeta [link] [slide] [video]
  • seunjeon (Scala, Java) [link]
  • RHINO (라이노) [link]
  • KTS [paper]
  • 깜짝새 [link]

1.2. Named Entity(NE) Tagger / 개체명 인식기

1.3. Spell Checker / 맞춤법 검사기

  • PNU Spell Checker [link]
  • Naver Spell Checker [link]
  • Daum Spell Checker [link]
  • hunspell-ko [link]

1.4. Syntax Parser / 구문 분석기

  • dparser (REST API) [link]
  • NLP HUB (Java) [link]

1.5. Sentimental Analysis / 감정 분석기

1.6. Translator / 번역기

1.7. Packages

1.8. Others / 기타

  • Hangulpy (Python) [link]
    • 자동 조사/접미사 첨부, 자모 분해 및 결합
  • Hangulize (Python) [link]
    • 외래어 한글 변환
  • Hanja (Python) [link]
    • 한자 한글 변환
  • kroman [link]
  • hangul (Perl) [link]
    • Hangul Romanization
  • textrankr (Python) [link] [demo]
    • TextRank 기반 한국어 문서 요약
  • 한국어 Word2Vec [demo] [paper]
    • 한국어 Word2Vec의 analogy test 데모
  • 나쁜 단어 사전 [link]
    • crowdsourced dic about badword in korean

2. Dataset

  • Sejong Corpus [link]
  • KAIST Corpus [link]
  • Yonsei Univ. Corpus
  • Korea Univ. Corpus
  • Ulsan Univ. Corpus [link]
  • Wikipedia Dump [link] [Extractor]
  • NamuWiki Dump [link] [Extractor]
  • Naver News Archive [link]
  • Chosun Archive [link]
  • Naver sentiment movie corpus [link]
  • sci-news-sum-kr-50 [link]

3. Blogs / Slides / Researchers

3.1. Blogs

  • dsindex's blog [link]
  • 엑사젠, "혼자 힘으로 한국어 챗봇 개발하기" [link]
  • Beomsu Kim, "word2vec 관련 이론 정리" [link]
  • CPUU, "Google 자연어 처리 오픈소스 SyntaxNet 공개" (Korean tranlsation of Google blog) [link]
  • theeluwin, "python-crfsuite를 사용해서 한국어 자동 띄어쓰기를 학습해보자" [link]
  • Jaesoo Lim, "한국어 형태소 분석기 동향" [link]

3.2. Slides

  • Lucy Park, "한국어와 NLTK, Gensim의 만남" (PyCon APAC 2015) [link]
  • Jeongkyu Shin, "Building AI Chat bot using Python 3 & TensorFlow" (PyCon APAC 2016) [link]
  • Changki Lee, "RNN & NLP Application" (Kangwon Univ. Machine Learning course) [link]
  • Kyunghoon Kim, "뉴스를 재미있게 만드는 방법; 뉴스잼" (PyCon APAC 2016) [link]
  • Hongjoo Lee, "Python 으로 19대 국회 뽀개기" (PyCon APAC 2016) [link]
  • Kyumin Choi,"word2vec이 추천시스템을 만났을 때" (PyCon APAC 2015) [link]
  • 進藤裕之 (translated by Hongbae Kim), "딥러닝을 이용한 자연어처리의 연구동향" [link]
  • Hongbae Kim, "머신러닝의 자연어 처리기술(I)" [link]
  • Changki Lee, "자연어처리를 위한 기계학습 소개" [link]
  • Taeil Kim, Daeneung Son, "기계 번역 모델 기반 질의 교정 시스템" (Naver DEVIEW 2015) [link]

4. Papers

4.1. Korean

  • 김동준, 이연수, 장정선, 임해창, 고려대학교, (주)엔씨소프트, "한국어 대화 화행 분류를 위한 어휘 자질의 임베딩(2015년 동계학술발표회 논문집)" [paper] link dead

4.2. English

5. Lectures

5.1. Korean Lectures

  • Kangwon Univ. 자연언어처리 [link]
  • 데이터 사이언스 스쿨 [link]
  • SNU Data Mining / Business Analytics [link]

5.2. English Lectures

  • Stanford CS224n: Natural Language Processing [link] [YouTube]
  • Stanford CS224d: Deep Learning for Natural Language Processing [link] [YouTube]
  • NLTK with Python 3 for NLP (by Sentdex) [YouTube]
  • LDA Topic Models [link]

6. Conferences / Institutes / Events

6.1. Conferences

  • 한글 및 한국어 정보처리 학술대회 [link]
  • KIPS (한국정보처리학회) [link]
  • 한국음성학회 학술대회 [link]

6.2. Institutes

  • 언어공학연구회 [link]
    • 한글 및 한국어 정보처리 학술대회 (Since 1989, 매년 개최) [link]
    • 국어 정보 처리 시스템 경진대회 (Since 2010, 매년 개최, 주최: 문화체육관광부 및 국립국어원) [link]
    • 자연언어처리 튜토리얼 (비정기적) [link]
    • 자연어처리 및 정보검색 워크샵 [link]
  • 한국음성학회 [link]

6.3. Events / Contests

  • 국어 정보 처리 시스템 경진 대회 [link]

7. Online Communities

  • Tensorflow KR (Facebook Group) [link]
  • AI Korea (Facebook Group) [link]
  • Bot Group (Facebook Group) [link]
  • 바벨피쉬 (Facebook Group) [link]
  • Reddit Machine Learning Top posts [link]

8. How to contribute

  1. Fork this Repository, by clicking on "fork" icon at the top right corner.

  2. Get the link for the forked repo, by clicking on the green button on your page. something like, "https://github.com/[username]/Awesome-Korean-NLP.git"

  3. On your local machine, "git clone https://github.com/[username]/Awesome-Korean-NLP.git"

  4. "cd Awesome-Korean-NLP"

  5. open "README.md" with your favorite text editor.

  6. Edit.

  7. git commit -a -m "added section 8: emoticons"

  8. git push, and verify on your fork

  9. goto https://github.com/datanada/Awesome-Korean-NLP and create pull request.

  10. "compare across forks" with base: datanada/Awesome.. and head: [username]/Awesome..

[beginners guide]





.........

반응형
반응형

챗봇 시작해보기   https://www.slideshare.net/ssusercf5d12/ss-69518853


Python 으로 Slackbot 개발하기   https://www.slideshare.net/ssusercf5d12/python-slackbot


20170227 파이썬으로 챗봇_만들기     https://www.slideshare.net/KimSungdong1/20170227-72644192


머신러닝의 자연어 처리기술(I)    https://www.slideshare.net/ssuser06e0c5/i-64267027


인공지능, 기계학습 그리고 딥러닝  https://www.slideshare.net/JinwonLee9/ss-70446412  


[F2]자연어처리를 위한 기계학습 소개   https://www.slideshare.net/deview/f2-14341235





.

반응형
반응형

챗봇 개발을 위한 네이버 랩스 api



챗봇 개발을 위한 네이버 랩스 api

1. NAVER LABS 김정희 (jeonghee.kim@navercorp.com) 챗봇 개발을 위한 네이버 랩스 API

2. 2

3. 3 Services Devices

4. 4 Services Devices Ambient Intelligence Service Platform

5. 5 Services Devices Natural Language Interface

6. 6 Why Natural Language Interface ?

7. 7

8. 8

9. 9 제한된 interface 환경 Complex UX

10. 10 인간에게 가장 자연스러운 interface “Speech, Dialogue”

11. 11

12. 12

13. 13 Service Platform 이 된 메신저

14. 14 메신저에서 가장 자연스러운 Service UX “Dialogue”

15. 15 Pizza Service in Messenger

16. 16

17. • Chatbot 으로 서비스 하려면 ? 17

18. • Chatbot 으로 서비스 하려면 ? • ”슈프림피자 4개 주세요” • 무엇을 해야 할까? 18

19. • Chatbot 으로 서비스 하려면 ? • ”슈프림피자 4개 주세요” • 메뉴 : 슈프림피자 • 수량 : 4개 • 의도 : 주문 19

20. • Chatbot 으로 서비스 하려면 ? • ”슈프림피자 4개 주세요” • 메뉴 : 슈프림피자 • 수량 : 4개 • 의도 : 주문 • Natural Language Understanding 20

21. • Chatbot 으로 서비스 하려면 ? • ”슈프림피자 4개 주세요” • 메뉴 : 슈프림피자 • 수량 : 4개 • 의도 : 주문 • Natural Language Understanding • Who? 21

22. • Chatbot 으로 서비스 하려면 ? • ”슈프림피자 4개 주세요” • 메뉴 : 슈프림피자 • 수량 : 4개 • 의도 : 주문 • Natural Language Understanding • Who? • 서비스 개발자 • 어렵다. 귀찮다 22

23. Natural Language Understanding Natural Language 23

24. 24

25. 25 한국어

26. • 한국어 • 교착어 • 조사, 어미, 어간 • 형태소 분석 • 아버지가방에 들어가신다

27. 27

28. • 대화형 인터페이스를 만들 수 있는 엔진 및 개발 툴 • Named entity recognition 및 intent analysis 를 통한 자연어 처리 • Chat bot, app, service, device 등에 자연어 대화 인터페이스

29. • 한국어 자연어 처리 • 한국어 형태소 분석, 자연어 이해 • 한국어를 시작으로 global language 로 확장

30. Natural Language 30

31. • Built - in • Service - defined

32. • “슈프림피자 4개 주세요” • “치즈 3개로 바꿔주세요” • “4개”, “3개” • 수량 정보 • 자주 사용 예상되는 정보 • 수량, 주소, 인명 등 • 알아서 분석 해 줬으면… 32

33. • Built-in entity • 대화 서비스에서 많이 사용될 것으로 예상되는 entity • 장소, 인명, 시간 등 25개 제공 • Built-in intent • 대화 서비스에서 많이 사용될 것으로 예상되는 intent • Yes, no, cancel 등 7개 제공

34. • “슈프림 피자”, “치즈” • Service 에 따라 unique 한 정보 • 서비스 개발자가 직접 • Entity name • Entity list • 피자 메뉴 • 슈프림 : 수프림 • 페퍼로니 : 페페로니 • 치즈 : 치이즈 34

35. • Service-defined entity • 특정 서비스에서 필요하다고 생각되는 unique 한 entity 를 서비스 개발 자가 설정할 수 있는 tool • Ex) 커피 종류, 피자 종류 등 • Service-defined intent • 특정 서비스에서 필요하다고 생각되는 unique 한 intent 를 서비스 개발 자가 설정할 수 있는 tool • Ex) 피자 주문, 날씨 확인 등

36. User Messenger Service AMICA.ai Text NLU Result Service Response

37. • Dialogue management (DM) 은 제공하지 않는다. • Service response 를 결정할 때 dialogue history 사용은 service logic 에서 • DM 및 서비스 시나리오는 서비스 개발자가 직접 • 향후 개발 방향 • DM 까지 편하게 설계할 수 있도록

38. 38 if (!사이즈) printf( ”어떤 사이즈를 원하시나요”);

39. 39

40. 40 Q&A

반응형
반응형

인공지능 비서 앱 ‘네이버-클로바’ 베타 테스트 시작  


http://www.bloter.net/archives/279357



네이버가 ‘클로바‘를 탑재한 인공지능(AI) 비서 앱 ‘네이버-클로바’의 베타 테스트를 시작한다고 5월12일 밝혔다.


네이버는 AI 비서 서비스에 대한 이용자 접근성 강화를 위해 스마트폰 앱 형태로 출시, 이용자들이 스피커 등의 기기나 OS에 구애받지 않고 누구나 편리하게 활용할 수 있도록 했다. 이번 앱은 네이버와 라인이 공동 개발하고 있는 AI 플랫폼 클로바 기술을 적용해, 지식 정보 검색, 음악 추천, 통·번역, 영어회화, 감성 대화 등이 가능한 인공지능 비서를 표방한다.


‘네이버-클로바’의 가장 큰 강점은 지식 정보 검색이다. “올해 추석 언제야”, “500유로가 얼마야”와 같은 정답형 검색뿐 아니라 “한남동 회식 장소 추천해줘”, “영어 동화 들려줘” 등의 사용자가 원하는 정보도 추천한다.


음악 추천 같은 경우도 “신나는 노래 들려줘”, “80년대 여자 가수 노래 틀어줘” 등의 명령을 내리면, 다양한 조건과 취향에 맞는 음악을 바로 감상할 수 있다. 통역은 물론, 영어회화도 할 수 있다. “중국어(영어·일본어)로 ‘얼마에요’가 뭐야?” 등 외국어 통·번역과 함께 “영어 대화하자”라는 명령으로 영어대화 모드를 실행하고 영어 회화 연습도 할 수 있다.


이 외에도 “노래 불러줘”, “외로워”, “심심해” 등의 다양한 감정에 반응해 대화를 나눌 수 있는 등, 이용자들은 다양한 방식으로 AI 비서 서비스를 경험해볼 수 있다.


네이버는 “이용자들의 사용에 따라 학습하며 성장하는 AI 특성상, 네이버 AI 비서 앱 이용자들은 시간이 지날수록 자신에게 특화된 정보, 콘텐츠를 제공하는 차별화된 AI 비서 서비스 경험을 해 나가게 될 것으로 기대한다”라고 덧붙였다.


네이버는 이번 앱에 다양한 기능을 추가하며 비서의 지능을 높여갈 뿐 아니라, 이미 베타 테스트를 진행하고 있는 대화형 엔진 ‘네이버i’ 를 비롯한 ‘에어스(AiRS)’ 등 다양한 서비스를 통해 각각의 상황에서의 AI 사용성을 점검하며 클로바의 성능을 높여 나갈 계획이다.


안드로이드는 출시됐으며, iOS 버전은 조만간 출시 예정이다.

반응형
반응형
네이버, AI 기반 콘텐츠 큐레이션 서비스 ‘디스코’ 출시
AI 플랫폼 클로바의 추천 엔진을 탑재

네이버가 인공지능(AI) 플랫폼 클로바의 추천 엔진을 탑재한 콘텐츠 큐레이션 서비스 ‘디스코’(DISCO)를 출시했다고 5월31일 밝혔다. ‘콘텐츠’보다는 ‘추천’에 방점이 찍혀 있다. 디스코는 클로바의 고도화에 기여하는 서비스다.

디스코는 네이버의 콘텐츠 추천기술 ‘에어스'(AiRS) 등이 적용된 AI 플랫폼 클로바의 추천 엔진을 활용해 제작된 서비스다. 네이버는 ”갈수록 폭증하는 콘텐츠 환경에서 이용자가 자신의 취향에 맞는 콘텐츠를 서비스에서 발견하게 될 것이라는 의미로 ‘Discovery(발견)’에서 명명했다”라고 설명했다.

이용자는 디스코 앱을 실행하고 관심주제를 설정한 뒤, 해당 주제에 속하는 콘텐츠에 대해 ‘좋아’ 혹은 ‘싫어’ 같은 피드백을 제공한다. 그러면 디스코의 추천 엔진이 이용자 취향을 학습해, 이를 바탕으로 더욱 고도화된 추천 서비스를 제공한다. 이런 식으로 궁극적으로 이용자 취향에 맞는 콘텐츠들을 선별해 제공한다.

기본적으로는 이용자가 올린 콘텐츠 중에서 추천 콘텐츠를 고른다. 때문에 네이버가 제공하는 서비스이지만 브런치나 티스토리 등등 다양한 플랫폼의 글을 볼 수 있다. 이처럼 디스코는 내가 좋아하는 주제에 대한 콘텐츠 추천은 물론, 나와 콘텐츠 취향이 유사한 이용자들도 추천해 새로운 주제와 콘텐츠를 발견하고 함께 즐길 수 있도록 지원한다. 또한 비슷한 취향별로 이용자들이 자동 연계되는 구조를 통해, 생산자 혹은 큐레이터는 비슷한 취향의 이들에게 자신이 작성하고 수집한 정보를 자동으로 전달할 수 있다.

네이버는 “콘텐츠 유통을 위한 별도의 네트워크를 구축해야 했던 콘텐츠 생산자와 큐레이터는, 콘텐츠 작성과 수집에만 집중해도 기존 네트워크 이상 규모의 이용자들에게 자동으로 자신의 콘텐츠를 노출시킬 수 있게 됐다”라고 설명했다. 팔로워가 따로 없어도 자신이 생산한 콘텐츠를 유통시킬 수 있는 방법이 생겼다는 의미다. ‘비슷한 취향의 사람들이 좋아한 글’로 올려주는 방식이기 때문에 특정 분야만 잘 파도 어느 정도 유통이 될 수 있다.

개인 페이지에서는 자신이 ‘좋아’한 콘텐츠와 별도로 저장한 콘텐츠가 자동으로 분류 및 저장돼, 아카이브한 콘텐츠를 파악할 수 있도록 했다.

네이버는 “앞으로도 디스코 이용자들의 사용 행태와 다양한 피드백을 통해 서비스를 더욱 고도화하며, 지금까지와는 차별화되는 개인별 맞춤 콘텐츠 큐레이션 서비스를 선보여 나갈 예정”이라며 “디스코 이용자들의 피드백을 반영한 고도화된 추천 기술을 베타 테스트 진행 중인 인공지능 비서 앱 ‘네이버-클로바’의 사용성 개선에도 반영할 방침”이라고 밝혔다.


반응형
반응형






Botkit is a toolkit for making bot applications 


Botkit - Building Blocks for Building Bots


https://github.com/howdyai/botkit



Botkit은 메시징 플랫폼 내부에있는 유용하고 창조적 인 봇을 설계하고 실행하는 프로세스를 용이하게하기 위해 설계되었습니다. 봇은 메시지를 보내고받을 수있는 응용 프로그램으로, 대부분의 경우 사람과 함께 사용자로 표시됩니다.

일부 봇은 사람들처럼 말하고, 다른 봇들은 백그라운드에서 조용히 일하고, 다른 봇들은 현대 모바일 애플리케이션과 같은 인터페이스를 제공합니다. Botkit은 개발자에게 어떤 종류의 봇이라도 구축하는 데 필요한 도구를 제공합니다! 개발자가 API 엔드 포인트를 처리하는 대신 새로운 애플리케이션 및 경험을 개발하는 데 집중할 수 있도록 메시지를주고받는 인터페이스를 제공합니다.

Botkit을 사용하는 우리의 목표는 봇 건물을 쉽고 재미있게 만들고 말하기 기계로 가득차있는 미래를 창조하고자하는 욕구를 가진 누구나 쉽게 접근 할 수있게 만드는 것입니다! 우리는이 비전을 현실로 만들기위한 몇 가지 도구를 제공합니다.

Botkit은 다음을 비롯하여 널리 사용되는 메시징 플랫폼을 처리 할 수있는 포괄적 인 도구 세트를 제공합니다.



반응형

+ Recent posts