반응형

tensorflow, macbook, anaconda 설치하고 실행해보기. 할때마다 새롭다. 


두번째 MACbook pro에서 설치해보기. 

영어가 짧아서 install tensorflow의 설치 방법이 4가지가 있다. 를  4개다 설치해보는 걸로 ㅋㅋ


anaconda를 설치해서 터미널로 실행해보는게 익숙한 느낌이다. PyCharm을 어떻게 셋팅해야 터미널에서 실행하는 것 처럼 하는지 아직은... 


anaconda에서 패키지 설치하고, 터미널에서도 설치하고 뒤죽박죽, 왠지 수박 겉 핡고 있는 느낌이랄까. 


https://tensorflowkorea.gitbooks.io/tensorflow-kr 를 기준으로 보고 셋팅하는게 나을듯하다. 


회사에서는 윈도우 PC로 PyCharm으로 돌리고 있다. 얕은 지식이 오락가락 ㅋㅋㅋ 맥북은 익숙하지도 않고. 


"깃허브의 주소는 https://github.com/tensorflowkorea/tensorflow-kr 입니다.

깃북의 주소는 https://tensorflowkorea.gitbooks.io/tensorflow-kr 입니다.

깃허브의 작업 방법에 대해서는 블로그 포스팅을 참고해 주세요."

라고 되어있으니 잘 참고해야지 




.

반응형
반응형

Awesome-Korean-NLP


Github https://github.com/datanada/Awesome-Korean-NLP


참고 : http://konlpy.org/en/v0.4.4/



A curated list of Natural Language Processing (NLP) of

  • NLP of Korean Text
  • NLP information written in Korean.

Feel free to contribute! or blab it here

Maintainer: Jaemin Cho

Index

  1. Tools
  2. Dataset
  3. Blogs / Slides / Researchers
  4. Papers
  5. Lectures
  6. Journals / Conferences / Institutes / Events
  7. Online Communities
  8. How to contribute

1. Tools

(Korean-specific tools are listed ahead of language-agnostic tools.)

1.1. Morpheme/형태소 분석기 + Part of Speech(PoS)/품사 Tagger

  • Hannanum (한나눔) (Java, C) [link]
    • KoNLPy (Python) [link]
  • Kkma (꼬꼬마) (Java) [link] [paper]
    • KoNLPy (Python) [link]
  • Komoran (Java) [link]
    • KoNLPy (Python) [link]
  • Mecab-ko (C++) [link]
    • KoNLPy (Python) [link]
  • Twitter (Scala, Java) [link]
    • KoNLPy (Python) [link]
    • .NET, Node.js, Python, Ruby, Elasitc Search bindings
  • dparser (REST API) [link]
  • UTagger [link]
  • Arirang (Lucence, Java) [link]
  • Rouzeta [link] [slide] [video]
  • seunjeon (Scala, Java) [link]
  • RHINO (라이노) [link]
  • KTS [paper]
  • 깜짝새 [link]

1.2. Named Entity(NE) Tagger / 개체명 인식기

1.3. Spell Checker / 맞춤법 검사기

  • PNU Spell Checker [link]
  • Naver Spell Checker [link]
  • Daum Spell Checker [link]
  • hunspell-ko [link]

1.4. Syntax Parser / 구문 분석기

  • dparser (REST API) [link]
  • NLP HUB (Java) [link]

1.5. Sentimental Analysis / 감정 분석기

1.6. Translator / 번역기

1.7. Packages

1.8. Others / 기타

  • Hangulpy (Python) [link]
    • 자동 조사/접미사 첨부, 자모 분해 및 결합
  • Hangulize (Python) [link]
    • 외래어 한글 변환
  • Hanja (Python) [link]
    • 한자 한글 변환
  • kroman [link]
  • hangul (Perl) [link]
    • Hangul Romanization
  • textrankr (Python) [link] [demo]
    • TextRank 기반 한국어 문서 요약
  • 한국어 Word2Vec [demo] [paper]
    • 한국어 Word2Vec의 analogy test 데모
  • 나쁜 단어 사전 [link]
    • crowdsourced dic about badword in korean

2. Dataset

  • Sejong Corpus [link]
  • KAIST Corpus [link]
  • Yonsei Univ. Corpus
  • Korea Univ. Corpus
  • Ulsan Univ. Corpus [link]
  • Wikipedia Dump [link] [Extractor]
  • NamuWiki Dump [link] [Extractor]
  • Naver News Archive [link]
  • Chosun Archive [link]
  • Naver sentiment movie corpus [link]
  • sci-news-sum-kr-50 [link]

3. Blogs / Slides / Researchers

3.1. Blogs

  • dsindex's blog [link]
  • 엑사젠, "혼자 힘으로 한국어 챗봇 개발하기" [link]
  • Beomsu Kim, "word2vec 관련 이론 정리" [link]
  • CPUU, "Google 자연어 처리 오픈소스 SyntaxNet 공개" (Korean tranlsation of Google blog) [link]
  • theeluwin, "python-crfsuite를 사용해서 한국어 자동 띄어쓰기를 학습해보자" [link]
  • Jaesoo Lim, "한국어 형태소 분석기 동향" [link]

3.2. Slides

  • Lucy Park, "한국어와 NLTK, Gensim의 만남" (PyCon APAC 2015) [link]
  • Jeongkyu Shin, "Building AI Chat bot using Python 3 & TensorFlow" (PyCon APAC 2016) [link]
  • Changki Lee, "RNN & NLP Application" (Kangwon Univ. Machine Learning course) [link]
  • Kyunghoon Kim, "뉴스를 재미있게 만드는 방법; 뉴스잼" (PyCon APAC 2016) [link]
  • Hongjoo Lee, "Python 으로 19대 국회 뽀개기" (PyCon APAC 2016) [link]
  • Kyumin Choi,"word2vec이 추천시스템을 만났을 때" (PyCon APAC 2015) [link]
  • 進藤裕之 (translated by Hongbae Kim), "딥러닝을 이용한 자연어처리의 연구동향" [link]
  • Hongbae Kim, "머신러닝의 자연어 처리기술(I)" [link]
  • Changki Lee, "자연어처리를 위한 기계학습 소개" [link]
  • Taeil Kim, Daeneung Son, "기계 번역 모델 기반 질의 교정 시스템" (Naver DEVIEW 2015) [link]

4. Papers

4.1. Korean

  • 김동준, 이연수, 장정선, 임해창, 고려대학교, (주)엔씨소프트, "한국어 대화 화행 분류를 위한 어휘 자질의 임베딩(2015년 동계학술발표회 논문집)" [paper] link dead

4.2. English

5. Lectures

5.1. Korean Lectures

  • Kangwon Univ. 자연언어처리 [link]
  • 데이터 사이언스 스쿨 [link]
  • SNU Data Mining / Business Analytics [link]

5.2. English Lectures

  • Stanford CS224n: Natural Language Processing [link] [YouTube]
  • Stanford CS224d: Deep Learning for Natural Language Processing [link] [YouTube]
  • NLTK with Python 3 for NLP (by Sentdex) [YouTube]
  • LDA Topic Models [link]

6. Conferences / Institutes / Events

6.1. Conferences

  • 한글 및 한국어 정보처리 학술대회 [link]
  • KIPS (한국정보처리학회) [link]
  • 한국음성학회 학술대회 [link]

6.2. Institutes

  • 언어공학연구회 [link]
    • 한글 및 한국어 정보처리 학술대회 (Since 1989, 매년 개최) [link]
    • 국어 정보 처리 시스템 경진대회 (Since 2010, 매년 개최, 주최: 문화체육관광부 및 국립국어원) [link]
    • 자연언어처리 튜토리얼 (비정기적) [link]
    • 자연어처리 및 정보검색 워크샵 [link]
  • 한국음성학회 [link]

6.3. Events / Contests

  • 국어 정보 처리 시스템 경진 대회 [link]

7. Online Communities

  • Tensorflow KR (Facebook Group) [link]
  • AI Korea (Facebook Group) [link]
  • Bot Group (Facebook Group) [link]
  • 바벨피쉬 (Facebook Group) [link]
  • Reddit Machine Learning Top posts [link]

8. How to contribute

  1. Fork this Repository, by clicking on "fork" icon at the top right corner.

  2. Get the link for the forked repo, by clicking on the green button on your page. something like, "https://github.com/[username]/Awesome-Korean-NLP.git"

  3. On your local machine, "git clone https://github.com/[username]/Awesome-Korean-NLP.git"

  4. "cd Awesome-Korean-NLP"

  5. open "README.md" with your favorite text editor.

  6. Edit.

  7. git commit -a -m "added section 8: emoticons"

  8. git push, and verify on your fork

  9. goto https://github.com/datanada/Awesome-Korean-NLP and create pull request.

  10. "compare across forks" with base: datanada/Awesome.. and head: [username]/Awesome..

[beginners guide]





.........

반응형
반응형

챗봇 시작해보기   https://www.slideshare.net/ssusercf5d12/ss-69518853


Python 으로 Slackbot 개발하기   https://www.slideshare.net/ssusercf5d12/python-slackbot


20170227 파이썬으로 챗봇_만들기     https://www.slideshare.net/KimSungdong1/20170227-72644192


머신러닝의 자연어 처리기술(I)    https://www.slideshare.net/ssuser06e0c5/i-64267027


인공지능, 기계학습 그리고 딥러닝  https://www.slideshare.net/JinwonLee9/ss-70446412  


[F2]자연어처리를 위한 기계학습 소개   https://www.slideshare.net/deview/f2-14341235





.

반응형
반응형

스탠포드 고교생 김가은, “머신러닝으로 의학 연구해요”


http://www.bloter.net/archives/274798


최근 전세계적으로 프로그래밍 교육이 확산되고 있지만 ‘프로그래밍을 과연 아이들에게 가르쳐야 하는가’라는 반론과 이에 대한 과정도 존재한다. 과연 초·중·고교생에게 프로그래밍을 알려주면 어떤 결과가 생길까? 이러한 논란 속에 직접 프로그래밍을 독학하고 새로운 실험을 진행하고 있는 17살 고등학생인 김가은 양을 만나보았다. 현재 김가은 양에게 프로그래밍이란 꿈을 이루기 위한 중요한 수단으로 자리잡고 있다고 한다.


17살 학생의 머신러닝 연구


김가은 학생은 3월18일 싱가포르에서 열린 오픈소스 아시아 서밋 ‘포스아시아’ 발표자로 나섰다. 주제는 ‘머신러닝과 메디컬 이미징 : 암 조기 진단의 미래’였다. 20-30명이 모인 강당에서 김가은 학생은 유창한 영어로 발표를 20분간 이어나갔다. 몇몇 청중은 김가은 학생의 프로필을 보고 웅성거렸는데, 특히 그녀의 나이를 확인하곤 매우 놀라워했다. 발표 내용도 이제 고등학생이라고 하기엔 굉장히 깊은 내용이었다. 발표 끝나고 청중들은 큰 박수를 보냈고, ‘대단하다’라는 격려를 김가은 학생에게 직접 건내기도 했다.


김가은 학생은 현재 스탠포드 온라인고등학교에 재학중이다. 스탠포드 온라인 고등학교는 스탠포드대학이 2006년에 설립한 정식 고등학교로, 모든 수업과 활동을 온라인으로 진행하고 있다. 김가은 학생은 초등학교 5학년까지 한국에서 학교를 다니다가 바로 스탠포드 온라인 고등학교로 옮겨 중학교 생활을 보냈다. 그렇다고 따로 미국으로 거주지를 옮긴 것은 아니다. 현재 3년 넘게 한국에서 스탠포드 온라인 고등학교를 다니고 있으며, 미국 현지 시간에 맞춰 수업은 새벽에 듣고 있다.



김가은 학생은 스탠포드대학에서 개최한 여름캠프를 통해 스탠포드 온라인 고등학교를 알게 됐다고 한다. 홈페이지를 통해 우연히 발견하고 스스로 지원했다.

“초등학교때 잠시 국제학교에 다녔어요. 근데 제가 미국 국적이 없다보니 한국인들이 주로 있는 국제학교에 갔어요. 그곳에선 영어로 소통하기도 힘들고 수업 분위기도 제가 생각하던 것과 다르더라고요. 근데 스탠포드 온라인 고등학교는 수업이 학생들의 참여 위주였어요. 배울 수 있는 과목의 깊이도 조금 더 높았고요. 그래서 지원했어요. 영어는 5살 무렵부터 배웠어요. 부모님이 강제로 시키신 건 아니고, 그냥 영어가 좋아서 한국에서 계속 공부했어요. 부모님은 IT와 무관한 일을 하세요. 하지만 지금 하는 일의 대부분은 부모님께서 많이 응원해주시고 계세요. 또 지금 하는 일은 좋아서 하는 일이니 스스로 알아서 하게 되는 것 같아요.(웃음)”


김가은 학생은 최근 미국 스탠포드대학에 가서 연구원 생활을 하고 있다. 이번에 처음으로 6개월 동안 미국에서 거주하는 것이라고 한다. 어떻게 대학교에서 고등학생을 연구원으로 받아들였는지 물어보니 지난해 스탠포드에 있는 교수님 200명에게 이메일을 보내서 얻은 결과라고 한다. 김가은 학생은 “이력서랑 관심있는 주제에 대해 작성해서 연구실에서 일하고 싶다고 적었다”라며 “그 중 2명의 교수님께서 허락해주셨고, 한 분의 연구실에서 6개월 동안 있기로 했다”라고 설명했다.


김가은 양이 연구실에서 일하고 싶었던 이유는 소위 말하는 ‘스펙’을 쌓기 위해서가 아니었다. 이미 스탠포드대학에 이메일을 보낼 때 오로지 ‘의료 이미지’와 관련된 연구실에만 연락했다고 한다. 그만큼 관련 연구를 꼭 하고 싶었다고 한다.


“이전부터 연구자로 일해보고 싶다는 생각이 있었어요. 어떤 연구를 할지는 구체적으로 정하진 않았고요. 그러던 중 암 진단과 관련된 다큐멘터리를 보았는데, 굉장히 의미있고 세상에 이로운 일 같더군요. 근데 저는 나이가 어리니 바로 실험실에 들어갈 수는 없잖아요. 그래서 뭔가 실험실 밖에서 컴퓨터를 통해서 할 수 있는게 없을까 하는 생각이 들었어요. 마침 제가 코딩을 시작했거든요. 찾아보니 관련된 오픈소스나 웹사이트가 많이 공개돼 있어서 제가 할 수 있는 게 많이 있더군요.”


오픈소스 기술로 배운 머신러닝


현재 김가은 학생이 진행하는 연구 주제는 ‘암 진단 이미지의 정확도를 늘리는 기술’이다. 예를 들어 초음파 사진을 찍을 때 환자가 숨을 쉬면 사진의 정확도가 떨어진다. 김가은 학생의 기술은 이미지 프로세싱과 머신러닝을 기반으로 암덩어리를 보다 뚜렷하고 명확하게 볼 수 있게 돕는다. 이 과정에서 다양한 오픈소스 소프트웨어와 캔서이미지아카이브나 캔서베이스 같은 오픈 데이터를 활용했다.


“코딩의 경우, 처음에는 주변 친구들이 코딩을 하길래 저도 한번 찾아봤어요. 먼저 iOS 앱 개발부터 시작했어요. 파이썬, 매트랩, R언어 등으로 확장하면서 머신러닝쪽에 관심이 생겼어요. 공부 방법이나 자료들은 누가 알려준 건 아니고, 대부분 인터넷 검색을 통해 알았어요. 다행히 머신러닝은 홍콩과학기술대학교 김성훈 교수님이 무료로 올려둔 강의가 있더라고요. 그걸 보면서 배웠고요. 요즘에는 다른 친구들과 1주일에 한 번씩 스카이프로 채팅하면서 머신러닝 공부도 같이 하고 있어요.”


김가은 학생은 처음부터 오픈소스 기술을 알고 있었던 건 아니다. 깃허브에 많은 소스코드가 올라온 것을 보고 깃허브에 관심을 두었다. 이후 ‘구글 코드인‘(전세계 중고등학교 학생들이 온라인으로 오픈소스 프로젝트에 기여하면서 경쟁하는 대회)이라는 오픈소스 프로그램에 참여했고, 구글 코드인을 통해 포스아시아 행사를 알았다고 한다. 이번 발표 역시 코드인 커뮤니티에서 올린 서류를 보고 참여하게 됐다.


김가은 학생은 “오픈소스 기술이 아니었으면 메디컬 이미지를 공부하기 힘들었을 것”이라며 “나중에 대학에 가면 연구 내용을 오픈소스 기술로 공개하고, 다시 커뮤니티에 돌려주고 싶다”라고 말했다. 처음 오픈소스 기술을 시작하는 또래 친구들이 알면 좋은 몇 가지 팁도 알려줬다.


“꼭 보여주기 위한 오픈소스 프로젝트가 아니라도 이미 있는 작은 프로젝트를 직접 이것저것 변경해보면서 시작하면 좋을 것 같아요. 오픈소스 데이터도 많으니 이걸 활용하는 것도 좋은 방법이고요. 깃허브는 초보자에게 조금 어려울 수 있다는 생각이 들더군요. 소스코드를 제안하면 그게 승인될 때까지 오래 걸리곤 하거든요. 영어는 꼭 필수적인 건 아닌 것 같아요. 요즘은 한국 커뮤니티도 활발하고, 코드를 읽으면서 원리를 따라갈 수 있으니까요.”


올해 9월부터 김가은 학생은 대학입시 준비를 시작한다. 앞으로도 프로그래밍과 의료를 결합한 분야에서 계속 남고 싶다고 한다.


“‘내가 좋아하는 것, 남들이 필요한 것, 내가 즐길 수 있는 것, 수익을 만들 수 있는 것’을 융합한 일을 하면 좋다는 식의 명언을 들었어요. 지금 하는 일은 어느 정도 그 범주 안에 들었다고 생각해요. 학교 숙제도 많고, 공부할 것도 많아서 잠을 많이 못자는데요. (웃음) 그래도 매일 연구실에서 일하는게 너무 즐거워요. 딥러닝 공부를 교수님께 직접 배우는 것도 재밌고요.”


.


반응형
반응형

MS, 신경망 번역에 ‘한국어’ 추가…11개 언어 지원

마이크로소프트(MS)가 인공지능(AI) 기반으로 개발한 자사 신경망 기반 번역 서비스에 한국어를 추가했다. 최대 1만자까지 신경망 기술을 이용해 번역한다.


신경망 기반 번역은 단편적인 단어에 대한 직역이 아닌, 문장 전체의 맥락을 파악해 사람이 말하는 것처럼 자연스러운 번역이 특징이다. 구글과 네이버도 최근 신경망 기술을 이용한 번역 서비스인 ‘구글 번역’과 ‘파파고’를 선보였다. 구글 신경망 번역은 7가지 언어, 네이버 파파고는 한영 번역을 최대 200자 이내 번역한다.


MS는 지난해 11월 처음으로 신경망 기반 번역 서비스를 공개했다. 당시 영어, 독일어, 아랍어, 중국어, 일본어를 포함한 10가지 언어를 지원했다. 이번에 한국어가 추가하면서 총 11가지 언어를 번역한다.


신경망 번역 원리

신경망 번역 원리


MS 신경망 기반 번역은 인공지능과 머신러닝 알고리즘을 통해 언어를 학습한다. 총 두 단계에 걸쳐 번역한다. 먼저, 번역 대상이 되는 문장을 인공지능으로 분석해, 해당 문자에 사용된 언어가 어떤 문맥을 가졌는지 파악한다. 그다음 문장에 맞는 단어를 골라 뜻을 배치하고 번역한다. 단순히 해당 문장 안에 단어가 몇 개 들어가 있고, 각 단어의 뜻을 기계적으로 번역해서 보여주는 게 아니라 문장 전체 의미를 파악해서 이에 가장 잘 맞는 뜻을 가진 단어를 골라 번역한다.


예를 들어, ‘개가 매우 행복해 보인다. 그 개는 강아지 6마리를 낳았다’라는 문장을 프랑스인과 미국인이 MS 신경망 번역을 이용해 문장을 번역했다 치자. 미국인에게는 ‘The dog looks very happy. The dog bore 6 puppies’라고, 프랑스인에게는 ‘La chienne a l’air très heureux. La chienne portait 6 chiots’라고 보여준다.


프랑스어에서는 똑같은 단어라도 모든 명사에 남성형과 여성형으로 성이 나뉜다. 이 성별이 무엇이냐에 따라 뒤따라오는 동사 형태가 미묘하게 다르다. 여기서 신경망 분석이 빛을 발한다. 신경망 분석은 ‘그 개는 강아지 6마리를 낳았다’라는 문장의 의미를 해석해 ‘그 개 성별은 암컷이다’라고 추론했다. 불어로 ‘개’는 남성형 명사로 ‘le chine’으로 표현하지만, 이 문장에서는 암컷이라고 생각해 여성 형태의 ‘La chienne’를 쓴다. 흐름을 파악해서 자연스러운 번역을 제공한다.


이날 MS는 언어의 의도(Intent)와 실체(Entity)를 파악하는 자연어 처리 서비스 ‘루이스(LUIS, Language Understanding Intelligent Service)’도 이제 한국어를 지원한다고 밝혔다.


루이스는 챗봇과 앱, 그리고 다양한 서비스와 결합해 사용자의 의도를 파악하고, 이에 맞는 서비스를 제공한다. 예를 들어 ‘파리행 티켓을 예약해줘’라는 문장을 입력하면, 루이스와 결합한 서비스 플랫폼에서 파리행 티켓을 예약할 수 있는 웹사이트를 불러온다.


MS 측은 “이미 IT, 제조, 교통, 물류, 쇼핑, 미디어 등 다양한 분야의 국내 많은 기업이 마이크로소프트 루이스 기반의 AI 챗봇과 앱을 통해 서비스를 준비하고 있다”라며 “파트너와 함께 클라우드 기반의 AI 서비스를 활발히 개발 중으로, 이번 루이스의 한국어 지원을 통해 스마트 스피커, ARS 부가 서비스, 상품 예약 및 조회 등 다양한 한국어 애플리케이션들이 개발될 것으로 기대된다”라고 밝혔다.







.

반응형
반응형
[Machine Learning] 구글 머신러닝 오픈소스 텐서플로(TensorFlow)

 

 

http://tensorflow.org/

 

 

 

TensorsFlowing : check out http://tensorflow.org

 

 

 

 

 

 

 

 

 

 

 

반응형
반응형

Machine learning - PredictionIO - https://prediction.io/

머신러닝


PredictionIO

PredictionIO is an open source machine learning framework for developers and data scientists. It supports event collection, deployment of algorithms, evaluation, querying predictive results via REST APIs.

To get started, check out http://prediction.io!

Table of contents










반응형

'프로그래밍 > App' 카테고리의 다른 글

이유 있는 선택 Go 언어  (0) 2016.03.04
[Framework] DEEP Framework: A serverless web framework  (0) 2015.11.18
kuryr  (0) 2015.10.29
[APP] 안드로이드 테스트 툴 - Appium  (0) 2015.09.23
하이브리드 앱 구현하기  (0) 2015.06.03
반응형

[머신러닝 특집] 강남역 3번 자판기가 일주일 뒤 고장납니다

MS 애저 머신러닝

 

 

https://www.imaso.co.kr/news/article_view.php?article_idx=20151005114240

 

모두를 위한 데이터 문화

사티아 나델라(Satya Nadella) 마이크로소프트(MS) 최고경영자(CEO)는 2014년 취임 직후 ‘모두를 위한 데이터 문화’를 강조했다. 기업 내 모든 사용자(DBAs, BI 개발자, 비즈니스 유저, 데이터 분석가, 데이터 사이언티스트, C레벨 등)가 직관이 아닌 데이터로 통찰력을 얻어야 하며 각 역할에 적합한 도구가 제공됐을 때 이런 문화가 정착할 수 있다는 것이 나델라 CEO의 메시지의 핵심이다.

학위를 보유한 박사가 알고리즘에 대한 배경지식을 갖췄기 때문에 분석 모델을 더 잘 설명할 수 있겠지만 항상 더 나은 모델을 만든다고는 할 수 없다. 몇 년 전까지만 해도 데이터 과학 분야는 제반 기술이 성숙하지 않고 기술의 난이도도 높아서 일부 전문가를 제외하고 접근하기 어려운 영역이었던 것을 생각하면 상황이 많이 바뀌었다.

빅데이터의 다음 단계, 예측 분석

시장조사 기관 가트너는 빅데이터 분석 영역을 두 부분으로 나눈다. 전통적인 BI(비즈니스 인텔리전스)와 고급 분석이다. BI 영역에서는 과거에 무슨 일이 있었고 왜 일어났는지를 분석한다. 고급 분석 영역에 속한 예측분석은 급변하는 비즈니스 환경에서 지금 무슨 일이 일어나고 있으며 앞으로는 어떨지를 보여준다. 

예측 분석을 위해 사용되는 머신러닝이라는 용어 자체는 새로울 것이 없다. 하지만 클라우드, 빅데이터, IoT(사물 인터넷), 인메모리와 같은 제반 기술의 발전에 힘입어 비즈니스 영역에서의 활용 가치가 활발하게 논의되고 있다.

애저 머신러닝(Azure ML)

MS는 각광받고 있는 예측 분석 솔루션으로서의 머신러닝을 ‘기존 데이터를 학습해 미래의 동작, 결과, 추세를 예측하는 모델을 사용하는 컴퓨팅 시스템’으로 설명한다. 머신러닝은 온라인 쇼핑 사이트에서 보는 제품 추천, 신용카드 사용 시 부정행위 검색 등 생활 밀착형 서비스뿐만 아니라 제조 분야에서의 예방 정비와 의료업계의 개인화 서비스, 도시공학에서 교통량 분산까지 다양한 산업분야에서 위력을 발휘하고 있다.

 

 

애저 머신러닝은 이렇게 강력한 예측 모델을 신속하게 만들고 분석 솔루션으로 배포할 수 있도록 지원하는 클라우드 기반의 예측 분석 서비스다. 애저 머신러닝의 가장 큰 특징 세 가지를 살펴보겠다.

1. 익숙한 방법으로 예측 모델 생성

고급 분석 영역에서의 도구는 비싼 상업용 소프트웨어나 복잡한 프로그래밍으로 작성해야 하는 R, 파이썬(Python) 등이다. 또 대용량의 데이터를 이용해 모델을 작성하려면 적합한 스토리지와 컴퓨팅 파워가 필요해서 전문가가 아니면 접근하기 어려운 영역이었다.

애저 머신러닝 서비스는 쉽다. 웹 브라우저로 ML 스튜디오(ML Studio)에 접속한 뒤 단순한 데이터 흐름을 통해 모델을 생성할 수 있다. 이미 구현된 R과 파이썬 패키지를 최소한의 수정만으로 애저 머신러닝 내에 통합하는 기능도 있다. 프로그래밍에 익숙지 않은 사용자도 고급 분석을 경험할 수 있도록 샘플 실험을 제공한다. 모든 데이터 과학자의 기술 수준에 맞춘 개발 환경을 제공하는 것이다.

애저 머신러닝에서 제공하는 라이브러리는 핫메일(Hotmail), 빙(Bing), 엑스박스(Xbox), 스카이프(Skype)와 같이 MS 비즈니스에서 이미 검증된 알고리즘으로 이뤄져 있다. 모델 생성 시 제공되는 알고리즘은 가장 많이 쓰이는 기본값으로 설정됐다. 때문에 상세 설정에 대한 고민 없이 모델을 만들고 테스트할 수 있다.

작성된 모델을 누구든 재사용하도록 공유할 수 있다. 한 명의 데이터 과학자가 실험을 하다가 중단한 경우 다른 사용자에게 실험을 공유할 수 있다. 중단된 시점부터 다른 데이터 과학자가 실험을 이어나갈 수 있다. 또는 진행중인 실험을 복사해 다른 데이터 과학자가 사용할 수도 있다. 모델의 완성도를 높이기 위해 다양한 관점의 방안을 제시하는 과정이다.

2. 훈련된 모델을 몇 분 만에 웹 서비스로 배포

기존의 도구로 모델을 성공적으로 만들었다고 해도 실제 운영에 적용해 비즈니스 가치를 창출하는 건 쉬운 일이 아니다. 그래서 애저 머신러닝은 설계부터 응용을 염두에 두고 개발됐다. 이런 모델을 한 번의 클릭만으로 웹 서비스로 배포할 수 있다. 완성된 모델을 몇 분만에 웹 서비스로 배포해 손쉽게 응용 프로그램에 활용될 수 있으므로 상품화하는 데까지의 시간을 획기적으로 단축한다는 의미다.

배포된 웹 서비스는 요구-응답(Request-Response)과 배치 실행(Batch Execution) 두 가지 형태로 사용 가능하다. 요구-응답 서비스는 레코드를 하나씩 받아서 처리하므로 지연이 적고 대규모로 확장 가능한 인터페이스를 제공한다. 배치 실행 서비스는 비동기 방식으로 대용량 데이터의 레코드를 한 번의 배치로 처리한다. 각각의 장점이 있으므로 비즈니스 목적에 맞게 선택해 사용하면 된다.

웹 서비스는 클라우드 포털로 관리할 수 있다. 예를 들면 웹 서비스를 실행 가능한 두 가지 형태로 테스트할 수 있는 UI를 제공하고 접근을 위한 키를 관리하거나 요구 사항이 바뀌었을 때 솔루션을 업데이트하고 변경 뒤 배포된 웹 서비스를 운영 모드로 전환하는 작업 등을 웹 브라우저에서 수행 가능하다.

3. 만들어진 솔루션을 세계로 확대

다양한 실험을 거쳐 완성한 솔루션은 생태계에서 사용할만한 가치가 있다. 클릭 한 번으로 솔루션을 애저 머신러닝 갤러리에 공유하면 된다. 커뮤니티 멤버의 성공에 기여할 수도 있고 다른 데이터 과학자가 더 나은 솔루션으로 발전하도록 지원할 수도 있다. 완성도가 높고 상업적 가치가 있는 솔루션은 애저 마켓플레이스에 게시해 가격을 책정하면 세계 사용자를 상대로 당장 수익을 낼 수도 있다.

 

반응형

+ Recent posts