‘감성 지능 챗봇’ 나온다 

Becoming a Data Scientist – Curriculum via Metromap

http://nirvacana.com/thoughts/becoming-a-data-scientist/

데이터 과학, 기계 학습, 빅 데이터 분석,인지 컴퓨팅 .... 우리 모두는 기사, 기술 수요 정보 그래프 및이 주제에 대한 의견 (하품!) 으로 눈살을 찌푸렸다 . 한 가지는 확실합니다. 당신은 하룻밤 사이에 데이터 과학자가 될 수 없습니다. 그 여행은 확실히 도전적인 여행입니다. 그러나 어떻게 당신은 하나가되는 것에 가나 요? 어디서부터 시작해야할까요? 터널 끝에 언제 빛이 보이기 시작하니? 학습 로드맵은 무엇입니까? 알아야 할 도구와 기술은 무엇입니까? 목표 달성시기를 어떻게 알 수 있습니까?

비판적 시각화가 데이터 과학에 얼마나 중요한지를 감안할 때, 아이러니 컬하게도 데이터 과학자가되기 위해 필요한 것의 실용적이지만 시각적 인 표현을 (몇 가지 제외하고) 찾을 수 없었습니다. 여기 교과 과정을 만드는 나의 겸손한 시도, 이것이 데이터 과학자의 여행 이 되는 데 사용할 수있는 학습 계획입니다 . 나는 지하철지도에서 영감을 얻었고 그것을 학습 경로를 묘사하는 데 사용했습니다. 전반적인 계획을 점진적으로 다음 영역 / 영역으로 구성했습니다.

1. 기초
2. 통계
3. 프로그램 작성
4. 기계 학습
5. 텍스트 마이닝 / 자연 언어 처리
6. 데이터 시각화
7. 빅 데이터
8. 데이터 처리
9. 데이터 Munging
10. 도구 상자

각 지역 / 도메인은 "지하철 선"으로 표현되며, 점진적으로 배우고 마스터해야하는 주제를 묘사하는 방송국이 있습니다. 아이디어는 당신이 최종 목적지에 도달 할 때까지 (또는) 다음 라인으로 전환 할 때까지 선을 선택하고 열차를 타고 모든 역 (토픽)을 통과하는 것입니다. 점차적으로 각 역 (선)을 1에서 10까지 표시하여 여행 순서를 표시합니다. 이를 개인 학습 계획으로 활용하여 가장 개발하기를 원하는 분야와 습득 기술을 파악할 수 있습니다. 이것은 결코 끝이 아닙니다. 그러나 단단한 출발. 의견과 건설적인 의견을 언제든지 남겨주세요.

1. Fundamentals
2. Statistics
3. Programming
4. Machine Learning
5. Text Mining / Natural Language Processing
6. Data Visualization
7. Big Data
8. Data Ingestion
9. Data Munging
10. Toolbox

.

한국 자율주행차 테스트, 이제 ‘K-CITY’에서 

http://www.bloter.net/archives/276517

자율주행기술은 개발만 한다고 능사가 아니다. 시스템을 개발하는 속도에 맞춰 도로 환경에 바로 반영할 수가 없다. 교통은 언제나 인간의 목숨이 왔다 갔다 하는 위험성을 갖고 있기 때문이다. 자율주행 기술에 대한 ‘테스트베드’는 그래서 중요하다. 자율주행 자동차의 개발 및 안전성 검증을 위한 다양한 평가와 성능 평가가 필수적이다. 끊임없는 테스트 과정을 거쳐 안전성이 완전히 확인된 뒤에야 비로소 자율주행 기술이 한 단계 더 나아갈 수 있다. 특히 지금처럼 레벨3 상용화 목표를 앞두고 있다면 개발 담당자들은 안전에 대해 더욱 냉정히 테스트를 반복해야 한다.

지난 4월5일 ‘서울모터쇼 2017’의 부대행사로 열린 ‘자율주행 자동차 미래기술 세미나’에서는 교통안전공단 자동차안전연구원에서 구축 중인 자율주행 실험도시 ‘K-CITY’가 소개됐다. 조성호 K-CITY 준비팀 팀장은 2018년까지 경기도 화성시에 36만㎡ 규모로 구축 예정인 K-CITY의 추진 배경과 구축 상황을 설명했다.

자율주행 실험을 위한 시설은 단지 부지만 필요한 것이 아니다. 그 안을 얼마나 섬세한 기반시설로 구축했는가가 중요하다. K-CITY는 도심부도로, 커뮤니티도로, 교외도로, 고속주행도로, 자율주차시설의 5개 평가환경으로 구성된다. 또한 실제 도로교통환경을 재현하기 위한 시나리오 기반 의도로 및 교통시설, 통신환경을 구현하게 된다. 올해 10월 자동차 전용도로 1차 개통을, 내년 하반기 전체 구간 구축을 목표로 하고 있다.

강력한 모의실험 환경을 갖춘 테스트베드는 자율주행차 기술의 핵심 요소가 된다. 때문에 전 세계적으로도 테스트베드 구축을 중요시하고 있으며, 벌써 미국·중국·일본·스웨덴에서 운영 중이다. K-CITY 구축에도 타 국가의 테스트베드는 좋은 사례가 됐다. 특히 미국은 세계 최초의 테스트베드 M-CITY, 일본은 세밀한 평가 항목을 갖춘 ‘JARI(Japan Automative Research Institute)’를 먼저 구현했다는 점에서 주목받는다.

조성호 팀장은 먼저 미국의 M-CITY의 사례를 소개했다. M-CITY는 미시간대학교 교통연구센터에서 담당한 실험도시다. 미시간대학교 학교 부지 안에 별도의 실험도시를 구축해 자율주행 자동차의 성능 및 안전성을 확인한다. 도로, 가건물, 교차로, 횡단보도 등으로 구성된 도시부와 자갈길, 철도건널목, 4차선 도로 등 교외 지역 환경을 재현한 교외부로 구성된다. 실질적으로 주로 도심부 위주로 구성돼 있는데, 시속 70km 수준의 자동차 속도에 대한 평가가 가능하다. 미시간대학교뿐만 아니라 정부, 기업 등 컨소시엄을 구성해 운영된다.

자율주행차 실험에서 가장 중요한 요소 중 하나는 ‘얼마나 실제 환경과 비슷했냐’이다. 바로 얼마 전인 4월3일 개방한 일본의 JARI는 악의 환경 시험이 특징적이다. 악의 환경 시험이란 강우나 강설, 안개 등 자율주행차 센서에 취약점인 부분을 테스트하는 것이다. 실제 환경에서 항상 맑고 안전한 기후의 날만 있는 게 아니기 때문이다. JARI는 악천후 시험, 열악한 조도 환경시험 뿐만 아니라 도시지역 시험, 차선 및 교차로 주행 시험 등의 섬세한 시험 항목을 구축하고 있다.

앞으로 구축될 K-CITY는 위 국가들과 같은 사례를 참고해 국내 도로교통 환경을 면밀히 반영한 자율주행 시험도시를 만드는 것을 목표로 한다. 현재로썬 규모도 자율주행차 전용 실험도시 규모로는 전 세계 2번째로 넓고, 위치도 좋다. 경기도 화성에 위치한 K-CITY 기준으로 60km 지점 안에 현대 기아차와 쌍용차, 르노 삼성, 한국GM 등 완성차 제작사가 다 위치하고 있다. 판교 분당 지역에 있는 IT 기업체들도 상대적으로 시설을 이용하기 편리하다.

K-CITY는 대학 연구에도 시설 이용을 지원한다. 대학교 연구시설이 자율주행차 실험에 어려운 부분을 해결하기 위해 매주 토요일을 ‘자율주행데이’로 지정해 개방하고 있다. 내부적으로 보험에 가입하는 등 몇 가지 조건만 거치면 ITS 시험로를 이용할 수 있다. 조성호 팀장은 “특정 기업들이 우선순위를 갖는 것이 아닌, 누구나 참여 가능한 연구의 장으로 사용할 수 있게 하겠다”라고 말했다.

.

TensorFlow-Tutorials

Introduction to deep learning based on Google's TensorFlow framework. These tutorials are direct ports of Newmu's Theano Tutorials.

Topics

• Simple Multiplication
• Linear Regression
• Logistic Regression
• Feedforward Neural Network (Multilayer Perceptron)
• Deep Feedforward Neural Network (Multilayer Perceptron with 2 Hidden Layers O.o)
• Convolutional Neural Network
• Denoising Autoencoder
• Recurrent Neural Network (LSTM)
• Word2vec
• TensorBoard
• Save and restore net
• Generative Adversarial Network

Dependencies

• TensorFlow 1.0 alpha
• Numpy
• matplotlib

# TensorFlow-Tutorials

[](https://travis-ci.org/nlintz/TensorFlow-Tutorials)

[](https://www.codacy.com/app/hunkim/TensorFlow-Tutorials)

Introduction to deep learning based on Google's TensorFlow framework. These tutorials are direct ports of

Newmu's [Theano Tutorials](https://github.com/Newmu/Theano-Tutorials).

***Topics***

* [Simple Multiplication](00_multiply.py)

* [Linear Regression](01_linear_regression.py)

* [Logistic Regression](02_logistic_regression.py)

* [Feedforward Neural Network (Multilayer Perceptron)](03_net.py)

* [Deep Feedforward Neural Network (Multilayer Perceptron with 2 Hidden Layers O.o)](04_modern_net.py)

* [Convolutional Neural Network](05_convolutional_net.py)

* [Denoising Autoencoder](06_autoencoder.py)

* [Recurrent Neural Network (LSTM)](07_lstm.py)

* [Word2vec](08_word2vec.py)

* [TensorBoard](09_tensorboard.py)

* [Save and restore net](10_save_restore_net.py)

* [Generative Adversarial Network](11_gan.py)

***Dependencies***

* TensorFlow 1.0 alpha

* Numpy

* matplotlib

.

https://www.tensorflow.org/api_docs/python/tf/compat

Module: tf.compat

scikit-learn: machine learning in Python http://scikit-learn.org

https://github.com/scikit-learn/scikit-learn

scikit-learn

scikit-learn is a Python module for machine learning built on top of SciPy and distributed under the 3-Clause BSD license.

The project was started in 2007 by David Cournapeau as a Google Summer of Code project, and since then many volunteers have contributed. See the AUTHORS.rst file for a complete list of contributors.

It is currently maintained by a team of volunteers.

Website: http://scikit-learn.org

Installation

Dependencies

scikit-learn requires:

• Python (>= 2.7 or >= 3.3)
• NumPy (>= 1.6.1)
• SciPy (>= 0.9)

For running the examples Matplotlib >= 1.1.1 is required.

scikit-learn also uses CBLAS, the C interface to the Basic Linear Algebra Subprograms library. scikit-learn comes with a reference implementation, but the system CBLAS will be detected by the build system and used if present. CBLAS exists in many implementations; see Linear algebra libraries for known issues.

User installation

If you already have a working installation of numpy and scipy, the easiest way to install scikit-learn is using pip

pip install -U scikit-learn

or conda:

conda install scikit-learn

The documentation includes more detailed installation instructions.

Development

We welcome new contributors of all experience levels. The scikit-learn community goals are to be helpful, welcoming, and effective. The Development Guide has detailed information about contributing code, documentation, tests, and more. We've included some basic information in this README.

Important links

• Official source code repo: https://github.com/scikit-learn/scikit-learn
• Download releases: https://pypi.python.org/pypi/scikit-learn
• Issue tracker: https://github.com/scikit-learn/scikit-learn/issues

Source code

You can check the latest sources with the command:

git clone https://github.com/scikit-learn/scikit-learn.git

Setting up a development environment

Quick tutorial on how to go about setting up your environment to contribute to scikit-learn: https://github.com/scikit-learn/scikit-learn/blob/master/CONTRIBUTING.md

Testing

After installation, you can launch the test suite from outside the source directory (you will need to have the nose package installed):

nosetests -v sklearn

Under Windows, it is recommended to use the following command (adjust the path to the python.exe program) as using the nosetests.exe program can badly interact with tests that use multiprocessing:

C:\Python34\python.exe -c "import nose; nose.main()" -v sklearn

See the web page http://scikit-learn.org/stable/developers/advanced_installation.html#testing for more information.

Random number generation can be controlled during testing by setting the SKLEARN_SEED environment variable.

Submitting a Pull Request

Before opening a Pull Request, have a look at the full Contributing page to make sure your code complies with our guidelines: http://scikit-learn.org/stable/developers/index.html

Project History

The project was started in 2007 by David Cournapeau as a Google Summer of Code project, and since then many volunteers have contributed. See the AUTHORS.rst file for a complete list of contributors.

The project is currently maintained by a team of volunteers.

Note: scikit-learn was previously referred to as scikits.learn.

Help and Support

Documentation

• HTML documentation (stable release): http://scikit-learn.org
• HTML documentation (development version): http://scikit-learn.org/dev/
• FAQ: http://scikit-learn.org/stable/faq.html

Communication

• Mailing list: https://mail.python.org/mailman/listinfo/scikit-learn
• IRC channel: #scikit-learn at webchat.freenode.net
• Stack Overflow: http://stackoverflow.com/questions/tagged/scikit-learn
• Website: http://scikit-learn.org

Citation

If you use scikit-learn in a scientific publication, we would appreciate citations: http://scikit-learn.org/stable/about.html#citing-scikit-learn

.

** 설치된 모듈의 위치정보 등 알아내기

    --  pip show  설치된모듈이름

TensorFlow on Windows: “Couldn't open CUDA library cudnn64_5.dll”

First of all, note that cuDNN is not distributed with the rest of the CUDA toolkit, so you will need to download it separately from the NVIDIA website. On Windows, it is distributed as a ZIP archive, so you must extract it and find the directory containing cudnn64_5.dll. For example, if you extract it to C:\tools\cuda, the DLL will be in C:\tools\cuda\bin\cudnn64_5.dll. Finally, you can add it to your path by typing the following at the command prompt:

C:\> set PATH=%PATH%;C:\tools\cuda\bin

C:\> python

...

>>> import tensorflow as tf

 I didn't have such issues with TensorFlow 0.12.1 (installed with pip install tensorflow==0.12.1):

---------------------------------------------------------------------------------

KNL

---------------------------------------------------------------------------------

matplotlib install  -  http://matplotlib.org/faq/installing_faq.html

> pip install matplotlib

or 

> git clone git://github.com/matplotlib/matplotlib.git

> cd matplotlib

> python setup.py install

> python setup.py develop

matplotlib test 

http://matplotlib.org/faq/howto_faq.html#how-to-search-examples

---------------------------------------------------------------------------------

konlpy install - http://konlpy.org/ko/v0.4.3/install/

> pip install --upgrade pip

> pip install JPype1-0.5.7-cp27-none-win_amd64.whl

> pip install konlpy

Binary Install

Ensure you have installed Anaconda/Miniconda. Instructions can be found here.

Install from the conda-forge software channel:

conda install -c conda-forge jpype1

$ pip install wheel

jpype  download : http://www.lfd.uci.edu/~gohlke/pythonlibs/#jpype

---------------------------------------------------------------------------------

JAVA_HOME 설정 

java 설치 - http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

환경변수 - JAVA_HOME  C:\Program Files\Java\jdk1.8.0_121

---------------------------------------------------------------------------------

To install this package with conda run: https://anaconda.org/anaconda/gensim

> conda install -c anaconda gensim=1.0.1

To install this package with conda run: https://anaconda.org/anaconda/scipy

> conda install -c anaconda scipy=0.19.0

---------------------------------------------------------------------------------

sklearn install

https://sourceforge.net/projects/scikit-learn/files/

sklearn test 

http://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html

---------------------------------------------------------------------------------

Activate the conda environment by issuing the following command:

C:> activate tensorflow

 (tensorflow)C:>  # Your prompt should change 

예제 :: 

Saved model checkpoint to D:\PythonProject\cnn-text-classification-tf-master\runs\1490667625\checkpoints\model-1000

word2vec_example - https://gist.github.com/solaris33/8ce9913dea1aa4225876cbcfdd2963be#file-word2vec_example-py

Pycharm & tensorflow & Anaconda = http://yeramee.tistory.com/1

anaconda > tensorflow install : http://www.lfd.uci.edu/~gohlke/pythonlibs/#tensorflow

starting jupyter notebook

> jupyter notebook 

or 

> jupyter notebook --port 9999

5-1. 텐서플로우(TensorFlow)를 이용해 자연어를 처리하기(NLP) – Word Embedding(Word2vec) :: http://solarisailab.com/archives/374

jupyter notebook 사용하기 : http://goodtogreate.tistory.com/entry/IPython-Notebook-%EC%84%A4%EC%B9%98%EB%B0%A9%EB%B2%95

.