A WebGL accelerated, browser based JavaScript library for training and deploying ML models.

https://js.tensorflow.org/

TensorFlow를 브라우저에서 실행시키는 공식 프로젝트입니다. WebGL를 이용한 JavaScript 라이브러리이며 기존 모델을 변환기를 통해 쉽게 브라우저에서 실행이 된다고 합니다.

#web #TensorFlow #JavaScript #AI #WebGL

...
Posted by 홍반장水 홍반장水

[Chatbot] Python과 Tensorflow를 활용한 AI Chatbot 개발 및 실무 적용 chatbot


도입 

AI Chatbot 소개 

Chatbot Ecosystem 

Closed vs Open Domain 

Rule Based vs AI 

Chat IF Flow and Story Slot 

AI기반의 학습을 위한 Data 구성 방법 

Data를 구하는 법 / Train을 위한 Word Representation 

Data의 구성 / Data Augmentation(Intent, NER) 

자연어처리 위한 AI 적용 방안 

Intent (Char-CNN) / QnA (Seq2Seq) 

Named Entity Recognition (Bi-LSTM CRF) / Ontology (Graph DB) 

Chatbot Service를 위한 Architecture 구성 

Chatbot Architecture 

NLP Architecture 

Web Service Architecture 

Bot builder / Chatbot API 

Test Codes for Chatbot 

실무에서 발생하는 문제와 해결 Tips 

Ensemble and voting / Trigger / Synonym(N-Gram) 

Tone Generator / Parallel processing / Response Speed 

마무리 


[설명 코드] 

Text Augmentation / Slot Bot / QA Bot / Graph DB / Response Generator 




...

Posted by 홍반장水 홍반장水

How to Make an Amazing Tensorflow Chatbot Easily


우리는 chatbot이이 년 동안 얼마나 깊은 학습 그들이 더 나은 방법했다 진화하는 방법에 대해 알아볼 것입니다. 그런 다음 우리는 파이썬에서 Tensorflow 기계 학습 라이브러리를 사용하여 우리 자신의 chatbot을 구축 할 수 있습니다. 

이 비디오에 대한 코드 및 코딩 문제는 여기에 있습니다 : 
은 https : //github.com/llSourcell/tensorf ...

이번주 게오르기의 경력 코드 : 
HTTPS : //github.com/petkofff/p_vs_np_c ...

믹의 러너 업 코드 : 이번 주 
HTTPS : //github.com/mickvanhulst/travS ...

: 우리의 여유 공간에 다른 마법사에 참여 
https://wizards.herokuapp.com

라이브 순서 시퀀스 chatbot 데모에 : 
HTTP : //neuralconvo.huggingface. 공동 /

chatbot이에 좀 더 유용한 자원 : 
HTTP : //www.wildml.com/2016/04/deep-le ... 
HTTP : //venturebeat.com/2016/08/01/how ... 
HTTP : / /web.stanford.edu/class/cs124/l ...

Tensorflow에 더 많은 자원 : 
HTTP : //lauragelston.ghost.io/speakeas ... 
HTTPS : //speakerdeck.com/inureyes/buil ...


#Tensorflow Chatbot Tensorflow Chatbot Demo by @Sirajology on Youtube

Overview

This is the full code for 'How to Make an Amazing Tensorflow Chatbot Easily' by @Sirajology on Youtube. In this demo code, we implement Tensorflows Sequence to Sequence model to train a chatbot on the Cornell Movie Dialogue dataset. After training for a few hours, the bot is able to hold a fun conversation.

Dependencies

Use pip to install any missing dependencies

Usage

To train the bot, edit the seq2seq.ini file so that mode is set to train like so

mode = train

then run the code like so

python execute.py

To test the bot during or after training, edit the seq2seq.ini file so that mode is set to test like so

mode = test

then run the code like so

python execute.py

...

Posted by 홍반장水 홍반장水

tensorflow, macbook, anaconda 설치하고 실행해보기. 할때마다 새롭다. 


두번째 MACbook pro에서 설치해보기. 

영어가 짧아서 install tensorflow의 설치 방법이 4가지가 있다. 를  4개다 설치해보는 걸로 ㅋㅋ


anaconda를 설치해서 터미널로 실행해보는게 익숙한 느낌이다. PyCharm을 어떻게 셋팅해야 터미널에서 실행하는 것 처럼 하는지 아직은... 


anaconda에서 패키지 설치하고, 터미널에서도 설치하고 뒤죽박죽, 왠지 수박 겉 핡고 있는 느낌이랄까. 


https://tensorflowkorea.gitbooks.io/tensorflow-kr 를 기준으로 보고 셋팅하는게 나을듯하다. 


회사에서는 윈도우 PC로 PyCharm으로 돌리고 있다. 얕은 지식이 오락가락 ㅋㅋㅋ 맥북은 익숙하지도 않고. 


"깃허브의 주소는 https://github.com/tensorflowkorea/tensorflow-kr 입니다.

깃북의 주소는 https://tensorflowkorea.gitbooks.io/tensorflow-kr 입니다.

깃허브의 작업 방법에 대해서는 블로그 포스팅을 참고해 주세요."

라고 되어있으니 잘 참고해야지 




.

Posted by 홍반장水 홍반장水

TensorFlow-Tutorials

Introduction to deep learning based on Google's TensorFlow framework. These tutorials are direct ports of Newmu's Theano Tutorials.

Topics

Dependencies

  • TensorFlow 1.0 alpha
  • Numpy
  • matplotlib



# TensorFlow-Tutorials

[![Build Status](https://travis-ci.org/nlintz/TensorFlow-Tutorials.svg?branch=master)](https://travis-ci.org/nlintz/TensorFlow-Tutorials)

[![Codacy Badge](https://api.codacy.com/project/badge/grade/2d3ed69cdbec4249ab5c2f7e4286bb8f)](https://www.codacy.com/app/hunkim/TensorFlow-Tutorials)


Introduction to deep learning based on Google's TensorFlow framework. These tutorials are direct ports of

Newmu's [Theano Tutorials](https://github.com/Newmu/Theano-Tutorials).


***Topics***

* [Simple Multiplication](00_multiply.py)

* [Linear Regression](01_linear_regression.py)

* [Logistic Regression](02_logistic_regression.py)

* [Feedforward Neural Network (Multilayer Perceptron)](03_net.py)

* [Deep Feedforward Neural Network (Multilayer Perceptron with 2 Hidden Layers O.o)](04_modern_net.py)

* [Convolutional Neural Network](05_convolutional_net.py)

* [Denoising Autoencoder](06_autoencoder.py)

* [Recurrent Neural Network (LSTM)](07_lstm.py)

* [Word2vec](08_word2vec.py)

* [TensorBoard](09_tensorboard.py)

* [Save and restore net](10_save_restore_net.py)

* [Generative Adversarial Network](11_gan.py)


***Dependencies***

* TensorFlow 1.0 alpha

* Numpy

* matplotlib



.

Posted by 홍반장水 홍반장水

https://www.tensorflow.org/api_docs/python/tf/compat


Module: tf.compat

Module tf.compat

Functions for Python 2 vs. 3 compatibility.

Conversion routines

In addition to the functions below, as_str converts an object to a str.

Types

The compatibility module also provides the following types:

  • bytes_or_text_types
  • complex_types
  • integral_types
  • real_types

Members

as_bytes(...): 바이트 또는 유니 코드를 bytesutf-8 인코딩을 사용하여 텍스트 로 변환합니다 .

as_str(...): 바이트 또는 유니 코드를 bytesutf-8 인코딩을 사용하여 텍스트 로 변환합니다 .

as_str_any(...)str와 같이 변환 str(value)하지만 as_strfor를 사용 합니다 bytes.

as_text(...): 주어진 인수를 유니 코드 문자열로 반환합니다.


Constant bytes_or_text_types

Constant complex_types

Constant integral_types

Constant real_types

Defined in tensorflow/python/util/compat.py.


Posted by 홍반장水 홍반장水


-- CMD에서 tensorflow 설치 유무 확인 


$ python -c "import os; import inspect; import tensorflow; print(os.path.dirname(inspect.getfile(tensorflow)))""





.

Posted by 홍반장水 홍반장水

tensorflow - Docker Toolbox로 윈도우에 설치하기.


* 참고 : 윈도우(Windows) 환경에서 Docker를 이용해서 Tensorflow설치하기
http://solarisailab.com/archives/384


Docker Toolbox Download :  https://www.docker.com/products/docker-toolbox



Docker Install :  https://www.tensorflow.org/versions/master/get_started/os_setup#docker_installation


설치하면서 VirtualBox도 체크했다. 


설치 후 Docker Quickstart Terminal 을 실행. 


뭘 다운로드받는다는데 한참동안 잠잠하다. 기다려 본다. 


IP를 할당 받을 수 있어야 Docker가 실행이 된다. 


Docker 실행되면 고래 그림 나옴. ㅋㅋㅋ


Docker Quickstart Terminal에서 아래의 명령어를 입력하면 현재 사용가능한 docker machine의 리스트들이 나온다.

$ docker-machine ls 


이제 아래의 명령어로 vdocker라는 이름의 새로운 docker machine을 생성한다.

$ docker-machine create vdocker -d virtualbox


내부아이피 문제 중. ㅋㅋㅋ 집에서 해야겠다. 










.

Posted by 홍반장水 홍반장水

tensorflow - 윈도우에서 사용하기 


윈도우에서는 지원안했는데, 도커(Docker)를 사용해서 설치할 수 있다. 


https://docs.docker.com/docker-for-windows/ 에서 Docker를 다운받아 설치. 


검색해보니 설치는 기본옵션만 하라고 권고하는군. 설치시 Hyper-V를 선택해야 한다. 

혹시 Virtual Box가 설치되어 있다면 충돌이 생길 수 있다.


설치 되었으면 윈도우 기본 프롬프트창(CMD창)을 열어라.



* tensorflow 설치하기 

    https://www.tensorflow.org/versions/master/get_started/os_setup


 Docker install 을 클릭한다. 


설치할 이미지에 맞는 명령어를 선택해서 설치한다. 















.


Posted by 홍반장水 홍반장水

텐서플로(Tensorflow) 시작하기


https://gist.github.com/haje01/202ac276bace4b25dd3f



소개

텐서플로우(TensorFlow)는 기계 학습과 딥러닝을 위해 구글에서 만든 오픈소스 라이브러리입니다. 데이터 플로우 그래프(Data Flow Graph) 방식을 사용하였습니다.

데이터 플로우 그래프

데이터 플로우 그래프는 수학 계산과 데이터의 흐름을 노드(Node)와 엣지(Edge)를 사용한 방향 그래프(Directed Graph)로 표현합니다.

data flow graph

노드는 수학적 계산, 데이터 입/출력, 그리고 데이터의 읽기/저장 등의 작업을 수행합니다. 엣지는 노드들 간 데이터의 입출력 관계를 나타냅니다.

엣지는 동적 사이즈의 다차원 데이터 배열(=텐서)을 실어나르는데, 여기에서 텐서플로우라는 이름이 지어졌습니다.

텐서(Tensor)는 과학과 공학 등 다양한 분야에서 이전부터 쓰이던 개념입니다. 수학에서는 임의의 기하 구조를 좌표 독립적으로 표현하기 위한 표기법으로 알려져 있지만, 분야마다 조금씩 다른 의미로 사용됩니다. 여기에서는 학습 데이터가 저장되는 다차원 배열 정도로 이해하시면 되겠습니다.

특징

텐서플로우는 다음과 같은 특징을 가집니다:

  • 데이터 플로우 그래프를 통한 풍부한 표현력
  • 코드 수정 없이 CPU/GPU 모드로 동작
  • 아이디어 테스트에서 서비스 단계까지 이용 가능
  • 계산 구조와 목표 함수만 정의하면 자동으로 미분 계산을 처리
  • Python/C++를 지원하며, SWIG를 통해 다양한 언어 지원 가능

이후의 설명은 Python을 중심으로 진행하겠습니다. (pip를 통한 Python3설치는 개발 중으로, Python2 기반으로 하겠습니다.)

"구글이 텐서플로우를 오픈소스로 한 것은, 기계 학습이 앞으로 제품과 기술을 혁신하는데 가장 필수적인 요소라고 믿기 때문입니다." - Google Brain Team

설치

텐서플로우는 설치가 비교적 쉬운 편입니다만, 다음과 같은 제약이 있습니다:

  • Unix계열 OS(Linux/Mac OSX)만 지원합니다.
  • GPU 버전은 Linux만 지원합니다.

Linux / Mac OSX

Unix 계열 OS를 사용하시는 분들은 공식 페이지의 설치 문서를 참고하시면 쉽게 설치할 수 있습니다.

윈도우

윈도우 사용자 분들은 가상 머신을 이용하거나, 도커 툴박스 설치 후 진행하시기 바랍니다.

이미지를 받고 컨테이너 실행

텐서플로우의 도커 이미지는 소스코드, 예제, 툴도 포함되어 있기에 풀 버전을 받는 것을 권합니다.

Linux / Mac OSX

Unix 계열 OS에서는 아래의 명령을 실행하면 이미지를 받고 컨테이너가 실행됩니다. 컨테이너 실행 후 자동으로 컨테이너 안의 쉘 환경으로 들어가게 됩니다.

docker run -it b.gcr.io/tensorflow/tensorflow-full

컨테이너 안의 /tensorflow 폴더에 소스가 설치되어 있습니다. (주의: 이 폴더에서 모듈을 import 하시면 에러가 발생합니다. )

윈도우

윈도우의 경우 Docker QuickStart Terminal 실행 후(이때 고래 그림 아래의 IP를 기억해 둡니다) 아래와 같이 실행하시기 바랍니다.

winpty docker run -it -p 8888:8888 b.gcr.io/tensorflow/tensorflow-full

이미지를 받은 후 컨테이너가 실행되면, Jupyter 노트북 서버가 자동으로 시작된 상태입니다. 웹브라우저에서 '위의IP:8888'을 입력하면 Jupyter Notebook 환경에 접속됩니다. 여기에서 tensorflow를 사용하실 수 있습니다.

동작 확인

설치가 잘 되었는지 다음의 코드로 확인해봅니다.

$ python

>>> import tensorflow as tf
>>> hello = tf.constant('Hello, TensorFlow!')
>>> sess = tf.Session()
>>> print sess.run(hello)
Hello, TensorFlow!
>>> a = tf.constant(10)
>>> b = tf.constant(32)
>>> print sess.run(a+b)
42
>>>

.

Posted by 홍반장水 홍반장水