Google Colaboratory - python 실습하기

https://colab.research.google.com/

https://research.google.com/colaboratory/faq.html

자주 묻는 질문(FAQ)

기본 사항

Colab 사용하기

Google Colab Free GPU Tutorial

https://medium.com/deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d

Hello! I will show you how to use Google Colab, Google’s free cloud service for AI developers. With Colab, you can develop deep learning applications on the GPU for free.

Thanks to KDnuggets!

I am happy to announce that this blog post was selected as KDnuggets Silver Blog for February 2018! Read this on KDnuggets.

What is Google Colab?

Google Colab is a free cloud service and now it supports free GPU!

You can;

• improve your Python programming language coding skills.
• develop deep learning applications using popular libraries such as Keras, TensorFlow, PyTorch, and OpenCV.

The most important feature that distinguishes Colab from other free cloud services is; Colab provides GPU and is totally free.

Detailed information about the service can be found on the faq page.

Getting Google Colab Ready to Use

Creating Folder on Google Drive

Since Colab is working on your own Google Drive, we first need to specify the folder we’ll work. I created a folder named “app” on my Google Drive. Of course, you can use a different name or choose the default Colab Notebooks folder instead of app folder.

I created an empty “app” folder

Creating New Colab Notebook

Create a new notebook via Right click > More > Colaboratory

Right click > More > Colaboratory

Rename notebook by means of clicking the file name.

Setting Free GPU

It is so simple to alter default hardware (CPU to GPU or vice versa); just follow Edit > Notebook settings or Runtime>Change runtime type and select GPU as Hardware accelerator.

Running Basic Python Codes with Google Colab

Now we can start using Google Colab.

I will run some Basic Data Types codes from Python Numpy Tutorial.

It works as expected :) If you do not know Python which is the most popular programming language for AI, I would recommend this simple and clean tutorial.

Running or Importing .py Files with Google Colab

Run these codes first in order to install the necessary libraries and perform authorization.

When you run the code above, you should see a result like this:

Click the link, copy verification code and paste it to text box.

After completion of the authorization process, you should see this:

Now you can reach you Google Drive with:

install Keras:

!pip install -q keras

upload mnist_cnn.py file to app folder which is located on your Google Drive.

mnist_cnn.py file

run the code below to train a simple convnet on the MNIST dataset.

!python3 "/content/drive/My Drive/app/mnist_cnn.py"

As you can see from the results, each epoch lasts only 11 seconds.

이런 에러시  " Could not load dynamic library 'cudart64_110.dll'; dlerror: cudart64_110.dll not found "

1. CUDA 최신 버전 다운로드

https://developer.nvidia.com/cuda-toolkit-archive

2. Path 추가

내컴퓨터 - 우클릭 속성 - 고급 시스템 설정 - 고급 - 환경 변수

시스템 변수에 Path 편집

아래 두줄이 포함되어 있어야 합니다.

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4\bin

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4\libnvvp

* 설치하니까 자동으로 생성이 된다. 

3. 텐서플로우 재설치

터미널에서 텐서플로우를 다시 인스톨해 주세요

pip install tensorflow

4.기타

이외에도 duDNN을 설치 하라고 하는데 제 케이스에는 설치 없이 되었습니다.

위에서도 안된다면 아래 사이트에서 다운 받아 설치해 주세요.

https://developer.nvidia.com/rdp/cudnn-archive

# 참조 : https://sheepone.tistory.com/126

conda update

Anaconda Prompt 에 들어오면 conda 패키지 관리자를 사용할 수 있게 됩니다.


> conda activate main

1.우선 conda 자체를 업그레이드 해줍니다.

> conda update -n base conda

2.다음으로 설치된 파이썬 패키지를 모두 최신 버전으로 업데이트 해줍니다.

>conda update -all 

3. tensorflow 를 설치합니다

>pip install tensorflow 

4.keras도 설치해줍니다

>pip install keras

[tensorflow] 한글 음절 인식기 - hangul-syllable-recognition

https://github.com/junstar92/hangul-syllable-recognition

Introduction

한글은 조합이 다양하기 때문에 영어에 비해서 OCR 성능이 조금 떨어진다고 알고 있다.

다양한 폰트와 손글씨 데이터를 가지고, 얼마나 한글을 잘 인식하는지 확인하기 위해서 프로젝트를 진행했다.

Getting started

python and pakage version

python3 == 3.8.3

tensorflow_gpu == 2.3.0

numpy == 1.19.5

argparse == 1.1

pandas == 1.2.0

cv2 == 4.5.1

streamlit == 0.74.1

streamlit_drawable_canvas

생활코딩 - 머신러닝야학

서말 : seomal.com/map/1

라이브 : youtu.be/HUVG4ZnwN5k

머신러닝야학?

머신러닝야학은
혼자서 외롭게 머신러닝을 공부하고 있는 분들을
지원하고, 응원하기 위해서 만들어진
작은 학교입니다.

지금부터 우리는 10일 동안
동영상과 전자책으로 제작된 머신러닝 수업을 공부하면서
머신러닝의 흥미진진한 세계를 탐험할 것입니다.

그 과정에서
현업에서 활동 중인 엔지니어들의
기술지원을 받을 수 있습니다.

같은 목표를 향해서 달려가는
동료를 만날 수도 있습니다.

이 여행이 끝나고 나면
머신러닝이 무엇인지 알게 될 것이고,
머신러닝으로 하고 싶은 것이 생길 것입니다.
다시 말해서 꿈을 갖게 될 것입니다.

우리 학교의 목표는 꿈을 먼저 갖는 것입니다.
꿈이 있다면 능력은 차차로 갖춰지게 되어 있습니다.
꿈을 꿉시다.

일정

10일간 온라인으로 진행됩니다. 주말에는 쉽니다.

• 2021.1.4 : 개강
• 2021.1.15 : 종강
• 2021.1.19 : 수료식

Word Tokenization 단어 토큰화

자연어 처리에서 크롤링 등으로 얻어낸 코퍼스 데이터가 필요에 맞게 전처리되지 않은 상태라면, 해당 데이터를 사용하고자하는 용도에 맞게 토큰화(tokenization) & 정제(cleaning) & 정규화(normalization)하는 일을 하게 됩니다. 이번 챕터에서는 그 중에서도 토큰화에 대해서 배우도록 합니다.

주어진 코퍼스(corpus)에서 토큰(token)이라 불리는 단위로 나누는 작업을 토큰화(tokenization)라고 부릅니다. 토큰의 단위가 상황에 따라 다르지만, 보통 의미있는 단위로 토큰을 정의합니다.

이 챕터에서는 토큰화에 대한 발생할 수 있는 여러가지 상황에 대해서 언급하여 토큰화에 대한 개념을 이해합니다. 뒤에서 파이썬과 NLTK 패키지, KoNLPY를 통해 실습을 진행하며 직접 토큰화를 수행해보겠습니다.

## word_tokenize는 Don't를 Do와 n't로 분리하였으며, 
## 반면 Jone's는 Jone과 's로 분리한 것을 확인할 수 있습니다.
>from nltk.tokenize import word_tokenize  
>print(word_tokenize("Don't be fooled by the dark sounding name, Mr. Jone's Orphanage is as cheery as cheery goes for a pastry shop."))  
['Do', "n't", 'be', 'fooled', 'by', 'the', 'dark', 'sounding', 'name', ',', 'Mr.', 'Jone', "'s", 'Orphanage', 'is', 'as', 'cheery', 'as', 'cheery', 'goes', 'for', 'a', 'pastry', 'shop', '.']  


## WordPunctTokenizer는 구두점을 별도로 분류하는 특징을 갖고 있기때문에, 앞서 확인했던
## word_tokenize와는 달리 Don't를 Don과 '와 t로 분리하였으며, 
## 이와 마찬가지로 Jone's를 Jone과 '와 s로 분리한 것을 확인할 수 있습니다.
>from nltk.tokenize import WordPunctTokenizer  
>print(WordPunctTokenizer().tokenize("Don't be fooled by the dark sounding name, Mr. Jone's Orphanage is as cheery as cheery goes for a pastry shop."))
['Don', "'", 't', 'be', 'fooled', 'by', 'the', 'dark', 'sounding', 'name', ',', 'Mr', '.', 'Jone', "'", 's', 'Orphanage', 'is', 'as', 'cheery', 'as', 'cheery', 'goes', 'for', 'a', 'pastry', 'shop', '.']  


## 케라스 또한 토큰화 도구로서 text_to_word_sequence를 지원합니다. 이번에는 케라스로 토큰화를 수행해봅시다.
## 케라스의 text_to_word_sequence는 기본적으로 모든 알파벳을 소문자로 바꾸면서 온점이나 
## 컴마, 느낌표 등의 구두점을 제거합니다. 하지만 don't나 jone's와 같은 경우 아포스트로피는 보존하는 것을 볼 수 있습니다.
>from tensorflow.keras.preprocessing.text import text_to_word_sequence
>print(text_to_word_sequence("Don't be fooled by the dark sounding name, Mr. Jone's Orphanage is as cheery as cheery goes for a pastry shop."))
["don't", 'be', 'fooled', 'by', 'the', 'dark', 'sounding', 'name', 'mr', "jone's", 'orphanage', 'is', 'as', 'cheery', 'as', 'cheery', 'goes', 'for', 'a', 'pastry', 'shop']


## 표준으로 쓰이고 있는 토큰화 방법 중 하나인 Penn Treebank Tokenization의 규칙에 대해서 소개하고, 토큰화의 결과를 보도록 하겠습니다.
## 규칙 1. 하이푼으로 구성된 단어는 하나로 유지한다.
## 규칙 2. doesn't와 같이 아포스트로피로 '접어'가 함께하는 단어는 분리해준다. 
>from nltk.tokenize import TreebankWordTokenizer
>tokenizer=TreebankWordTokenizer()
>text="Starting a home-based restaurant may be an ideal. it doesn't have a food chain or restaurant of their own."
>print(tokenizer.tokenize(text))
['Starting', 'a', 'home-based', 'restaurant', 'may', 'be', 'an', 'ideal.', 'it', 'does', "n't", 'have', 'a', 'food', 'chain', 'or', 'restaurant', 'of', 'their', 'own', '.']

자주 묻는 질문

1) 내 컴퓨터에 어떤 GPU가 있는지 어떻게 알 수 있습니까?답변 :

Windows 컴퓨터 :

1. 바탕 화면을 마우스 오른쪽 버튼으로 클릭
2. 팝업 창에 "NVIDIA 제어판"또는 "NVIDIA 디스플레이"가 표시되면 NVIDIA GPU가있는 것입니다.
3. 팝업 창에서 "NVIDIA 제어판"또는 "NVIDIA 디스플레이"를 클릭합니다.
4. "그래픽 카드 정보"를보십시오.
5. NVIDIA GPU의 이름이 표시됩니다.

Apple 컴퓨터 :

1. "Apple 메뉴"를 클릭하십시오.
2. "이 매킨토시에 관하여"를 클릭하십시오
3. "추가 정보"를 클릭하십시오.
4. 컨텐츠 목록에서 "그래픽 / 디스플레이"를 선택합니다.

2) 컴퓨터에 CUDA 지원 GPU가 있습니까?답변 : 위의 목록을 확인하여 GPU가 있는지 확인하십시오. 그렇다면 컴퓨터에 CUDA 가속 응용 프로그램을 활용할 수있는 최신 GPU가 있음을 의미합니다.3) 최신 드라이버가 있는지 어떻게 알 수 있습니까?답변 : www.nvidia.com/drivers로 이동하십시오.4) CUDA 지원 GPU 또는 시스템은 어떻게 구할 수 있습니까?답변 :
HPC 및 슈퍼 컴퓨팅 애플리케이션 용 Tesla는 www.nvidia.com/object/tesla_wtb.html
로 이동하십시오. 엔터테인먼트 용 GeForce는 www.nvidia.com/object/geforce_family.html
로 이동하십시오. 전문적인 시각화를위한 Quadro는 www. .nvidia.com / object / workstation_wheretobuy.html5) CUDA Toolkit을 다운로드하려면 어떻게해야합니까?답변 : CUDA 툴킷 다운로드로 이동 하십시오 .

tensorFlow - GPU 지원  www.tensorflow.org/install/gpu?hl=ko

TensorFlow GPU 지원에는 다양한 드라이버와 라이브러리가 필요합니다. 설치를 단순화하고 라이브러리 충돌을 방지하려면 GPU를 지원하는 TensorFlow Docker 이미지를 사용하는 것이 좋습니다(Linux만 해당). 이 설정에는 NVIDIA® GPU 드라이버만 있으면 됩니다.

Pip 패키지

사용 가능한 패키지, 시스템 요구사항 및 명령어는 pip 설치 가이드를 참고하세요. TensorFlow pip 패키지에는 CUDA® 지원 카드에 대한 GPU 지원이 포함됩니다.

pip install tensorflow

이 가이드에서는 최신 안정적인 TensorFlow 출시의 GPU 지원 및 설치 단계를 설명합니다.

이전 버전의 TensorFlow

1.15 이하 버전의 경우 CPU와 GPU 패키지가 다음과 같이 구분됩니다.

pip install tensorflow==1.15      # CPU
pip install tensorflow-gpu==1.15  # GPU

하드웨어 요구사항

다음과 같은 GPU 사용 기기가 지원됩니다.

• CUDA® 아키텍처 3.5, 3.7, 5.2, 6.0, 6.1, 7.0 이상을 포함하는 NVIDIA® GPU 카드 CUDA® 지원 GPU 카드 목록을 참고하세요.
• NVIDIA® Ampere GPU(CUDA 아키텍처 8.0) 이상이 적용된 시스템에서 커널은 PTX에서 JIT로 컴파일되며 TensorFlow는 시작하는 데 30분 이상 걸릴 수 있습니다. 이 오버헤드는 ‘export CUDA_CACHE_MAXSIZE=2147483648’를 사용하여 기본 JIT 캐시 크기를 늘려 첫 번째 시작으로 제한될 수 있습니다. 자세한 내용은 JIT 캐싱을 참고하세요.
• 지원되지 않는 CUDA® 아키텍처를 사용하는 GPU의 경우 또는 PTX에서 JIT 컴파일을 방지하거나 다른 버전의 NVIDIA® 라이브러리를 사용하려면 Linux 소스에서 빌드 가이드를 참고하세요.
• 패키지에는 지원되는 최신 CUDA® 아키텍처를 제외하고 PTX 코드가 포함되어 있지 않습니다. 따라서 CUDA_FORCE_PTX_JIT=1이 설정된 경우 이전 GPU에서 TensorFlow가 로드되지 않습니다. 자세한 내용은 애플리케이션 호환성을 참고하세요.

참고: '상태: 기기 커널 이미지가 잘못되었습니다'라는 오류 메시지는 TensorFlow 패키지에 아키텍처의 PTX가 포함되어 있지 않음을 나타냅니다. 소스에서 TensorFlow를 빌드하여 컴퓨팅 기능을 사용 설정할 수 있습니다.

소프트웨어 요구사항

다음 NVIDIA® 소프트웨어가 시스템에 설치되어 있어야 합니다.

• NVIDIA® GPU 드라이버 - CUDA® 10.1에는 418.x 이상이 필요합니다.
• CUDA® Toolkit - TensorFlow는 CUDA® 10.1을 지원합니다(TensorFlow 2.1.0 이상).
• CUPTI는 CUDA® Toolkit과 함께 제공됩니다.
• cuDNN SDK 7.6
• (선택사항) TensorRT 6.0 - 일부 모델에서 추론 처리량과 지연 시간을 향상합니다.

Nvidia CUDA 지원 GPU 리스트

developer.nvidia.com/cuda-gpus