딥러닝 자연어처리 - RNN에서 BERT까지

< 딥러닝 자연어처리 - RNN에서 BERT까지 >
- RNN/LSTM
- Seq2Seq
- 어텐션
- 트랜스포머
- BERT

< 챗봇 개발자 모임 >
- https://www.facebook.com/groups/ChatbotDevKR/

.

인공지능(AI) 언어모델 ‘BERT(버트)'는 무엇인가

github.com/google-research/bert

지난해 11월, 구글이 공개한 인공지능(AI) 언어모델 ‘BERT(이하 버트, Bidirectional Encoder Representations from Transformers)’는 일부 성능 평가에서 인간보다 더 높은 정확도를 보이며 2018년 말 현재, 자연 언어 처리(NLP) AI의 최첨단 딥러닝 모델이다. 

또한 BERT는 언어표현 사전학습의 새로운 방법으로 그 의미는 '큰 텍스트 코퍼스(Wikipedia와 같은)'를 이용하여 범용목적의 '언어 이해'(language understanding)' 모델을 훈련시키는 것과 그 모델에 관심 있는 실제의 자연 언어 처리 태스크(질문·응답 등)에 적용하는 것이다.

특히 BERT는 종래보다 우수한 성능을 발휘한다. BERT는 자연언어 처리 태스크를 교육 없이 양방향으로 사전학습하는 첫 시스템이기 때문이다. 교육 없음이란 BERT가 보통의 텍스트 코퍼스만을 이용해 훈련되고 있다는 것을 의미한다. 이것은 웹(Web) 상에서 막대한 양의 보통 텍스트 데이터가 여러 언어로 이용 가능하기 때문에 중요한 특징으로 꼽는다.

사전학습을 마친 특징 표현은 문맥에 '의존하는 방법'와 '의존하지 않는 방법'의 어느 방법도 있을 수 있다. 또 문맥에 의존하는 특징적인 표현은 단방향인 경우와 혹은 양방향일 경우가 있다. word2vec나 GloVe와 같이 문맥에 의존하지 않는 모델에서는, 어휘에 포함되는 각 단어마다 '단어 삽입(word embedding)'이라는 특징 표현을 생성한다. 따라서, 'bank'라는 단어는 'bank deposit' 또는 'river bank'과 같은 특징으로 표현되며, 문맥에 의존하는 모델에서는 문장에 포함되는 다른 단어를 바탕으로 각 단어의 특징을 표현 생성한다.

BERT는 문맥에 의존하는 특징적인 표현의 전학습을 실시하는 대응을 바탕으로 구축되었다. 그러한 대응은 Semi-supervised Sequence Learning, Generative Pre-Training, ELMo, 및 ULMFit를 포함하며, 대응에 의한 모델은 모두 단방향 혹은 얕은 양방향이다. 각 단어는 단지 그 왼쪽(혹은 오른쪽)에 존재하는 단어에 의해서만 문맥의 고려가 되는 것을 의미한다.

예를 들어, I made a bank deposit라는 문장은 bank의 단방향 특징표현은 단지 I made a만에 의해 결정되며, deposit은 고려되지 않는다. 몇개의 이전의 대응에서는 분리한 좌문맥모델과 우문맥모델에 의한 특징표현을 조합하고 있었지만, 이것은 얕은 양방향 방법이다. BERT는 bank를 왼쪽과 오른쪽 양쪽의 문맥 I made a ... deposit을 딥 뉴럴 네트워크(Deposit)의 최하층에서 이용해 특징을 표현하기 때문에 BERT는 '딥 양방향(deeply bidirectional)'이다.

BERT는 간단한 접근법을 사용한다. 입력에서 단어의 15%를 숨기고 딥 양방향 Transformer encoder(관련 논문다운)를 통해 전체 시퀀스를 실행한 다음 마스크 된 단어만 예측한다. 예를 들어, 아래와 같이 문간의 관계를 학습하기 위해서는 임의의 단언어 코퍼스에서 생성 가능한 심플한 작업을 이용하여 학습한다. A와 B의 두 개의 글을 받았을 때 B가 A의 뒤에 오는 실제 문장인지, 코퍼스 안의 랜덤한 글인지를 판정하는 태스크이다.
 

또한 큰 모델(12층에서 24층의 Transformer)을 큰 코퍼스(Wikipedia + BookCorpus)로 긴 시간을 들여(100만 갱신 스텝) 훈련했다. 그것이 BERT이며, 이용은 '사전학습'과 '전이학습'의 2단계로 구분된다.

사전학습(pre-training)은 상당히 고가로 4에서 16개의 Cloud TPU로 4일(12 층의 Transformer 모델의 경우 4개의 TPU를 사용하여 4일, 24층 Transformer 모델의 경우 16개의 TPU를 사용하여 4일이라는 의미) 각 언어마다 1회만의 순서이다. 자연 언어 처리 개발자는 처음부터 자신의 모델을 사전 학습할 필요가 없다.

전이학습(Fine-tuning)은 저렴하며, 논문(아래 참조)과 똑같은 사전학습이 끝난 모델을 사용하여 하나의 Cloud TPU를 이용, 1시간 GPU를 사용하면 2, 3시간만에 재현할 수 있다. 예를 들면 SQuAD는 하나의 Cloud TPU를 이용 30분으로 하나의 시스템으로서는 최첨단(state-of-the-art)인 91.0%의 Dev F1을 달성할 수 있다.

이밖에 BERT의 또 다른 중요한 측면은 많은 종류의 자연 언어 처치 태스크로 인해 매우 쉽게 채택될 수 있다. 논문 중에서 문장 수준 (SST-2 등), 문장 쌍 수준(MultiNLI 등), 단어 수준(NER 등) 스팬 레벨 2 (SQuAD 등)의 태스크에 대해서 거의 태스크 특유의 변경을 실시하는 일 없이, 최첨단 결과를 얻을 수 있는 것을 나타내고 있다.

참고) 'BERT: 언어 이해를 위한 양방향 트랜스포머 사전 학습(BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding)' 논문(다운받기), BERT Google-research의 깃허브(GitHub) (바로가기) 
 

www.aitimes.kr/news/articleView.html?idxno=13117

ebbnflow.tistory.com/151

vhrehfdl.tistory.com/15

안녕하세요. 학우 여러분

벌써 중간지점까지 왔습니다. 

즐겁게 공부하고 계신가요?

야학이 시작될 때는 공개되지 않았던 수업들이 

모두 완성 & 공개되었습니다. 

이번에 공개된 수업은 아래와 같습니다.

TensorFlow.js 기본
수업 : https://opentutorials.org/course/4628
진도표 : https://yah.ac/tensorflowjs 

TensorFlow로 하는 이미지 분류

수업 : https://opentutorials.org/module/5268
진도표 : https://yah.ac/tensorflow102 

TensorFlow.js 분류 

수업 : https://opentutorials.org/course/4642  

종강이 얼마 남지 않았습니다.

정상에서 모두 만나요. ^^

혹시 아직 시작하지 못하셨나요? 

시작하는 순간

가장 혁명적이고, 

가장 가성비 높은 지식을 만나게 됩니다

완주하지 못할 것이라는 걱정은 버리고 

시작만 하자는 마음으로 가볍게 몸을 움직여보시면 어떨까요?

응원합니다.

https://ml.yah.ac 에서 기다리겠습니다. 

생활코딩 - 머신러닝야학

서말 : seomal.com/map/1

라이브 : youtu.be/HUVG4ZnwN5k

머신러닝야학?

머신러닝야학은
혼자서 외롭게 머신러닝을 공부하고 있는 분들을
지원하고, 응원하기 위해서 만들어진
작은 학교입니다.

지금부터 우리는 10일 동안
동영상과 전자책으로 제작된 머신러닝 수업을 공부하면서
머신러닝의 흥미진진한 세계를 탐험할 것입니다.

그 과정에서
현업에서 활동 중인 엔지니어들의
기술지원을 받을 수 있습니다.

같은 목표를 향해서 달려가는
동료를 만날 수도 있습니다.

이 여행이 끝나고 나면
머신러닝이 무엇인지 알게 될 것이고,
머신러닝으로 하고 싶은 것이 생길 것입니다.
다시 말해서 꿈을 갖게 될 것입니다.

우리 학교의 목표는 꿈을 먼저 갖는 것입니다.
꿈이 있다면 능력은 차차로 갖춰지게 되어 있습니다.
꿈을 꿉시다.

일정

10일간 온라인으로 진행됩니다. 주말에는 쉽니다.

• 2021.1.4 : 개강
• 2021.1.15 : 종강
• 2021.1.19 : 수료식

국가공간정보포털의 이용과 관심에 감사합니다.

대용량 CSV 파일 분할 EXE 입니다.

File name : split.exe
License : GNU General Public License version 3.0 (GPLv3)

www.nsdi.go.kr/lxportal/index.html?menuno=2772&cateIndex=712&bbsno=635&boardno=552

자주 묻는 질문

1) 내 컴퓨터에 어떤 GPU가 있는지 어떻게 알 수 있습니까?답변 :

Windows 컴퓨터 :

1. 바탕 화면을 마우스 오른쪽 버튼으로 클릭
2. 팝업 창에 "NVIDIA 제어판"또는 "NVIDIA 디스플레이"가 표시되면 NVIDIA GPU가있는 것입니다.
3. 팝업 창에서 "NVIDIA 제어판"또는 "NVIDIA 디스플레이"를 클릭합니다.
4. "그래픽 카드 정보"를보십시오.
5. NVIDIA GPU의 이름이 표시됩니다.

Apple 컴퓨터 :

1. "Apple 메뉴"를 클릭하십시오.
2. "이 매킨토시에 관하여"를 클릭하십시오
3. "추가 정보"를 클릭하십시오.
4. 컨텐츠 목록에서 "그래픽 / 디스플레이"를 선택합니다.

2) 컴퓨터에 CUDA 지원 GPU가 있습니까?답변 : 위의 목록을 확인하여 GPU가 있는지 확인하십시오. 그렇다면 컴퓨터에 CUDA 가속 응용 프로그램을 활용할 수있는 최신 GPU가 있음을 의미합니다.3) 최신 드라이버가 있는지 어떻게 알 수 있습니까?답변 : www.nvidia.com/drivers로 이동하십시오.4) CUDA 지원 GPU 또는 시스템은 어떻게 구할 수 있습니까?답변 :
HPC 및 슈퍼 컴퓨팅 애플리케이션 용 Tesla는 www.nvidia.com/object/tesla_wtb.html
로 이동하십시오. 엔터테인먼트 용 GeForce는 www.nvidia.com/object/geforce_family.html
로 이동하십시오. 전문적인 시각화를위한 Quadro는 www. .nvidia.com / object / workstation_wheretobuy.html5) CUDA Toolkit을 다운로드하려면 어떻게해야합니까?답변 : CUDA 툴킷 다운로드로 이동 하십시오 .

tensorFlow - GPU 지원  www.tensorflow.org/install/gpu?hl=ko

TensorFlow GPU 지원에는 다양한 드라이버와 라이브러리가 필요합니다. 설치를 단순화하고 라이브러리 충돌을 방지하려면 GPU를 지원하는 TensorFlow Docker 이미지를 사용하는 것이 좋습니다(Linux만 해당). 이 설정에는 NVIDIA® GPU 드라이버만 있으면 됩니다.

Pip 패키지

사용 가능한 패키지, 시스템 요구사항 및 명령어는 pip 설치 가이드를 참고하세요. TensorFlow pip 패키지에는 CUDA® 지원 카드에 대한 GPU 지원이 포함됩니다.

pip install tensorflow

이 가이드에서는 최신 안정적인 TensorFlow 출시의 GPU 지원 및 설치 단계를 설명합니다.

이전 버전의 TensorFlow

1.15 이하 버전의 경우 CPU와 GPU 패키지가 다음과 같이 구분됩니다.

pip install tensorflow==1.15      # CPU
pip install tensorflow-gpu==1.15  # GPU

하드웨어 요구사항

다음과 같은 GPU 사용 기기가 지원됩니다.

• CUDA® 아키텍처 3.5, 3.7, 5.2, 6.0, 6.1, 7.0 이상을 포함하는 NVIDIA® GPU 카드 CUDA® 지원 GPU 카드 목록을 참고하세요.
• NVIDIA® Ampere GPU(CUDA 아키텍처 8.0) 이상이 적용된 시스템에서 커널은 PTX에서 JIT로 컴파일되며 TensorFlow는 시작하는 데 30분 이상 걸릴 수 있습니다. 이 오버헤드는 ‘export CUDA_CACHE_MAXSIZE=2147483648’를 사용하여 기본 JIT 캐시 크기를 늘려 첫 번째 시작으로 제한될 수 있습니다. 자세한 내용은 JIT 캐싱을 참고하세요.
• 지원되지 않는 CUDA® 아키텍처를 사용하는 GPU의 경우 또는 PTX에서 JIT 컴파일을 방지하거나 다른 버전의 NVIDIA® 라이브러리를 사용하려면 Linux 소스에서 빌드 가이드를 참고하세요.
• 패키지에는 지원되는 최신 CUDA® 아키텍처를 제외하고 PTX 코드가 포함되어 있지 않습니다. 따라서 CUDA_FORCE_PTX_JIT=1이 설정된 경우 이전 GPU에서 TensorFlow가 로드되지 않습니다. 자세한 내용은 애플리케이션 호환성을 참고하세요.

참고: '상태: 기기 커널 이미지가 잘못되었습니다'라는 오류 메시지는 TensorFlow 패키지에 아키텍처의 PTX가 포함되어 있지 않음을 나타냅니다. 소스에서 TensorFlow를 빌드하여 컴퓨팅 기능을 사용 설정할 수 있습니다.

소프트웨어 요구사항

다음 NVIDIA® 소프트웨어가 시스템에 설치되어 있어야 합니다.

• NVIDIA® GPU 드라이버 - CUDA® 10.1에는 418.x 이상이 필요합니다.
• CUDA® Toolkit - TensorFlow는 CUDA® 10.1을 지원합니다(TensorFlow 2.1.0 이상).
• CUPTI는 CUDA® Toolkit과 함께 제공됩니다.
• cuDNN SDK 7.6
• (선택사항) TensorRT 6.0 - 일부 모델에서 추론 처리량과 지연 시간을 향상합니다.

Nvidia CUDA 지원 GPU 리스트

developer.nvidia.com/cuda-gpus