딥러닝 자연어처리 - RNN에서 BERT까지

< 딥러닝 자연어처리 - RNN에서 BERT까지 >
- RNN/LSTM
- Seq2Seq
- 어텐션
- 트랜스포머
- BERT

< 챗봇 개발자 모임 >
- https://www.facebook.com/groups/ChatbotDevKR/

.

인공지능(AI) 언어모델 ‘BERT(버트)'는 무엇인가

github.com/google-research/bert

지난해 11월, 구글이 공개한 인공지능(AI) 언어모델 ‘BERT(이하 버트, Bidirectional Encoder Representations from Transformers)’는 일부 성능 평가에서 인간보다 더 높은 정확도를 보이며 2018년 말 현재, 자연 언어 처리(NLP) AI의 최첨단 딥러닝 모델이다. 

또한 BERT는 언어표현 사전학습의 새로운 방법으로 그 의미는 '큰 텍스트 코퍼스(Wikipedia와 같은)'를 이용하여 범용목적의 '언어 이해'(language understanding)' 모델을 훈련시키는 것과 그 모델에 관심 있는 실제의 자연 언어 처리 태스크(질문·응답 등)에 적용하는 것이다.

특히 BERT는 종래보다 우수한 성능을 발휘한다. BERT는 자연언어 처리 태스크를 교육 없이 양방향으로 사전학습하는 첫 시스템이기 때문이다. 교육 없음이란 BERT가 보통의 텍스트 코퍼스만을 이용해 훈련되고 있다는 것을 의미한다. 이것은 웹(Web) 상에서 막대한 양의 보통 텍스트 데이터가 여러 언어로 이용 가능하기 때문에 중요한 특징으로 꼽는다.

사전학습을 마친 특징 표현은 문맥에 '의존하는 방법'와 '의존하지 않는 방법'의 어느 방법도 있을 수 있다. 또 문맥에 의존하는 특징적인 표현은 단방향인 경우와 혹은 양방향일 경우가 있다. word2vec나 GloVe와 같이 문맥에 의존하지 않는 모델에서는, 어휘에 포함되는 각 단어마다 '단어 삽입(word embedding)'이라는 특징 표현을 생성한다. 따라서, 'bank'라는 단어는 'bank deposit' 또는 'river bank'과 같은 특징으로 표현되며, 문맥에 의존하는 모델에서는 문장에 포함되는 다른 단어를 바탕으로 각 단어의 특징을 표현 생성한다.

BERT는 문맥에 의존하는 특징적인 표현의 전학습을 실시하는 대응을 바탕으로 구축되었다. 그러한 대응은 Semi-supervised Sequence Learning, Generative Pre-Training, ELMo, 및 ULMFit를 포함하며, 대응에 의한 모델은 모두 단방향 혹은 얕은 양방향이다. 각 단어는 단지 그 왼쪽(혹은 오른쪽)에 존재하는 단어에 의해서만 문맥의 고려가 되는 것을 의미한다.

예를 들어, I made a bank deposit라는 문장은 bank의 단방향 특징표현은 단지 I made a만에 의해 결정되며, deposit은 고려되지 않는다. 몇개의 이전의 대응에서는 분리한 좌문맥모델과 우문맥모델에 의한 특징표현을 조합하고 있었지만, 이것은 얕은 양방향 방법이다. BERT는 bank를 왼쪽과 오른쪽 양쪽의 문맥 I made a ... deposit을 딥 뉴럴 네트워크(Deposit)의 최하층에서 이용해 특징을 표현하기 때문에 BERT는 '딥 양방향(deeply bidirectional)'이다.

BERT는 간단한 접근법을 사용한다. 입력에서 단어의 15%를 숨기고 딥 양방향 Transformer encoder(관련 논문다운)를 통해 전체 시퀀스를 실행한 다음 마스크 된 단어만 예측한다. 예를 들어, 아래와 같이 문간의 관계를 학습하기 위해서는 임의의 단언어 코퍼스에서 생성 가능한 심플한 작업을 이용하여 학습한다. A와 B의 두 개의 글을 받았을 때 B가 A의 뒤에 오는 실제 문장인지, 코퍼스 안의 랜덤한 글인지를 판정하는 태스크이다.
 

또한 큰 모델(12층에서 24층의 Transformer)을 큰 코퍼스(Wikipedia + BookCorpus)로 긴 시간을 들여(100만 갱신 스텝) 훈련했다. 그것이 BERT이며, 이용은 '사전학습'과 '전이학습'의 2단계로 구분된다.

사전학습(pre-training)은 상당히 고가로 4에서 16개의 Cloud TPU로 4일(12 층의 Transformer 모델의 경우 4개의 TPU를 사용하여 4일, 24층 Transformer 모델의 경우 16개의 TPU를 사용하여 4일이라는 의미) 각 언어마다 1회만의 순서이다. 자연 언어 처리 개발자는 처음부터 자신의 모델을 사전 학습할 필요가 없다.

전이학습(Fine-tuning)은 저렴하며, 논문(아래 참조)과 똑같은 사전학습이 끝난 모델을 사용하여 하나의 Cloud TPU를 이용, 1시간 GPU를 사용하면 2, 3시간만에 재현할 수 있다. 예를 들면 SQuAD는 하나의 Cloud TPU를 이용 30분으로 하나의 시스템으로서는 최첨단(state-of-the-art)인 91.0%의 Dev F1을 달성할 수 있다.

이밖에 BERT의 또 다른 중요한 측면은 많은 종류의 자연 언어 처치 태스크로 인해 매우 쉽게 채택될 수 있다. 논문 중에서 문장 수준 (SST-2 등), 문장 쌍 수준(MultiNLI 등), 단어 수준(NER 등) 스팬 레벨 2 (SQuAD 등)의 태스크에 대해서 거의 태스크 특유의 변경을 실시하는 일 없이, 최첨단 결과를 얻을 수 있는 것을 나타내고 있다.

참고) 'BERT: 언어 이해를 위한 양방향 트랜스포머 사전 학습(BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding)' 논문(다운받기), BERT Google-research의 깃허브(GitHub) (바로가기) 
 

www.aitimes.kr/news/articleView.html?idxno=13117

ebbnflow.tistory.com/151

vhrehfdl.tistory.com/15

도토리·일촌의 추억, 싸이월드 부활한다

경영난으로 폐업 위기에 몰렸던 국내 1세대 소셜미디어 싸이월드가 다음 달 서비스를 재개한다. 2일 IT 업계에 따르면 신설 법인 싸이월드Z는 지난달 말 전제완 싸이월드 대표로부터 싸이월드 서비스 운영권을 인수하는 계약을 체결했다. 싸이월드Z는 엔터테인먼트 회사 스카이이엔엠 등 5개 기업이 컨소시엄을 구성해 설립한 법인이다.

싸이월드Z는 이르면 3월 중 기존 싸이월드 PC 서비스를 정상화할 계획이다. 회사 관계자는 “많은 사용자가 접속할 가능성이 높아 내부 베타 서비스를 거쳐 정식 오픈할 예정”이라고 설명했다. 상반기 중에는 모바일 앱도 출시할 예정이다.

전제완 대표는 기존 직원들에게 체불한 임금 10억원을 컨소시엄이 해결하는 조건으로 싸이월드를 넘긴 것으로 알려졌다. 전 대표는 직원 27명의 임금·퇴직금 4억7000만원 상당을 체불한 혐의로 기소돼 지난해 11월 1심에서 징역 1년 6개월을 선고받았다. 싸이월드는 지난해 5월 매출과 영업 활동이 장기간 포착되지 않아 관할 세무서에 의해 폐업 처리됐다.

암호화 파일을 dll로 만들어서 등록 후 사용하기. 

소스는 찾아보면 많이 있고. 

dll을 IIS에 등록해야 하는데. 찾아보니 coolsharp.blogspot.com/2012/10/asp-c-dll.html 여기가 내가 원하는게 있군. 

위 링크에서 보고 만들어서 해보면 된다. 

그런데, DLL을 다른 PC에서 만들고 내 PC에 DLL을 등록하려면 오류 발생. 

이런 에러가 나서 뭔가 했더니 DLL만든 PC와 다른 곳에서 셋팅을 하면 발생. 

(예외가 발생한 HRESULT: 0x80131515)

"이 파일은 다른 컴퓨터로부터 왔으며 사용자의 컴퓨터를 보호하기 위해 차단 되었을 수도 있습니다."

에서 "차단해제"를 하면 된다. 

[웨비나] S/W 기업이 SaaS 비즈니스 모델을 고민해야 하는 이유

내용

> 웨비나 사전 신청하기 (링크)

> 네이버 클라우드 플랫폼 교육 및 행사 일정 더보기 (링크)

> 네이버 클라우드 플랫폼 바로가기 (링크)

※ 본문 링크가 클릭되지 않는 분들은 하단 링크를 사용해주세요.

> 웨비나 사전 신청하기 (링크)
> 네이버 클라우드 플랫폼 교육 및 행사 일정 더보기 (링크)
> 네이버 클라우드 플랫폼 바로가기 (링크)

감사합니다.

유의 사항

[웨비나] S/W 기업이 SaaS 비즈니스 모델을 고민해야 하는 이유

소프트웨어 기업과 고객은 왜 SaaS(Software as a Service)를 선택하는 것일까요?

이번 웨비나에서는 SaaS 시장 동향과 SaaS 비즈니스 모델의 장점부터

SaaS 필수 기능, 가격 모델, 성장 전략 등을 알아보겠습니다.

그리고 SaaS 구축에 효과적으로 사용할 수 있는 네이버 클라우드 플랫폼 상품도 함께 소개해드립니다.

■ 일시 : 

2020년 1월 21일 (목) 11:00 - 12:00 

■ 내용 :

- SaaS 시장 동향 및 Overview

- How to Build a SaaS Product?

- SaaS on NAVER Cloud Platform

■ 참여 방법 : 

본 세미나는 온라인으로 진행되므로 사전 등록 후, 

당일 웨비나 시작 시간에 맞춰 해당 웹사이트로 접속하시면 됩니다.

www.ncloud.com/support/edu/296

네이버클라우드 'SaaS 육성 프로그램' 지원 18개 기업 선정

네이버클라우드가 'SaaS 기업 육성 프로그램'에 선정된 18개 기업에게 내년 1월부터 본격적인 지원을 시작한다고 오늘(28일) 밝혔습니다.

이 프로그램 선발 과정은 클라우드 기반의 전문 서비스형 소프트웨어(SaaS) 기업으로 전환하길 원하는 솔루션 기업이나 SaaS 서비스를 고도화하고자 하는 기업을 대상으로 진행됐습니다.

선정된 기업은 ▲날리지큐브 ▲넷퍼넬 ▲데일리블록체인 ▲세일즈인사이트 ▲스페이스리버 ▲심플랫폼 ▲아이디어콘서트 ▲아이알엠 ▲엑셈 ▲오픈서베이 ▲유씨웨어 ▲이벤터스 ▲인베트 ▲카택스 ▲코리아리서치 ▲티그리스 ▲퓨처메인 ▲HM솔루션 등입니다.

지난 10월 모집 공고가 이뤄진 후 100여 곳이 넘는 기업의 신청이 접수된 가운데 최종 선정된 기업들은 다양한 지원과 함께 네이버클라우드와 새로운 B2B 판로 개척도 함께 할 수 있게 됐습니다.

이들 기업에게는 500만원의 네이버클라우드 플랫폼 크레딧이 일괄 지급되고 크레딧 사용 현황에 따라 기업별로 등급이 구분돼 매 분기 초에 추가 크레딧이 차등 지급됩니다.

최고 등급을 유지하는 기업에게는 연 최대 2천만원 상당의 크레딧이 발급딥니다.

또 네이버클라우드와 인텔에서 제공하는 온·오프라인 클라우드 교육 프로그램과 플랫폼 활용과 관련한 기술 컨설팅도 정기적으로 제공됩니다.

네이버클라우드와 인텔은 각 사에 최적화된 SaaS 아키텍처 디자인을 진행해주는 기술 워크샵과 글로벌 진출, 피칭 전략을 주제로 한 세미나 등의 행사가 열 계획입니다.

박기은 네이버클라우드 최고기술책임자(CTO)는 "내년 6월에 'NAVER Cloud SaaS Day(가칭)' 개최를 통해 네이버클라우드 플랫폼 기반의 솔루션들을 위한 대규모 네트워크 장도 펼칠 계획"이라고 말했습니다.

사진 설명: 지난 12월 23일 비대면 방식으로 진행된 네이버클라우드 SaaS 육성 프로그램 웨비나에서 네이버클라우드 박기은 CTO의 발표를 선정 기업 관계자들이 시청하고 있다. 네이버 제공

biz.sbs.co.kr/article/10001007266?division=NAVER