• 지엽적 (枝葉的)[지엽쩍]

  [관형사·명사] 본질적이거나 중요하지 아니하고 부차적인. 또는 그런 것.

  유의어 : 말초적

• 지엽적  도움말

  1.본체에서 갈라져 나간 주요하지 않은이란 뜻

비슷한 말로 '말초적'

gensim + word2vec 모델 만들어서 사용하기 

참고 : https://www.lucypark.kr/courses/2015-ba/text-mining.html

#Load data

from konlpy.corpus import kobill

docs_ko = [kobill.open(i).read() for i in kobill.fileids()]

#Tokenize

from konlpy.tag import Twitter; t = Twitter()

pos = lambda d: ['/'.join(p) for p in t.pos(d)]

texts_ko = [pos(doc) for doc in docs_ko]

#Train

from gensim.models import word2vec

wv_model_ko = word2vec.Word2Vec(texts_ko)

wv_model_ko.init_sims(replace=True)

wv_model_ko.save('ko_word2vec.model')    #model create

#Test - 유사도 분석

wv_model_ko.most_similar(pos('정부'))

wv_model_ko.most_similar(pos('초등학교'))

  * 저장된 model 사용하기 : https://radimrehurek.com/gensim/models/word2vec.html

Initialize a model with e.g.:

>>> model = Word2Vec(sentences, size=100, window=5, min_count=5, workers=4)

Persist a model to disk with:

>>> model.save(fname)
>>> model = Word2Vec.load(fname)  # you can continue training with the loaded model!

The word vectors are stored in a KeyedVectors instance in model.wv. This separates the read-only word vector lookup operations in KeyedVectors from the training code in Word2Vec.

>>> model.wv['computer']  # numpy vector of a word
array([-0.00449447, -0.00310097,  0.02421786, ...], dtype=float32)

model 이 잘 불러와졌는지 확인하려면 model의 내용을 보자. 

model.vocab 하며 내용을 볼 수 있다. 

most_similar 에서 vocaburary에 단어가 없다고 에러나오면 내용을 확인 후 다시 검색해보면 된다. 

저장된 vocab이 '국어' 인지, '국어/Noun' 인지 확인 바람요! 

>>>len(model.vocab)

9867

>>>model.vocab 

Code for the word2vec HTTP server running at https://rare-technologies.com/word2vec-tutorial/#bonus_app

*** 대화 형 word2vec 데모 용 전체 HTTP 서버 코드 : 

     https://github.com/RaRe-Technologies/w2v_server_googlenews

...

Flask 설치 - http://flask-docs-kr.readthedocs.io/ko/latest/installation.html

소개 : https://code.tutsplus.com/ko/tutorials/an-introduction-to-pythons-flask-framework--net-28822

플라스크는 작고 강력한 파이썬의 웹 프레임워크 입니다. 플라스크는 배우기 쉽고, 짧은 시간에 웹앱을 만들수 있습니다.

Flask의 세계에 오신것을 환영합니다.

Flask 문서에 오신것을 환영합니다. 이 문서는 다양한 파트로 나누어져 있습니다. 저자는 설치하기 와 빠르게 시작하기 를 먼저 보실것을 추천합니다. 빠르게 시작하기 뿐만아니라, 어떻게 Flask 어플리케이션을 만들 수 있는지 좀 더 상세하게 다루는 튜토리얼 또한 볼 수 있습니다.

만약 여러분이 오히려 Flask의 내부로 직접 뛰어 들고 싶은 경우라면,

API 문서를 확인하십시오. 일반적으로 사용되는 패턴들은

Flask를 위한 패턴들 섹션을 확인하면 됩니다..

Flask는 두개의 외부 라이브러리에 의존합니다.: 바로 Jinja2 템플릿엔진과 Werkzeug WSGI 툴킷입니다. 이 라이브러리들은 이 문서에서 다루지않습니다. 만약 여러분이 이 라이브러리들에 대해서 깊이 알고 싶다면 다음의 링크를 확인하십시오.

• Jinja2 Documentation
• Werkzeug Documentation

[MSSQL] 세로 데이터 가로로 출력 (데이터 한줄로 출력) STUFF, FOR XML PATH

http://ggmouse.tistory.com/127

DECLARE @string AS VARCHAR(1000);

SET @string = '';

WITH TABLE_A (NAME) AS (

    SELECT '손꽁쥐' UNION ALL

    SELECT '윤선생' UNION ALL

    SELECT '황박사'

)

SELECT @string = NAME + ', ' + @string FROM TABLE_A

SELECT @string AS '가로출력' 

--  

WITH TABLE_A (CLASS, NAME) AS (

    SELECT 'A', '손꽁쥐' UNION ALL

    SELECT 'B', '윤선생' UNION ALL

    SELECT 'A', '황박사'

)

SELECT * FROM

(

    SELECT CLASS, STUFF((SELECT ',' + NAME FROM TABLE_A WHERE CLASS = A.CLASS FOR XML PATH('')), 1, 1, '') AS 'Result'

    FROM TABLE_A AS A

) A

GROUP BY A.CLASS, A.Result

Unofficial Windows Binaries for Python Extension Packages

matplotlib의 scatter 만들기 . 그래프

plot 버전 체크  

scatter 만들기

import plotly.plotly as py

import plotly.graph_objs as go

# Create random data with numpy

import numpy as np

N = 1000

random_x = np.random.randn(N)

random_y = np.random.randn(N)

# Create a trace

trace = go.Scatter(

    x = random_x,

    y = random_y,

    mode = 'markers'

)

data = [trace]

# Plot and embed in ipython notebook!

py.iplot(data, filename='basic-scatter')

# or plot with: plot_url = py.plot(data, filename='basic-line')

...

파이썬에서 유니코드 스트림 다루기

# 입력 스트림과 출력 스트림을 연다

input = open("input.txt", "rt", encoding="utf-16")  

output = open("output.txt", "wt", encoding="utf-8")

# 유니코드 데이터 조각들을 스트리밍한다

with input, output:  

    while True:

        # 데이터 조각을 읽고

        chunk = input.read(4096)

        if not chunk:

            break

        # 수직 탭을 삭제한다

        chunk = chunk.replace("\u000B", "")

        # 데이터 조각을 쓴다

        output.write(chunk)

응용: 쉘 스크립트를 이용해 해당 디렉토리의 파일들 모두 변경 

- char-convert.sh

#!/bin/bash

LIST=`ls -A1 | grep ".csv"`

for file in $LIST

do

  python ./char-convert.py $file

done

- char-convert.py

#!/usr/bin/python

#-*- coding: utf-8 -*-

import codecs

import sys

file = sys.argv[1]

file2 = file.split('.csv')[0]+"-2.csv"

infile = codecs.open(file, 'r', encoding='utf-8')

outfile = codecs.open(file2, 'w', encoding='euc_kr')

for line in infile:

  line = line.replace(u'\xa0', ' ')  

  outfile.write(line)

infile.close()

outfile.close()

...