국가공간정보포털의 이용과 관심에 감사합니다.

대용량 CSV 파일 분할 EXE 입니다.

File name : split.exe
License : GNU General Public License version 3.0 (GPLv3)

www.nsdi.go.kr/lxportal/index.html?menuno=2772&cateIndex=712&bbsno=635&boardno=552

>java -XX:+PrintFlagsFinal -version 2>&1 | findstr /I "heapsize permsize version"
    uintx ErgoHeapSizeLimit                         = 0                                   {product}
    uintx HeapSizePerGCThread                       = 87241520                            {product}
    uintx InitialHeapSize                          := 268435456                           {product}
    uintx LargePageHeapSizeThreshold                = 134217728                           {product}
    uintx MaxHeapSize                              := 4282384384                          {product}
java version "1.8.0_271"

Java Default Heap/Perm Size 알아내는 방법

출처: https://jang8584.tistory.com/257 [개발자의 길]

http://naver.me/GOOpIwsc

 Customized Konlpy 사용하기

okt 에 dict 추가하기

https://inspiringpeople.github.io/data%20analysis/ckonlpy/

Ckonlpy로 전처리하고 형태소 분석하기

전처리 단에서는 단어 추가, 치환, 필터, 복합명사 변환 작업 등을 하면서 data cleansing 작업을 한다.
Ckonlpy에서는 add_dictionary 함수와 Postprocessor 모듈을 통해서 이와 같은 작업을 할 수 있다.

• 단어 추가 : domain specific한 단어 추가 (ex. 아이오아이, 트와이스 ..)
• 단어 치환 : 오타 관련 cleansing 작업 (ex. 잇다 -> 있다 ..)
• 단어 선택 : 선택한 단어/품사만 추출
• 단어 필터 : 너무 general 데이터 분석에 도움이 안되는 단어들 삭제 (ex. 나, 너..)
• 단어 결합 : n-gram 이상의 단어를 한 단어로 결합

단어 추가 (add_dictionary)

기존 트위터 분석기 사전에 존재하지 않는 단어를 추가할 때 사용한다.
자신이 분석하는 domain specific 단어를 추가할 때 유용하다.

• add_dictionary 함수 사용 : 단어 또는 단어 리스트 단위로 등록
• 사전 파일 등록 : 파일 단위로 단어 뭉치 등록
  위치 : customized_konlpy/ckonlpy/data/twitter (자신이 등록하는 파일의 품사에 따라 등록)

주의사항 !!!
파일 단위로 단어를 등록하는 경우에는 등록한 이후 pip install customized_konlpy를 다시 실행시켜줘야 반영이 된다.

konlpy에서 다음과 같은 에러가 나옵니다. TypeError: No matching overloads found for kr.lucypark.okt.OktInterface.tokenize(list,java.lang.Boolean,java.lang.Boolean), options are: public java.util.List kr.lucypark.okt.OktInterface.tokenize(java.lang.String,java.lang.Boolean,java.lang.Boolean)

`from konlpy.tag import Okt
from konlpy import jvm
from konlpy.corpus import kolaw
import nltk
from collections import Counter

twitter=Okt()

file = open("d:/study/test.txt", 'r')
data = file.readlines()
file.close()
data

news_word=twitter.nouns(data)`

news_word=twitter.nouns(data)

이 부분에서 자꾸 에러가 나는데요.

현재 data는 test.txt의 각 줄을 원소로 하는 문자열 배열입니다.

Konlpy의 함수는 배열을 인자로 받지 않고, 보통 문자열을 받습니다.
이 경우에는 data를 for문을 돌면서 사용하셔야 합니다.

for data in line:
   news_word = twitter.nouns(line)
   
   

이렇게 얻은 news_word를 적절히 활용하시면 됩니다.

A guide of UI design trends for 2021

uxdesign.cc/a-guide-of-ui-design-trends-for-2021-637ac038cb99