반응형
반응형

Pandas df.to_csv("file.csv" encode="utf-8") still gives trash characters for minus sign

 

Pandas df.to_csv("file.csv" encode="utf-8") still gives trash characters for minus sign

I've read something about a Python 2 limitation with respect to Pandas' to_csv( ... etc ...). Have I hit it? I'm on Python 2.7.3 This turns out trash characters for ≥ and - when they appear in st...

stackoverflow.com

https://stackoverflow.com/questions/25788037/pandas-df-to-csvfile-csv-encode-utf-8-still-gives-trash-characters-for-min
pandas dataframe을 csv 형태로,  to_csv 


utf-8 encoding으로 저장하면 
내용 중 한글이 깨지는 문제 발생
euc-kr 로 저장할 때는 문제 없음
df.to_csv('file.csv',encoding='euc-kr')


df.to_csv('file.csv',encoding='utf-8')
한글 깨짐


해결책: df.to_csv('file.csv',encoding='utf-8-sig')


windows 환경 (정확히는 win7)
Python 3.6.4 :: Anaconda custom (64-bit)
pandas==0.23.4

 

 

 

 

 

 

 

반응형
반응형

KoNLPy 한국어 처리 패키지

OSS project 한나눔(Hannanum)
한국어 형태소 분석시 + 음차표기

 

 

http://semanticweb.kaist.ac.kr/hannanum/

 

Semantic Web Research Center(Hannanum)

3. 세부 개발 목표 O 기능 개선 - 형태소 분석기의 핵심 기능 중 음운 규칙, 품사 관리 및 사전 관리의 모듈화 - 응용에 맞게 사용할 수 있는 음운 규칙, 품사, 사전을 각각 2가지 이상 제공 예정 -

semanticweb.kaist.ac.kr

 

https://datascienceschool.net/03%20machine%20learning/03.01.02%20KoNLPy%20%ED%95%9C%EA%B5%AD%EC%96%B4%20%EC%B2%98%EB%A6%AC%20%ED%8C%A8%ED%82%A4%EC%A7%80.html

 

KoNLPy 한국어 처리 패키지 — 데이터 사이언스 스쿨

.ipynb .pdf to have style consistency -->

datascienceschool.net

 

형태소 분석

KoNLPy는 다음과 같은 다양한 형태소 분석, 태깅 라이브러리를 파이썬에서 쉽게 사용할 수 있도록 모아놓았다.

반응형
반응형

정규직으로 줄바꿈 제거하기

 

1.Ctrl + H 를 누른 후 (or Find > Replace)에 입력 창에 \n 을 입력한다.
2.“regular expression”을 선택한다. (Alt + R을 누르거나 [.*] 아이콘을 클릭)
3.그리고 Replace All를 누르면 모든 줄 바꿈이 삭제 됩니다.

반응형
반응형


당신의 길에 놓인 장애물 중 하나를 오늘 직시하라.
그 장애물을 부숴도 좋고, 넘어가도 좋고, 돌아갈 방법을 찾아도 좋다.
도망치지만 말라. 그 장애물은 당신을 위해서 세워진 것이니까.
- 로버트 그린, ‘오늘의 법칙’에서


‘바람 불지 않는 인생은 없다.
바람이 불어야 나무는 쓰러지지 않으려고, 더 깊이 뿌리를 내린다.
바람이 나무를 흔드는 이유다.’ (이철환)

모든 사람들이 장애물에 부딪히지만,
성공한 사람들은 장애물을 자신이 선택한 목표를 향해
더 높이 올라가는데 사용하는 디딤돌로 바꾼 사람들입니다.

반응형
반응형

우리 삶에
가장 큰 영향을 미치는 것은
소위 절차적 기억이다. 여기에 우리가
아주 일찍이 무의식적으로 배운 모든 행동 방식이
저장되어 있다. 우리는 머릿속에 이미 저장되어 있는
수많은 기억으로 현재의 사건에 반응한다. 그러면서도
스스로 현재가 아니라 기억에 반응한다는 것을
자각하지 못한다.


- 다미 샤르프의 《당신의 어린 시절이 울고 있다》 중에서 -


* 시간의 흐름에 따라 쌓이는
기억들이 모여 연대기를 이룹니다.
어린 시절, 청년 시절, 어떤 경험을 하느냐.
그 기억들이 무의식의 우물에 그대로 저장되어 있다가
어느 순간 불쑥불쑥 의식의 표면으로 튕겨 나와 오늘의
삶을 지배합니다. 이제는 다 지나간 일, 후회해도
소용없고 깨끗이 잊어도 좋은 절차적 기억들이
오늘의 나를 지배하지 않도록 부지런히
내면의 힘을 키워야 합니다.

반응형

'아침편지' 카테고리의 다른 글

낙관주의자, 비관주의자  (0) 2022.02.16
누군가에 화가 났다면  (0) 2022.02.15
한마디 더 해 볼 걸 그랬다  (0) 2022.02.14
명예로운 이름  (0) 2022.02.11
쿠바의 '영웅', 헤로니모 임  (0) 2022.02.10
반응형

담담히 보내 주면
이별이 덜 아플 줄 알았다.
마음은 덜 시끄럽고 기분은 덜 더러울 줄 알았다.
이별 앞에서 울고불고하는 나 자신이 싫었었다. 어떻게든
남은 인연의 끈을 붙잡아 보려는 노력에 지쳤었다. 울어도 보고
떼를 써 봐도 상대들은 돌아오지 않았다. 그래서 그러지 않기로
했다. 구질구질한 이별을 하지 않기로 했다. 그래서 당신은
쉽게 보내줬다. 헤어지자는 말에 당신의 의견을 존중해
주는 척 "그래"라고 말하며 눈물을 삼켰다. 쉽게 보냈다.
겉으로는 그랬다. 그런데도 마음은 시끄러웠다.
그런데도 기분은 더러웠다.


- 차재이의《새벽은 이별에게 가혹하고》중에서 -


* 이별의 방식에 정답은 없나 봅니다.
쿨한 척이고 뭐고 어차피 끝나는 마당에 마음에 담아 둔
못다 한 말이라도 전하는 게 맞나 봅니다. 이렇게 응어리가 남아
털어내기 힘들 거면, 덤덤히 보내 줘도 아플 거면, 아직도
"좋아한다" 말 한마디 더 해볼 걸 그랬습니다.

반응형

'아침편지' 카테고리의 다른 글

누군가에 화가 났다면  (0) 2022.02.15
절차적 기억  (0) 2022.02.14
명예로운 이름  (0) 2022.02.11
쿠바의 '영웅', 헤로니모 임  (0) 2022.02.10
유관순 열사의 절규  (0) 2022.02.09

+ Recent posts