https://pypi.org/project/chardet/

Project description

Chardet: The Universal Character Encoding Detector

 

 

 

Detects

• ASCII, UTF-8, UTF-16 (2 variants), UTF-32 (4 variants)
• Big5, GB2312, EUC-TW, HZ-GB-2312, ISO-2022-CN (Traditional and Simplified Chinese)
• EUC-JP, SHIFT_JIS, CP932, ISO-2022-JP (Japanese)
• EUC-KR, ISO-2022-KR, Johab (Korean)
• KOI8-R, MacCyrillic, IBM855, IBM866, ISO-8859-5, windows-1251 (Cyrillic)
• ISO-8859-5, windows-1251 (Bulgarian)
• ISO-8859-1, windows-1252, MacRoman (Western European languages)
• ISO-8859-7, windows-1253 (Greek)
• ISO-8859-8, windows-1255 (Visual and Logical Hebrew)
• TIS-620 (Thai)

Note

Our ISO-8859-2 and windows-1250 (Hungarian) probers have been temporarily disabled until we can retrain the models.

Requires Python 3.7+.

[VS Code] 인코딩 변경

VS Code 사용하다보면 웹페이지 특성상  UTF-8 또는 EUC-KR 이 있는데, 

자동으로 되어 있어도 페이지와 맞지 않는 인코딩이 선택될때가 있다. 

F1 키를 입력하거나, 오른쪽 하단의 인코딩 정보를 클릭하면 아래 이미지처럼 Reopne with Encoding 이 나온다. 

그러면 그 중에 맞는 인코딩을 선택하면 된다. 

[PYTHON] 파일 인코딩 관련

UTF-8

UTF-8-SIG

""" 
    인코딩 정보
"""
import os
import sys 
 
 
#작업하는 경로(위치)가 어디인지 확인
#print(os.getcwd())
prePath_in = "./Project/" 
prePath_out = "./Project/" 



#1. 기본 내용적기

# 기본 텍스트 신규 입력
file = open("test.txt", "w")
file.write("내용입력")
file.close()

# 한글깨짐 방지 ENCODING UTF-8
file = open("test.txt", "w", encoding="UTF-8")
file.write("내용입력")
file.close()

# 한글깨짐 방지2 ENCODING UTF-8
# txt는 UTF-8로도 충분한데 csv는 UTF-8로만 하면 읽을땐 다른걸로 읽을 경우 깨짐 현상 발생
file = open("test.csv", "w", encoding="UTF-8-sig")
file.write("test,test,test\n")
file.write("잘되나,안된다,오된다\n")
file.close()

# 참고
# Permission denied: 'test.csv' 가 나온다
# 파일 열고 있어서 수정할 수 없다는거다. 꺼주자.

# 추가 입력
file = open("test.txt", "a")
file.write("추가 내용입력")
file.close()


# 읽기
file = open("test.txt", "r", encoding="UTF-8")
print(file.read())
file.close()

# with 함수 : open & close 포함 
with open("test.txt", "w", encoding="UTF-8") as file:
    file.write("내용입력")
with open("test.txt", "r", encoding="UTF-8") as file:
    print(file.read())
 

 

#2. print 한거 txt 파일에 넣기

# sys.stdout 함수 사용하여 log 저장하기
f = open('test.txt','w', encoding='utf-8') # 로그 저장할 file open
sys.stdout = f
print("내용입력")
sys.stdout = sys.__stdout__   # 원래의 stdout으로 복구
f.close()                     # 로그 파일 닫기

#이렇게 해도 되긴 하는데.. 프로그램이 종료 안되면 문제가 생길듯?
sys.stdout = open('test.txt','w', encoding='utf-8')
print("내용입력")

https://www.tensorflow.org/api_docs/python/tf/compat

Module: tf.compat

[인코딩] Form 전송시 euc-kr 페이지에서 utf-8로 데이터 전송하기

일반 form에 인코딩을 설정 한다.

그런데, 폼 전송시 인코딩 변경이 안된다면.

IE에서 특히 그런 현상 발생함.

그럴땐, Form 전송 스크립트에 인코딩 변경 스크립트를 삽입한다.

엘리먼트 전체를 utf-8로 변경해서 전송한다. 그리고, 다시 euc-kr 로 변경

.

ASP 인코딩

* 페이지 속성을 정의

 <%@ codepage="65001" language="VBSCRIPT" %>

 0 - ANSI(default)
 949 - 한국어(EUC-KR)
 65001 - 유니코드(UTF-8)
 65535 - 유니코드(UTF-16)

* 메타태그 설정

    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" >

* 현재 세션사용자의 동적 텍스트 인코딩 코드 설정

    Session.CodePage = 65001
    Session.CodePage = 949

* ASP의 response.charset을 이용해서 문자코드 세트명 지정

    Response.Charset = "EUC=KR"

* UTF-8 인데 계속 한글이 깨지면 아래와 같이 다 적용해보자.

<%@Language="VBScript" CODEPAGE="65001" %>
<%
    Session.CodePage = 65001

    Response.CharSet = "UTF-8"
   

<%@  codepage="949" language="VBScript" %><% 
'session.codepage = 65001  ' codepage="949" language 
Session.CodePage = 949 
'Response.expires=-1 
Response.ContentType = "application/json" 
Response.Charset = "euc-kr" 
'Response.Charset = "utf-8" 

* utf-8로 만들기 : 페이지 최상단에 입력

<%@LANGUAGE="VBSCRIPT" CODEPAGE="65001"%>
<%
Response.AddHeader "Cache-Control", "no-cache"
Response.AddHeader "Expires", "0"
Response.AddHeader "Pragma", "no-cache"
Response.ContentType = "text/html; charset=utf-8"
%