python 相关编码[转]

python 相关编码[转]

三篇文章，导航：(一)(二)(三)

(一)

怎么避免UnicodeEncodeError: ‘ascii’ codec can’t…类似的错误？

1、首先在py文件头部指定文件内容编码，例如：# coding: utf8

2、文件保存的时候要和py文件头部编码一致

3、在用decode和encode的时候，一定要确认要转换的字符原编码是什么。

例如：网页中都会指定编码(<meta http-equiv=content-type content=”text/html; charset=gb2312″>), 你在抓取这个网站并获取它的html后进行编码转化就要注意了:

import urllib2

html = urllib2.urlopen(url)

html = html.decode(‘gb2312′)

只要做上面三个就不会出现转换编码错误了

python建议，在python代码中最好所有变量都是unicode;     流程可以这么写： 变量(转换成unicode)——>python代码——–>变量(转换成其他编码)

sys.getdefaultencoding():系统的缺省编码(一般就是ascii),python默认语言的编码是ascii编码, 这就是为什么在py文件的头部都要指定编码了# coding:utf-8

Python获取系统编码参数的几个函数

系统的缺省编码(一般就是ascii)：sys.getdefaultencoding()    系统当前的编码：locale.getdefaultlocale()     系统代码中临时被更改的编码（通过locale.setlocale(locale.LC_ALL,“zh_CN.UTF-8″)）：locale.getlocale()     文件系统的编码：sys.getfilesystemencoding()     终端的输入编码：sys.stdin.encoding     终端的输出编码：sys.stdout.encoding     代码的缺省编码：文件头上# -*- coding: utf-8 –*-

来源：http://justpy.com/archives/144

(二)

更多：

http://www.cnblogs.com/itrust/archive/2010/05/14/1735185.html

字符串

python有两种字符串

?


1

2

byteString = "hello world! (in my default locale)"

unicodeString = u"hello Unicode world!"
相互转换

?


1

2

3

4

1 s = "hello normal string"

2 u = unicode( s, "utf-8" )

3 backToBytes = u.encode( "utf-8" )

3 backToUtf8 = backToBytes.decode(‘utf-8’) #与第二行效果相同
如何判断

?


1

2

3

if isinstance( s, str ): # 对Unicode strings，这个判断结果为False

if isinstance( s, unicode): # 对Unicode strings，这个判断结果为True

if isinstance( s, basestring ): # 对两种字符串，返回都为True

做个试验

?


1

2

3

4

5

6

import sys

print ‘default encoding: ‘ , sys.getdefaultencoding()

print ‘file system encoding: ‘ , sys.getfilesystemencoding()

print ‘stdout encoding: ‘ , sys.stdout.encoding

print u‘u"中文" is unicode: ‘, isinstance(u‘中文‘,unicode)

print u‘"中文" is unicode: ‘, isinstance(‘中文‘,unicode)

看输出结果，注意下列事实：

python系统缺省的编码格式为ASCII，这个缺省编码在Python转换字符串时用的到，这里给两个例子：

1. a = "abc" + u"bcd", Python会如此转换"abc".decode(sys.getdefaultencoding()) 然后将两个Unicode字符合并。

2. print unicode(‘中文‘) , 这句话执行会出错“UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe4 …”，是因为Python试图用缺省编码来编码，而这个字符串不是ASCII，因此需要显示的指出，如果你的文件源类型为utf-8，则应如此：print unicode(‘中文‘,‘utf-8’)

Windows下getfilesystemencoding输出mbcs（多字节编码，windows的mbcs，也就是ansi，它会在不同语言的windows中使用不同的编码，在中文的windows中就是gb系列的编码)

Windows下控制台编码为cp936, 当你打印东西到控制台时Python自动做了转换。这里会引发一个有趣的问题, 试一下这个简单的例子test.py：

?


1

2

3

# -*- coding: utf-8 -*-

s = u‘中文‘

print s

在控制台中分别运行 python test.py 和 python test.py > 1.txt

你会发现后者会报错，原因是打印控制台时Python会自动转换编码到sys.stdout.encoding, 而输出到文件时Python不会自动在write调用中进行内部字符转换。这个问题在PrintFails中有较详细的说明。

UTF-8编码格式

保存utf-8格式的文件

?


1

2

3

import codecs

fileObj = codecs.open( "someFile", "r", "utf-8" )

u = fileObj.read() # Returns a Unicode string from the UTF-8 bytes in the file
自己写BOM头

?


1

2

3

4

out = file( "someFile", "w" )

out.write( codecs.BOM_UTF8 )

out.write( unicodeString.encode( "utf-8" ) )

out.close()
自己去掉BOM头

对UTF-16, Python将BOM解码为空字串。然而对UTF-8, BOM被解码为一个字符，如例：

?


1

2

3

4

>>> codecs.BOM_UTF16.decode( "utf16" )

u‘‘

>>> codecs.BOM_UTF8.decode( "utf8" )

u‘\ufeff‘

不知道为什么会这样不同，因此你需要在读文件时自己去掉BOM：

?


1

2

3

4

5

6

7

8

9

10

11

import codecs

if s.beginswith( codecs.BOM_UTF8 ):

    # The byte string s begins with the BOM: Do something.

    # For example, decode the string as UTF-8

    

if u[0] == unicode( codecs.BOM_UTF8, "utf8" ):

    # The unicode string begins with the BOM: Do something.

    # For example, remove the character.

# Strip the BOM from the beginning of the Unicode string, if it exists

u.lstrip( unicode( codecs.BOM_UTF8, "utf8" ) )

源码文件的编码

关于Python对代码文件的编码处理，PEP0263 讲的很清楚，现摘录如下

python缺省认为文件为ASCII编码。

可在代码头一行或二行加入声明文件编码申明，通知python该文件的编码格式，如

# -*- coding: utf-8 –*-   # 注意使用的编辑器，确保文件保存时使用了该编码格式

  1. 对于Windows这样的平台，它使用了BOM（文件头三个字节 \xef\xbb\xbf）来申明文件为utf-8编码，这种情况下：
  • 如果文件中没有编码申明，python以utf8处理
  • 如果有编码申明但不是utf-8, python报错

==============另外，关于BOM================

(三)

某些软件，如notepad，在保存一个以UTF-8编码的文件时，会在文件开始的地方插入三个不可见的字符（0xEF 0xBB 0xBF，即BOM）。    因此我们在读取时需要自己去掉这些字符，python中的codecs module定义了这个常量：

?


1

2

3

4

5

6

# coding=gbk

import codecs

data = open("Test.txt").read()

if data[:3] == codecs.BOM_UTF8:

 data = data[3:]

print data.decode("utf-8")
时间： 2024-08-11 16:59:35

python 相关编码[转]的相关文章

【转】Python字符编码详解

1. 字符编码简介 1.1. ASCII ASCII(American Standard Code for Information Interchange),是一种单字节的编码.计算机世界里一开始只有英文,而单字节可以表示256个不同的字符,可以表示所有的英文字符和许多的控制符号.不过ASCII只用到了其中的一半(\x80以下),这也是MBCS得以实现的基础. 1.2. MBCS 然而计算机世界里很快就有了其他语言,单字节的ASCII已无法满足需求.后来每个语言就制定了一套自己的编码,由于单字节

Python字符编码详解(转)

1. 字符编码简介 1.1. ASCII ASCII(American Standard Code for Information Interchange),是一种单字节的编码.计算机世界里一开始只有英文,而单字节可以表示256个不同的字符,可以表示所有的英文字符和许多的控制符号.不过ASCII只用到了其中的一半(\x80以下),这也是MBCS得以实现的基础. 1.2. MBCS 然而计算机世界里很快就有了其他语言,单字节的ASCII已无法满足需求.后来每个语言就制定了一套自己的编码,由于单字节

Python字符编码 zz

http://www.cnblogs.com/huxi/archive/2010/12/05/1897271.html 1. 字符编码简介 1.1. ASCII ASCII(American Standard Code for Information Interchange),是一种单字节的编码.计算机世界里一开始只有英文,而单字节可以表示256个不同的字符,可以表示所有的英文字符和许多的控制符号.不过ASCII只用到了其中的一半(\x80以下),这也是MBCS得以实现的基础. 1.2. MBC

python相关知识/技巧文摘

python文件和目录操作 python连接mysql数据库 Python字符编码详解 unicode相关介绍

python 字符编码详解

1. 字符编码简介 1.1. ASCII ASCII(American Standard Code for Information Interchange),是一种单字节的编码.计算机世界里一开始只有英文,而单字节可以表示256个不同的字符,可以表示所有的英文字符和许多的控制符号.不过ASCII只用到了其中的一半(\x80以下),这也是MBCS得以实现的基础. 1.2. MBCS 然而计算机世界里很快就有了其他语言,单字节的ASCII已无法满足需求.后来每个语言就制定了一套自己的编码,由于单字节

python字符编码惯用法

本文总结在实际应用中遇到的python字符编码问题,制定一套编码相关的约定,避免编码上的错误. 在写猥琐宝典时需要总结soj上做过的题,准备在总结过程中顺便写一个soj上的题解.题解使用python可读,也就是python可以直接eval的格式,以便于处理.写题解老是copy soj上的题目id,title不是太方便,所以就准备自动生成一个空的题解,里面包含了我做过的题.然而直接从soj上只能拿到自己过了的题的id列表,缺乏其它信息.缺乏的信息可以抽象为soj数据库,其中包含了一个以id为主键的

【python】编码规范（转载）

转自:http://www.cnblogs.com/itech/archive/2012/01/06/2314454.html 1 编码 >>所有的 Python 脚本文件都应在文件头标上如下标识或其兼容格式的标识: # -*- coding:utf-8 -*- >>设置编辑器,默认新建或保存为utf-8格式. 2 注释 >>业界普遍认同 Python 的注释分为两种的概念,一种是由 # 开头的"真正的"注释,另一种是 docstrings.前者表明

Python字符编码详解

1. 字符编码简介 1.1. ASCII ASCII(American Standard Code for Information Interchange),是一种单字节的编码.计算机世界里一开始只有英文,而单字节可以表示256个不同的字符,可以表示所有的英文字符和许多的控制符号.不过ASCII只用到了其中的一半(\x80以下),这也是MBCS得以实现的基础. 1.2. MBCS 然而计算机世界里很快就有了其他语言,单字节的ASCII已无法满足需求.后来每个语言就制定了一套自己的编码,由于单字节

Python字符编码很难吗？今天一文带你深入！从此不再疑惑！

不论你是有着多年经验的 Python 老司机还是刚入门 Python 不久,你一定遇到过UnicodeEncodeError.UnicodeDecodeError 错误,每当遇到错误我们就拿着 encode.decode 函数翻来覆去的转换,有时试着试着问题就解决了,有时候怎么试都没辙,只有借用 Google 大神帮忙,但似乎很少去关心问题的本质是什么,下次遇到类似的问题重蹈覆辙,那么你有没有想过一次性彻底把 Python 字符编码给搞懂呢? 完全理解字符编码 与 Python 的渊源前,我们有