python2编码总结

以下依次列出python2常遇到的几个问题及讲解。

# -*- coding:utf-8 -*-

python2默认以ASCII编码,但是在实际编码过程中,我们会用到很多中文,为了不使包含中文的程序报错,也是为了符合国际通用惯例,一般将我们的文件编码设置为utf-8格式。

设定编码的格式有很多种,只要第一行或者第二行的声明符合正则表达式 "coding[:=]\s*([-\w.]+)" 即可,一般的声明方式为#-*- coding:utf-8 -*-。

str = "你好"
print str

  运行以上代码,程序会报错:SyntaxError: Non-ASCII character ‘\xe4‘ in file D:/TestPython/test/111.py on line 1, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details。这是提示程序中有非ASCII编码的字符。如果加上utf-8声明,程序就不会报错。

# -*- coding:utf-8 -*-

str = "你好"
print str

  虽然以上写法不会报错,但是输出的却是乱码,为什么呢?这就是下面要讲的内容。

encode和decode

讲解编码和解码之前,先来讲讲Unicode和utf-8的关系,推荐这篇博客给大家。

可以这样来理解:字符串是由字符构成,字符在计算机硬件中通过二进制形式存储,这种二进制形式就是编码。如果直接使用 “字符串↔?字符↔?二进制表示(编码)” ,会增加不同类型编码之间转换的复杂性。所以引入了一个抽象层,“字符串↔?字符↔?与存储无关的表示↔?二进制表示(编码)” ,这样,可以用一种与存储无关的形式表示字符,不同的编码之间转换时可以先转换到这个抽象层,然后再转换为其他编码形式。在这里,unicode 就是 “与存储无关的表示”,utf—8 就是 “二进制表示”。

python2中字符串有两种表示形式,str和unicode。str可以理解为上面这段话中的二进制编码格式,unicode可以理解为抽象层。encode是编码,即从unicode格式到二进制的编码格式如utf-8、gb2312等。decode是解码,即从二进制编码格式到unicode编码格式。

下面请看代码:

# -*- coding:utf-8 -*-

str1 = "你好"print type(str1)str2 = str1.decode("utf-8")print type(str2)

  str1是str类型, 通过decode转为了unicode类型。

下面看encode代码:

# -*- coding:utf-8 -*-

str1 = u"你好"
print type(str1)
str2 = str1.encode("utf-8")
print type(str2)

  str1是unicode类型,通过encode转为了str类型。

我们再回头看最开始留下的问题,那段代码为什么会输出乱码呢。因为文件规定的编码格式是utf-8,但是我们print是打印到控制台的,控制台无法显示utf-8编码格式的字符。所以我们要转一下格式。

# -*- coding:utf-8 -*-

str = "你好"
str = str.decode("utf-8")
print str

  很多时候编码解码的时候需要加ignore参数才能正确转换,例如.encode(‘utf-8‘, ‘ignore‘)或.decode(‘utf-8‘, ‘ignore‘),大家自行斟酌吧。

chardet获取编码格式

有些时候我们是无法知道字符串是什么编码的,比如抓取网页时,有些是utf-8的,有些是gb2312编码的,那我们该怎么获取编码格式并转换为unicode呢。这里就介绍到一个第三方库chardet。使用方式大概如下:

# -*- coding: utf-8 -*-

import chardet

str = "xxxxx"
str_type = chardet.detect(str)
code = str_type[‘encoding‘]

  code即为str的编码格式。但有些人反映该方法得到的编码格式不准确,速度也慢。本人亲测,速度确实一般,但是目前还没遇到不准确的情况。大家可以斟酌使用,我这里只是提供一个思路,如果谁那里有更好的方式,可以告知小弟,不吝赐教才是。

import sys

reload(sys)

sys.setdefaultencoding(‘utf8‘)

之前也遇到过很莫名其妙的编码错误,网上搜到这种方法能解决就糊里糊涂的用上了,也不知是什么原理。今天看到一篇不错的博客,推荐给大家:http://blog.csdn.net/crazyhacking/article/details/39375535。以下内容引用自该篇文章:

Python 里面的编码和解码也就是 unicode 和 str 这两种形式的相互转化。编码是 unicode -> str,相反的,解码就是 str -> unicode。剩下的问题就是确定何时需要进行编码或者解码了.关于文件开头的"编码指示",也就是 # -*- coding: -*- 这个语句。Python 默认脚本文件都是 UTF-8 编码的,当文件中有非 UTF-8 编码范围内的字符的时候就要使用"编码指示"来修正. 关于 sys.defaultencoding,这个在解码没有明确指明解码方式的时候使用。比如我有如下代码:
#! /usr/bin/env python
# -*- coding: utf-8 -*-
s = ‘中文‘  # 注意这里的 str 是 str 类型的,而不是 unicode
s.encode(‘gb18030‘) 

这句代码将 s 重新编码为 gb18030 的格式,即进行 unicode -> str 的转换。因为 s 本身就是 str 类型的,因此 Python 会自动的先将 s 解码为 unicode ,然后再编码成 gb18030。因为解码是python自动进行的,我们没有指明解码方式,python 就会使用 sys.defaultencoding 指明的方式来解码。很多情况下 sys.defaultencoding 是 ANSCII,如果 s 不是这个类型就会出错。拿上面的情况来说,我的 sys.defaultencoding 是 anscii,而 s 的编码方式和文件的编码方式一致,是 utf8 的,所以出错了:
UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe4 in position
0: ordinal not in range(128)
对于这种情况,我们有两种方法来改正错误:
一是明确的指示出 s 的编码方式 

#! /usr/bin/env python
# -*- coding: utf-8 -*- 

s = ‘中文‘
s.decode(‘utf-8‘).encode(‘gb18030‘) 

二是更改 sys.defaultencoding 为文件的编码方式 

#! /usr/bin/env python
# -*- coding: utf-8 -*- 

import sys
reload(sys) # Python2.5 初始化后会删除 sys.setdefaultencoding 这个方法,我们需要重新载入
sys.setdefaultencoding(‘utf-8‘) 

str = ‘中文‘
str.encode(‘gb18030‘)

看完之后,改成这样

print "<p>addr:", form["addr"].value.decode(‘gb2312‘).encode(‘utf-8‘)
成功通过.

  但是这种方式用着就是别扭,还是尽量自己来控制编码,明确了编码格式,自己写着也踏实。

个人总结

实际编程过程中,最好能在代码内统一编码格式,比如统一为unicode,因为这样就不用考虑编码的问题了。到了显示或输出时再转换为存储类型(utf-8、GBK)。

以上为最近编写python代码的过程中遇到的一些问题及总结,如果有什么不对的地方还请大家及时回复交流,在此谢过。

时间: 2024-10-09 04:43:14

python2编码总结的相关文章

python3与python2编码导致 hmac.new/base64.b64encode(&#39;value&#39;) python3各种报错

python3编码的请查看这篇文章:https://www.cnblogs.com/575dsj/p/7112767.html 第一次:python3传的是bytes不能是str.好吧,认了.我就传bytes吧 b= hmac.new('/admindevice/GetCameraSetting','adbaskjclas',sha1).hexdigest()print(b) ------------------------------------------------------------

python2编码总结(转)

以下依次列出python2常遇到的几个问题及讲解. # -*- coding:utf-8 -*- python2默认以ASCII编码,但是在实际编码过程中,我们会用到很多中文,为了不使包含中文的程序报错,也是为了符合国际通用惯例,一般将我们的文件编码设置为utf-8格式. 设定编码的格式有很多种,只要第一行或者第二行的声明符合正则表达式 "coding[:=]\s*([-\w.]+)" 即可,一般的声明方式为#-*- coding:utf-8 -*-. str = "你好&q

【转】Python2编码大坑详解

作者: jinhaolin 出处: http://www.cnblogs.com/jinhaolin/> 以下依次列出python2常遇到的几个问题及讲解. # -*- coding:utf-8 -*- python2默认以ASCII编码,但是在实际编码过程中,我们会用到很多中文,为了不使包含中文的程序报错,也是为了符合国际通用惯例,一般将我们的文件编码设置为utf-8格式. 设定编码的格式有很多种,只要第一行或者第二行的声明符合正则表达式 "coding[:=]\s*([-\w.]+)&

Python2 编码问题分析

本文浅显易懂,绿色纯天然,手工制作,请放心阅读. 编码问题是一个很大很杂的话题,要向彻底的讲明白可以写一本书了.导致乱码的原因很多,系统平台.编程语言.多国语言.软件程序支持.用户选择等都可能导致无法正确的解析编码. 导致乱码的主要原因可以简单归结于文本的编码方式和解码方式不同导致的.本文将通过在win7(zh-cn)系统下分析python2.7的编解码问题来简单窥探一下编码的冰山一角. 今后遇到编码问题时能够多一点分析解决思路,要是能起到一个抛砖引玉的作用,那就再好不过了. 1.为什么需要编码

python2编码问题

看了以下两篇博文的基础上,感觉自己明白了点.记录下. http://www.cnblogs.com/yuanchenqi/articles/5938733.html http://www.cnblogs.com/yuanchenqi/articles/5956943.html python2的编解码的几个问题: (1)两种数据类型unicode 和 str. unicode-->str 的过程是编码,可以用encode('utf8')这种方式表示,也可以用str()把unicode变成str类型

从python2,python3编码问题引伸出的通用编码原理解释

今天使用python2编码时遇到这样一条异常UnicodeDecodeError: ‘ascii’ code can’t decode byte 0xef 发现是编码问题,但是平常在python3中几乎没有遇到过,所以特意查了资料,原来python3和python2对于字符串的理解不一样,在python3中,字符串默认unicode编码 一.解释python2和python3文本处理方式 在Python3当中,文本字符串类型(使用Unicode数据存储)被命名为 str , 字节字符串类型被命名

python2和python3编码

python2编码 unicode:unicode 你好 u'\u4f60\u597d' | | | | encode('utf8')| |decode('utf8') encode('gbk')| |decode('gbk') | |   | | utf8    gbk编码后的str '\xe4\xbd\xa0\xe5\xa5\xbd'     编码后的gbk u'\u6d63\u72b2\u30bd' # str: bytes >>> s = '你好 world' >>&

python基础篇10-py2和py3编码

编码基础 编码概述 基本概念很简单.首先,我们从一段信息即消息说起,消息以人类可以理解.易懂的表示存在.我打算将这种表示称为“明文”(plain text).对于说英语的人,纸张上打印的或屏幕上显示的英文单词都算作明文.其次,我们需要能将明文表示的消息转成另外某种表示,我们还需要能将编码文本转回成明文.从明文到编码文本的转换称为“编码”,从编码文本又转回成明文则为“解码”. python解释器在加载 .py 文件中的代码时,会对内容进行编码.python2 默认编码方式是ascii码,pytho

彻底弄懂python编码

在编写python程序的过程中,中英文混用经常会出现编码问题.围绕此问题,本文首先介绍编码的含义及常用编码,随后列举几个python经常遇到的编码异常及解决方法,接着列举笔者在实践中遇到的异常出现的情景及原因,最后针对编码问题提出最佳实践. 一 常见编码 1.1 unicode编码 在文本文件中,看到的所有字符,包括中文,都需要在计算机中存储,而计算机只能存储0和1这样的二进制位,所以需要一种方法,将字符映射成数字,然后将数字转化为二进制位存储在计算机中.针对字符和数字的映射的问题,产生了uni