Python-编码这趟浑水

最近听Alex讲到python编码,还特意用博客讲解,觉得问题严重了,于是翻看各种博客,先简单的对编码错误做一个总结,其他的后续慢慢补上,还得上班、还得学习、还得写博客?感觉有点吃不消了。各位大神不喜勿喷啊。本人是Mac电脑,终端默认编码格式utf-8

原文地址

Python编码错误及解决办法

字符串是python中最常用的数据类型,而且很多时候会用一些不属于ascii字符集的字符,这是就会抛出UnicodeDecodeError:ascii codec can‘t decode byte 0xc4 in position 10:oridinal not range(128)异常。这种异常在python中很容易遇到,尤其是在python2.x中

字符串在python内部的表示是unicode编码,因此,在做编码转换是,通常需要以unicode作为转码的中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。但是在Python2.x中默认编码格式是ascii,就是说在没有指定Python源码编码格式的情况下,源码中所有字符都被默认为ascii码。也是因为这个根本原因,在Python2.x中经常遇到UnicodeDecodeError或者UnicodeEncodeError的异常。

Unicode为了能够处理Unicode数据,同时兼容Python某些内部模块,Python2.x中提供了Unicode这种数据类型,通过decode和encode方法可以将其他编码和unicode编码相互转换。

Python常见编码异常(几乎都出现在Python2.x中)

Python中常见的编码异常包括:SyntaxError: Non-ASCII character 、UnicodeDecodeError和UnicodeEncodeError等。

1.SyntaxError: Non-ASCII character

这种异常不是很常见,但最好解决了。只要是因为Python源码文件中存在不属于ascii字符,而且同时没有声明源码的编码格式,例如

#在Python2.x中,在文件头部没有指定编码格式

s = ‘土耳其大骗子‘
print  s

#SyntaxError: Non-ASCII character ‘\xe5‘ in file /xxx/xxx/exercise-unicode.py on line 2, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

解决办法:在文件头部声明编码格式 #!-*- encoding:utf-8 -*-或#!encoding:utf-8

Python2.x中如果不在源码文件首行指定编码格式,则无法在Python源码文件中出现非ascii字符。这是由于Python解释器默认将源码认为是ascii编码格式

2.UnicodeDecodeError

这个异常则会出现在调用decode方法时,原因是Python将其他编码格式的字符转化为unicode编码,但是字符本身的编码格式和decode传入的编码格式不一致,例如:


#Python2.x中
#!encoding:utf-8
s = ‘土耳其大骗子‘
us = s.decode(‘gbk‘)

#异常
#UnicodeDecodeError: ‘gbk‘ codec can‘t decode bytes in position 4-5: illegal multibyte sequence

上面这段代码字符串字符串s默认的编码格式是“utf-8”(#!encoding:utf-8声明的意思就是:当前.py文件中所有的字符都是utf-8编码的),但是在使用decode转化为unicode编码是传入的编码格式为“gbk”,因此在转化的时候抛出UnicodeDecodeError异常。还有一种情况是在encode的时候:

#Python2.x中
#! -*- encoding:utf-8 -*-

s = ‘土耳其大骗子‘
us = s.encode(‘gbk‘)

#输出
#UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe5 in position 0: ordinal not in range(128)

这里是s是“utf-8”编码,直接使用s.encode(‘gbk‘),实际上是使用了系统默认的defaultencoding来解码,等价于

s.decode(defaultencoding).encode(‘gbk‘)

而s的实际编码和defaultencoding(python2.x默认是ascii)不同。

3.UnicodeEncodeError

错误的decode和encode方法会出现异常,比如使用decode方法将unicode字符串转化的时候

#! -*- encoding:utf-8 -*-

s = u‘土耳其大骗子‘
us = s.decode(‘utf-8‘)

#输出
#UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 0-5: ordinal not in range(128)

由于在Python2.x中,字符串转化为unicode编码的时候,可以通过unicode(‘xxx‘)、u‘xxx‘、‘xxx‘.decode(‘utf-8‘),但是本示例是将unicode编码的字符串解码,于是抛出“UnicodeEncodeError”异常

Python中编码规范

1.遵循PEP0263原则,声明编码格式(推荐)

在PEP 0263 Defining Python Source Code Encodings中提出了对Python编码问题的最基本的解决方法:在Python源码文件中声明编码格式,最常见的声明格式如下:

#!/usr/bin/python
#! -*- encoding:utf-8 -*-

表示当前.py文件的字符串编码格式都是按照“utf-8”编码的,不是读取的文件是用“utf-8”编码读取的

2.使用 u‘中文‘ 代替中文(Python 2.x)

s1 = ‘中文‘
s2 = u‘中文‘

Python中有以上两种声明字符串变量的方式,它们的主要的是编码格式的不同,其他s1的编码格式和Python头文件声明的编码格式一致,而s2的编码格式则是unicode。如果你声明的字符串变量中包含非ascii字符,最好使用s2的的声明格式,这样你可以不需要执行decode,直接对字符串进行操作,可以避免出现一个异常。

注意:Python3中不存在 u‘xx‘的声明方式。

3.Reset默认编码

Python中出现这么多的编码问题的根本原因是Python 2x中的默认编码是ascii,所以你可以通过以下的方式修改默认的编码格式:

import sys
sys.setdefaultencoding(‘utf-8‘)

这种方法可以解决部分编码问题,但是同时也会引入很多其他问题,得不偿失,建议不要使用这种方式。

原文地址:https://www.cnblogs.com/it-q/p/8178367.html

时间: 2024-11-09 02:42:04

Python-编码这趟浑水的相关文章

PYTHON编码处理-str与Unicode的区别

一篇关于str和Unicode的好文章 整理下python编码相关的内容 注意: 以下讨论为Python2.x版本, Py3k的待尝试 开始 用python处理中文时,读取文件或消息,http参数等等 一运行,发现乱码(字符串处理,读写文件,print) 然后,大多数人的做法是,调用encode/decode进行调试,并没有明确思考为何出现乱码 所以调试时最常出现的错误 错误1 Traceback (most recent call last): File "<stdin>"

Python编码规则

1. 命名规则 1.1 变量名.包名.模块名 变量名通常有字母.数字和下划线组成,且首字母必须是字母或下划线,并且不能使用python的保留字:包名.模块名通常用小写字母 1.2 类名.对象名 类名首字母用大写,其他字母采用小写:对象名用小写字母.类的属性和方法名以对象作为前缀,对象通过操作符"."访问属性和方法.类的私有变量.私有方法以两个下划线作为前缀. l.3 函数名     函数名通常采用小写,并用下划线或单词首字母大写来增加名称的可读性,导入的函数以模块名作为前缀. 2. 模

Python 编码

Python 编码 ASCII.Unicode.UTF-8 以及 gbk 在具体说明 Python 编码之前,先来理清 ASCII.Unicode.UTF-8.gbk 究竟是什么? 这边仅简单介绍下,具体请百度. ASCII:是现今最通用的单字节编码系统.ASCII(仅1~127) 仅可代表英文.数字及一些符号等,如,A 的 ASCII 码为65(十进制). Unicode:为了解决传统的字符编码方案的局限而产生,为每种语言中的每个字符设定了统一并且唯一的二进制编码,以满足跨语言.跨平台进行文本

说说Python编码规范

前言 已有近两个月没有发表过文章了,前段时间外甥和女儿过来这边渡暑假,平常晚上和周末时间都陪着她们了,趁这个周末有空,再抽空再把这块拾起来.         这么久没写了,再次拿起键盘,想想,发表些什么呢,想起上次公司的代码评审委员会下周其中一个议题是关于Python编码规范的整理,那就趁热打铁,整理一份关于Python编码规范的文章,也为那些写Python的人,提供一些编码注意的一些事项或者说是参考吧. 编码规范的作用         规范故明思义,就是通过不断的总结,吸取好的点,从而形成的一

python 编码问题:&#39;ascii&#39; codec can&#39;t encode characters in position 的解决方案

问题描述: Python在安装时,默认的编码是ascii,当程序中出现非ascii编码时,python的处理常常会报这样的错UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128),python没办法处理非ascii编码的,此时需要自己设置将python的默认编码,一般设置为utf8的编码格式. 查询系统默认编码可以在解释器中输入以下命令: Python代码

Python Solve UnicodeEncodeError &#39;gbk&#39; / &#39;ascii&#39; / &#39;utf8&#39; codec can&#39;t encode character &#39;\x??&#39; in position ? 解决有关Python编码的错误

在Python中,处理中文字符一直是很令人头痛的问题,一言不合就乱码,而且引起乱码的原因也不尽相同,有时候是python本身默认的编码器设置的不对,有时候是使用的IDE的解码器不对,还有的时候是终端terminal的解码器不对,有时候同一份代码在Python2上正常运行,Python3上就不行了,反正产生乱码的原因很多,这里就列举一些博主遇到过的一些错误及其解决方案: Error 1: UnicodeEncodeError: 'gbk' codec can't encode character

PEP8 Python 编码规范

PEP8 Python 编码规范 一 代码编排 1 缩进.4个空格的缩进(编辑器都可以完成此功能),不使用Tap,更不能混合使用Tap和空格.2 每行最大长度79,换行可以使用反斜杠,最好使用圆括号.换行点要在操作符的后边敲回车.3 类和top-level函数定义之间空两行:类中的方法定义之间空一行:函数内逻辑无关段落之间空一行:其他地方尽量不要再空行. 二 文档编排 1 模块内容的顺序:模块说明和docstring-import-globals&constants-其他定义.其中import部

【Python进阶】02、python编码问题

一.ASCII.Unicode和UTF-8的区别 因为字符编码的问题而苦恼不已,于是阅读了大量的博客,再进行了一定的测试,基本搞清楚了编码问题的前因后果. 1.字符集和字符编码 计算机中储存的信息都是用二进制数表示的:而我们在屏幕上看到的英文.汉字等字符是二进制数转换之后的结果.通俗的说,按照何种规则将字符存储在计算机中,如'a'用什么表示,称为"编码":反之,将存储在计算机中的二进制数解析显示出来,称为"解码",如同密码学中的加密和解密.在解码过程中,如果使用了错

linux之系统编码,python编码,文件编码

1     前言 如果你对python2和python3的中编解码很清楚,这里我认为你很清楚. 具体参考文档: "python2 encode和decode函数说明.docx" "字符编码--从ASCII开始.docx" 以上所有文档均为本地文档. 2     Python编码 sys.getdefaultencoding(): 获取系统当前编码,这里的系统指的是python自己的内置系统,并非操作系统,即3中的python编码. sys.setdefaultenc

Python编码——常见的编码设置

1.查看自己电脑的python的编码设置 # -*- coding: utf8 -*- import sys, locale """ locale.getpreferredencoding() 重要参数,默认为打开本地操作系统读取的文本文件的编码方式,因操作系统而异,除非指定 sys.stdout/stdin/stderr 标准输出/输入/错误输出 PYTHONIOENCODING 变量指定 sys.getdefaultencoding() python将binary dat