python蛋疼的编码decode、encode、unicode、str、byte的问题都在这了

　　相信很多人和我一样，被python蛋疼的编码问题纠缠不清，比如下面的

　　私以为出现这种错误的原因还是对一些基本的编解码概念不够熟悉，下面就说说我的理解：

　　首先python刚出来的时候unicode还没有一统江湖，期间很多代码和程序压根就是直接用ascii编码，反正代码都是英文写的，而且当时那个年代写代码一般都是说英文的，那就无所谓啦，人家用的爽才不care那么多，后来互联网开始兴起，全球各个地方的人都需要了，中国这边的话自己搞了套gbk（gb2312）编码，同时该编码包含了ascii，毕竟ascii就那么1个byte8bit的编码，随便都能包含进去了，后来unicode一统江湖后，才算解决了编码问题，但是很多应用软件和编程语言诞生年代久远，所以遗留了一些编码问题，这也就是为什么python、mysql等等常出现编码问题的原因了。

　　python2中默认不指定的情况下使用的编码是ascii编码！！！

　　首先 “str” 本质上是字符串，用print直接打印出来人类可读，byte本质是字节，用8位0和1的序列来表示的，为机器可读。

由于python2默认的encoding是ascii 所以很明显，当一个中文的unicode想encode的时候就会出现中文无法用ascii编码的的错误，毕竟ascii只是unicode的一个子集。

反之也是

时间： 2024-08-06 15:34:57

python蛋疼的编码decode、encode、unicode、str、byte的问题都在这了的相关文章

编码 decode & encode

import sys # python3 中字符编码默认为 utf-8 s = '你好' print(s) # utf-8 转为 gbk (s 默认为 unicode 所以可以直接 encode 成 gbk) s_to_gbk = s.encode('gbk') print('gbk', s_to_gbk) print('default', s.encode()) print('bytes type', type(s)) print('system default', sys.getdefaul

python基础 字符编码转换

python2 1 #python2上所有的字符编码都需要先decode到unicode,再从unicode encode到目标编码 2 str_utf8 = "我就是我" 3 print("str_utf-8:我就是我:",str_utf8) 4 #将utf-8转换为unicode 5 str_utf8_to_unicode = str_utf8.decode("utf-8") 6 print(str_utf8_to_unicode) 7 #将

Python编码介绍——encode和decode

在 python 源代码文件中,如果你有用到非ASCII字符,则需要在文件头部进行字符编码的声明,声明如下: # code: UTF-8 因为python 只检查 #.coding 和编码字符串,所以你可能回见到下面的声明方式,这是有些人为了美观等原因才这样写的: #-*- coding: UTF-8 -*- 常见编码介绍: GB2312编码:适用于汉字处理.汉字通信等系统之间的信息交换 GBK编码:是汉字编码标准之一,是在 GB2312-80 标准基础上的内码扩展规范,使用了双字节编码 ASC

Python字符串的编码与解码(encode与decode)

字符串在Python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码.

Python乱码，编码，repr，encode，decode探究

#encoding:utf-8 #用命令行执行 s = '百度' print s # 输出环境为gbk,编码为utf-8,输出乱码 print s.decode('utf-8') # => 发现输出环境为gbk,自动转换 print s.decode('utf-8').encode('utf-8') # 输出环境为gbk,编码为utf-8,输出乱码 print s.decode('utf-8').encode('gbk') # 输出环境为gbk,编码为gbk,正常输出 # s = 0xF2193

python中的编码问题：以ascii和unicode为主线

  1.unicode.gbk.gb2312.utf-8的关系 http://www.pythonclub.org/python-basic/encode-detail 这篇文章写的比较好,utf-8是unicode的一种实现方式,unicode.gbk.gb2312是编码字符集: 2.python中的中文编码问题 2.1 .py文件中的编码 Python 默认脚本文件都是 ANSCII 编码的,当文件 中有非 ANSCII 编码范围内的字符的时候就要使用"编码指示"来修正. 一个mo

python3中的encode、decode、unicode的使用以及unicode-escaped的使用

在python中,unicode(统一码   采用双字节对字符进行编码)是内存编码集,一般我们将数据存储到文件时,需要将数据先编码(encode)为其他编码集,比如utf-8.gbk等. 读取数据的时候再通过同样的编码集进行解码(decode)即可. unicode-escape编码集,它是将unicode内存编码值直接存储: 原文地址:https://www.cnblogs.com/0901-hcx/p/11374507.html

python之----------字符编码具体原理

1.内存和硬盘都是用来存储的. CPU:速度快 硬盘:永久保存 2.文本编辑器存取文件的原理(nodepad++,pycharm,word) 打开编辑器就可以启动一个进程,是在内存中的,所以在编辑器编写的内容也都是存放在内存中的,断电后数据就丢失了.因而需要保存在硬盘上,点击保存按钮或快捷键,就把内存中的数据保存到了硬盘上.在这一点上,我们编写的py文件(没有执行时),跟编写的其他文件没有什么区别,都只是编写一堆字符而已. 3.python解释器执行py文件的原理,例如python  test.

python 处理字符编码问题

今天好不容易重新开始写Python做实验,结果被字符编码虐的体无完肤.其实之前就已经比较清楚python处理字符编码的套路,但是今天白天反复的出现can't encode/decode ..., the original code not in 178之类的提示,甚是无力,后来偶尔使用了一下sys.setdefaultencoding('utf8')就解决了全部问题,真是不解. 下面还是总结一下Python几个编码设置的含义吧. 1. #coding=utf8 这种形式的注释告诉解释器,应该以c