一、 了解一下编码的发展。
1、 计算机只能处理数字,如果需要处理文本,需要先将文本转换为数字。因为计算机是美国梆子发明的,所以他们发明了最早的编码--ASCII编码,也就是将他们的大小写字符数字和一些符号编码得到计算机中。比如A的编码是65。
2、 随着计算机在中国发展起来,拿ASCII去处理中文,显然是不够的,因为英文需要一个字节处理,而中文是需要两个字节。为了满足需求我们中国发明了自己的编码GB2312。将中文编进去。
3、 我们中国如此,世界上那么多语言岂不是每种语言都需要一种编码标准,如果一个文本中有多种语言,到时候产生的结果就是出现乱码。
4、 为顺应发展,比较叼的Unicode编码出生了,这个东西将所有的语言都统一到一套编码中。这样就不会再出现乱码的问题。虽然这个东西够强大,但是却有一个不能小觑的缺点。相比于ASCII编码要多出一倍的储存空间。例如:A ascii:65 二进制:01000001 unicode:00000000 01000001
5、 所以秉承着节约的原则,UTF-8应运而生,好处编码可变长。例如A的UTF-8:01000001,可以将unicode编码中的前面的零节约掉。
二、 在计算机 系统中通用编码的工作方式
1、 当我们编辑文档的时候,读取文档内容将UTF-8字符转换为unicode字符到内存中。因为这里需要显示,为了避免乱码,使用通用的Unicode编码。
2、 当编码编辑完成后,再将Unicode的编码转换为UTF-8保存到文件中。因为这里是需要存入磁盘中的,为节约储存空间,使用可变编码长度的UTF-8编码。
三、 python3字符编码
python的字符串类型是str,在内存中以Unicode表示。
1、 如果需要在网络上传输,或者保存到存储设备上,就需要将str变成以字节为单位的bytes。可以使用encode()方法。通过第一大点的了解,我们知道Unicode表示的str可以通过ASCII和utf-8编码转换。但是转换中文的时候,一定使用utf-8,因为含有中文的str无法用ASCII编码,超出了ASCII编码的范围。例如:
2、 如果我们从网络上或磁盘上读取数据,就是将bytes变为str。可以使用decode()方法。
通过上述了解,可以看出,utf-8编码,不管是读取数据,还是传输数据都不会出错,所以很多情况下utf-8使用的更为广泛一些。
四、 解析我实际遇到的问题
使用socket模块编写通信的脚本,原服务端:
#!/usr/bin/python3
import socket
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.bind((‘‘,6000))
s.listen(1)
client,addr=s.accept()
print ("Connected by",addr)
client.send("welcome")
text=client.recv(1024)
print(text)
client.close()
s.close()
原客户端:
#!/usr/bin/python3
import socket
c=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
c.connect(("192.168.80.128",6000))
ans=c.recv(1024)
print(ans)
c.send("hello")
c.close()
执行结果
send()方法用来传递数据,将hello传递给服务端。
错误提示需要将str类型的字符串转换为bytes。在我们传递数据的时候应该先将str转换为bytes类型的数据方可。使用encode(‘utf-8’)或encode(‘ascii’);同时服务端的send()方法传递的数据也应该转换一下。
服务端修改代码:
client.send("welcome".encode(‘utf-8‘))
客户端修改代码:
c.send("hello".encode(‘utf-8‘))
修改后执行结果:
执行成功。
执行过程中,str被转换为bytes传递给对方。因为这里传递的是字母,内容上看不出是bytes,但是字符串前有个字母b,表示bytes。如果传递的是中文:
因为我们将str转换为了bytes。所以当我们接受数据的时候,应当将bytes转换为str
服务端修改代码:
text=client.recv(1024).decode(‘utf-8‘)
客户端修改代码:
ans=c.recv(1024).decode(‘utf-8‘)
执行结果:
总结完毕!!!
原文地址:http://blog.51cto.com/12332766/2176929