struct模块
最近在学习python网络编程这一块，在写简单的socket通信代码时，遇到了struct这个模块的使用，当时不太清楚这到底有和作用，后来查阅了相关资料大概了解了，在这里做一下简单的总结。了解c语言的人，一定会知道struct结构体在c语言中的作用，它定义了一种结构，里面包含不同类型的数据(int,char,bool等等)，方便对某一结构对象进行处理。而在网络通信当中，大多传递的数据是以二进制流（binary data）存在的。当传递字符串时，不必担心太多的问题，而当传递诸如int、char之类的基本数据的时候，就需要有一种机制将某些特定的结构体类型打包成二进制流的字符串然后再网络传输，而接收端也应该可以通过某种机制进行解包还原出原始的结构体数据。python中的struct模块就提供了这样的机制，该模块的主要作用就是对python基本类型值与用python字符串格式表示的C struct类型间的转化（This module performs conversions between Python values and C structs represented as Python strings.）。stuct模块提供了很简单的几个函数，下面写几个例子。
1.基本的pack和unpack
struct提供用format specifier方式对数据进行打包和解包（Packing and Unpacking）。例如:
import struct
import binascii # 字符串转换模块
# 1.struct 基础应用
values = (1, 'abc'.encode("utf8"), 2.7) # python3 需要转化成bytes类型
s = struct.Struct('I3sf') # 定义format 格式 格式参考help(struct) #??大端存储小端存储？？？何以？
packed_data = s.pack(*values) # 这个地方要是字符串必须用bytes类型
print(packed_data) # 打印pack的bytes类型
print(len(packed_data)) # 长度为12字节
print(binascii.hexlify(packed_data)) # 打包后的十六位值的表示
unpacked_data = s.unpack(packed_data)
print(unpacked_data)
# 输出结果
# b'\x01\x00\x00\x00abc\x00\xcd\xcc,@'
# 12
# b'0100000061626300cdcc2c40'
# (1, b'abc', 2.700000047683716)
代码中，首先定义了一个元组数据，包含int、string、float三种数据类型，然后定义了struct对象，
并制定了format‘I3sf’，I 表示int，3s表示三个字符长度的字符串，f 表示 float。
最后通过struct的pack和unpack进行打包和解包。
通过输出结果可以发现，value被pack之后，转化为了一段二进制字节串，而unpack可以把该字节串再转换回一个元组，
但是值得注意的是对于float的精度发生了改变，这是由一些比如操作系统等客观因素所决定的。打包之后的数据所占用的字节数与C语言中的struct十分相似。
定义format可以参照官方api提供的对照表：
2.字节顺序
另一方面，打包的后的字节顺序默认上是由操作系统的决定的，当然struct模块也提供了自定义字节顺序的功能，可以指定大端存储、小端存储等特定的字节顺序，对于底层通信的字节顺序是十分重要的，不同的字节顺序和存储方式也会导致字节大小的不同。在format字符串前面加上特定的符号即可以表示不同的字节顺序存储方式，例如采用小端存储 s = struct.Struct(‘<I3sf’)就可以了。官方api library 也提供了相应的对照列表：
3.利用buffer，使用pack_into和unpack_from方法
使用二进制打包数据的场景大部分都是对性能要求比较高的使用环境。而在上面提到的pack方法都是对输入数据进行操作后重新创建了一个内存空间用于返回，也就是说我们每次pack都会在内存中分配出相应的内存资源，这有时是一种很大的性能浪费。struct模块还提供了pack_into() 和 unpack_from()的方法用来解决这样的问题，也就是对一个已经提前分配好的buffer进行字节的填充，而不会每次都产生一个新对象对字节进行存储。
import ctypes
# 2.
value1 = (2, b"asxc", 5.0)
value2 = (b"tteedd", 5.1)
s1 = struct.Struct("I4sf")
print(s1.size)
s2 = struct.Struct("6sf")
print(s2.size)
prebuffer = ctypes.create_string_buffer(s1.size + s2.size) # 初步理解创建一个buffer的字符数字内存地址
print(prebuffer)
s1.pack_into(prebuffer, 0, *value1)
s2.pack_into(prebuffer, s1.size, *value2) # 给这个buffer后面接数字位置 unpack的时候需要用位置 加struct的格式unpack
print(prebuffer)
print(s1.unpack_from(prebuffer, 0))
print(s2.unpack_from(prebuffer, s1.size))
# 输出结果
# 12
# 12
# <ctypes.c_char_Array_24 object at 0x000000000055ECC8>
# <ctypes.c_char_Array_24 object at 0x000000000055ECC8>
# (2, b'asxc', 5.0)
# (b'tteedd', 5.099999904632568)csv模块
csv文件格式是一种通用的电子表格和数据库导入导出格式。最近我调用RPC处理服务器数据时，经常需要将数据做个存档便使用了这一方便的格式。
1.第一种方法使用reader函数，接收一个可迭代的对象（比如csv文件），能返回一个生成器，就可以从其中解析出csv的内容：比如下面的代码可以读取csv的全部内容，以行为单位：
with open(r"E:\学习之路第一章\路边拾遗技能请看\zjj.csv", 'r') as f:
data = csv.reader(f, ) # CSV 模块打开对象，得到一个文件迭代对象,注意迭代对象取值完成之后在取值为空了
for row in data:
print(row)
# 输出结果
# ['id', 'name', 'age', 'addr']
# ['1', '张三', '23', '北京']
# ['2', '李四', '22', '上海']
# ['3', '小黑', '18', '深圳']
# ['4', '小红', '33', '杭州']
# ['1', '赵五', '23', '青岛']
with open(r"E:\学习之路第一章\路边拾遗技能请看\zjj.csv", 'r') as f:
data = csv.reader(f, delimiter=':', quoting=csv.QUOTE_NONE) # CSV 模块打开对象，得到一个文件迭代对象,
# 指定读取时的文件格式
for row in data:
print(row)
# 输出结果
# ['id,name,age,addr']
# ['1,张三,23,北京']
# ['2,李四,22,上海']
# ['3,小黑,18,深圳']
# ['4,小红,33,杭州']
# ['1,赵五,23,青岛']
if row[0] == "id": # 判断如果第一行第0个等于"id" 则读取第一行 序列为3的字符
print(row[3]) # 打印文件的每一行组成一个列表
rows = [row for row in data] # 生成一个列表每行是一个子列表
print(rows)
# 读取指定列的数据
cloumn = [row[0] for row in data] # row[0]表示第几列数据
print(cloumn) # ['id', '1', '2', '3', '4']2.文件写入
读文件时，我们把csv文件读入列表中，写文件时会把列表中的元素写入到csv文件中。
import csv
row = ["1", "赵五", "23", "青岛"] # 生成一行需要插入的数据，可以从数据库读取组成元祖
with open(r"E:\学习之路第一章\路边拾遗技能请看\zjj.csv", 'a', newline="") as f:
csv_writer = csv.writer(f) # 生成一个writer的对象 csv下面的生成writer的方法
csv_writer.writerow(row) # 用生成的writer这个对象 执行writerow方法写入问价注意：如果以rb的模式打开读或者写这样操作文件比较方便。
原文地址：https://www.cnblogs.com/zjcode/p/8717909.html
时间： 2024-10-20 23:22:35