Python之常用模块（二）

shelve

xml处理

configparser

hashlib

logging

 

shelve模块

shelve是一个简单的k，v将内存数据通过文件持久化的模块，可以持久化任何pickle可支持的python数据格式

import shelve

sw = shelve.open(‘shelve_test.pkl‘) # 创建shelve对象

name = [‘13‘, ‘14‘, ‘145‘, 6] # 创建一个列表

dist_test = {"k1":"v1", "k2":"v2"}

sw[‘name‘] = name # 将列表持久化保存

sw[‘dist_test‘] = dist_test

sw.close() # 关闭文件，必须要有

sr = shelve.open(‘shelve_test.pkl‘)

print(sr[‘name‘]) # 读出列表

print(sr[‘dist_test‘]) # 读出字典

sr.close()

 

xml处理模块

xml是实现不同语言或程序之间进行数据交换的协议，跟json差不多，但json使用起来更简单，不过，古时候，在json还没诞生的黑暗年代，大家只能选择用xml呀，至今很多传统公司如金融行业的很多系统的接口还主要是xml。

xml的格式如下，就是通过<>节点来区别数据结构的:

<?xml version="1.0"?>

<data>

<country name="Liechtenstein">

<rank updated="yes">2</rank>

<year>2008</year>

<gdppc>141100</gdppc>

<neighbor name="Austria" direction="E"/>

<neighbor name="Switzerland" direction="W"/>

</country>

<country name="Singapore">

<rank updated="yes">5</rank>

<year>2011</year>

<gdppc>59900</gdppc>

<neighbor name="Malaysia" direction="N"/>

</country>

<country name="Panama">

<rank updated="yes">69</rank>

<year>2011</year>

<gdppc>13600</gdppc>

<neighbor name="Costa Rica" direction="W"/>

<neighbor name="Colombia" direction="E"/>

</country>

</data>

xml协议在各个语言里的都 是支持的，在python中可以用以下模块操作xml

import xml.etree.ElementTree as ET

tree = ET.parse(‘test.xml‘) # 读取xml文件，并以Element对象的形式保存

root = tree.getroot() # 获取根

for child in root: # 遍历root下的子标签

print(child.tag, child.attrib) # 打印标签名和属性

for i in child:

print(i.tag, i.text, i.attrib) # 打印标签名值和属性

输出结果：

country {‘name‘: ‘Liechtenstein‘}

rank 2 {‘updated‘: ‘yes‘}

year 2008 {}

gdppc 141100 {}

neighbor None {‘direction‘: ‘E‘, ‘name‘: ‘Austria‘}

neighbor None {‘direction‘: ‘W‘, ‘name‘: ‘Switzerland‘}

country {‘name‘: ‘Singapore‘}

rank 5 {‘updated‘: ‘yes‘}

year 2011 {}

gdppc 59900 {}

neighbor None {‘direction‘: ‘N‘, ‘name‘: ‘Malaysia‘}

country {‘name‘: ‘Panama‘}

rank 69 {‘updated‘: ‘yes‘}

year 2011 {}

gdppc 13600 {}

neighbor None {‘direction‘: ‘W‘, ‘name‘: ‘Costa Rica‘}

neighbor None {‘direction‘: ‘E‘, ‘name‘: ‘Colombia‘}

我们也可以通过标签名来获取某一类标签的内容

for node in root.iter(‘year‘): # 仅遍历标签名为year的标签

print(node.tag, node.text, node.attrib)

输出结果：

year 2008 {}

year 2011 {}

year 2011 {}

xml的常用操作

修改：

import xml.etree.ElementTree as ET

tree = ET.parse(‘test.xml‘) # 读取xml文件，并以Element对象的形式保存

root = tree.getroot() # 获取根

for node in root.iter(‘year‘): # 遍历year标签

node.text = str(int(node.text) + 1) # 将year标签的值+1，注意，读出来的标签的值都是字符串形式，注意数据类型转换

node.set(‘updated‘, ‘yes‘) # 更新该标签

tree.write(‘test_2.xml‘) # 将结果写到文件，可以写到源文件也可以写到新的文件中

删除：

import xml.etree.ElementTree as ET

tree = ET.parse(‘test.xml‘) # 读取xml文件，并以Element对象的形式保存

root = tree.getroot() # 获取根

for country in root.findall(‘country‘): # 遍历所有country标签

rank = int(country.find(‘rank‘).text) # 在country标签查找名为rank的纸标签

if rank > 50: # 判断如果rank标签的值大于50

root.remove(country) # 删除该标签

tree.write(‘test_3.xml‘)

说明：

iter方法用于查找的最终标签，也就是下面没子标签的标签，获取他的值和属性的

findall方法用于查找还有子标签的子标签，然后和用fandall返回的对象的find方法获取找到的标签的子标签

创建自己的xml文档

import xml.etree.ElementTree as ET

new_xml = ET.Element("namelist") # 新建根节点，或者说xml对象

name = ET.SubElement(new_xml,"name",attrib={"enrolled":"yes"}) # 给新xml对象创建子标签

age = ET.SubElement(name,"age",attrib={"checked":"no"}) # name标签在创建子标签age，attrib变量为属性

sex = ET.SubElement(name,"sex")

sex.text = ‘33‘ # 给标签赋值

name2 = ET.SubElement(new_xml,"name",attrib={"enrolled":"no"})

age = ET.SubElement(name2,"age")

age.text = ‘19‘

et = ET.ElementTree(new_xml) #生成文档对象

et.write("test.xml", encoding="utf-8",xml_declaration=True) # 将xml对象保存到文件xml_declaration表示xml文档的声明

ET.dump(new_xml) #打印生成的格式

 

 

ConfigParser模块

ConfigParser模块是用来处理配置文件的包，配置文件的格式如下：中括号“[ ]”内包含的为section。section 下面为类似于key-value 的配置内容。常见很多服务的都是类似这种格式的，比如MySQL

假设我们有这样一个配置文件

[DEFAULT]name = www.qq.com[dbs]username = rootpassord = 123.comhost = 127.0.0.1

[server]name = www.baidu.comport = 80

读取配置文件

import configparser

config = configparser.ConfigParser() # 创建configparser对象

config.read(‘example.ini‘) # 读取配置件

print(config.sections()) # 获取所有的session

输出结果

[‘dbs‘, ‘server‘]

注意：

可以看到这里没有输出DEFAULT，因为在Python中DEFAULT session有特殊用途，相当于所有session的默认值，也就是当DEFAULT中定义了一个key和value，此时session中这个不存在的时候，这个key的值就是DEFAULT定义的value

例如

print(config[‘dbs‘][‘name‘])

输出结果就是

www.qq.com

说明：

可以看到读取配置文件后的返回的对象有点类似于字典，可以通过key的方式将配置文件中的值一一取出来，甚至可以使用in关键字判断key是否存在

print(‘server‘ in config)

输出结果

True

其他常用操作

读：

print(config.options(‘dbs‘)) # 获取某个session下的所有option，也就是key

输出结果

[‘username‘, ‘passord‘, ‘host‘, ‘name‘]

print(config.items(‘dbs‘)) # 获取某个session的键值列表，类似字典的items方法

输出结果

[(‘name‘, ‘www.qq.com‘), (‘username‘, ‘root‘), (‘passord‘, ‘123.com‘), (‘host‘, ‘127.0.0.1‘)]

print(config.get(‘dbs‘, ‘host‘)) # 获取某个session下的某个option的值

输出结果

127.0.0.1

port = config.getint(‘server‘, ‘port‘) # 获取某个session下的某个option的值，并以int的方式返回

print(port)

print(type(port))

类似的方法还有getfloat和getboolean方法，当然前提是配置文件中的值就是对应的类型，否则会报错

说明：

配置文件中yes、True、1、true等为真，也就是通过getboolean返回的是True，no、False、0、false等为假，也就是返回的是False

删除：

config.remove_option(‘dbs‘,‘host‘) # 删除option

config.remove_section(‘server‘) # 删除session

 

 

hashlib模块

用于加密相关的操作，3.x里代替了md5模块和sha模块，主要提供 SHA1, SHA224, SHA256, SHA384, SHA512 ，MD5 算法

import hashlib

m = hashlib.md5()

m.update(b"Hello")

m.update(b"It‘s me")

print(m.digest())

m.update(b"It‘s been a long time since last time we ...")

print(m.digest()) #2进制格式hash

print(len(m.hexdigest())) #16进制格式hash

‘‘‘

def digest(self, *args, **kwargs): # real signature unknown

""" Return the digest value as a string of binary data. """

pass

def hexdigest(self, *args, **kwargs): # real signature unknown

""" Return the digest value as a string of hexadecimal digits. """

pass

‘‘‘

import hashlib

# ######## md5 ########

hash = hashlib.md5()

hash.update(‘admin‘)

print(hash.hexdigest())

# ######## sha1 ########

hash = hashlib.sha1()

hash.update(‘admin‘)

print(hash.hexdigest())

# ######## sha256 ########

hash = hashlib.sha256()

hash.update(‘admin‘)

print(hash.hexdigest())

# ######## sha384 ########

hash = hashlib.sha384()

hash.update(‘admin‘)

print(hash.hexdigest())

# ######## sha512 ########

hash = hashlib.sha512()

hash.update(‘admin‘)

print(hash.hexdigest())

 

 

logging模块

很多程序都有记录日志的需求，并且日志中包含的信息有正常的程序访问日志，还有可能有错误日志，警告信息输出，logging模块提供了标准的日志接口

日志等级：

CRITCAL = 50

ERROR = 40

WARING = 30

INFO = 20

DEBUG = 10

设置记录日志等级，这个等级（数值）以下（小于这个数值）的日志将不会被记录。

import logging

logging.warning("user [alex] attempted wrong password more than 3 times")#日志等级及日志内容

logging.critical("server is down")

#输出

WARNING:root:user [alex] attempted wrong password more than 3 times

CRITICAL:root:server is down

 

如果想把日志写到文件里，也很简单

import logging

logging.basicConfig(filename=‘example.log‘,level=logging.INFO)

logging.debug(‘This message should go to the log file‘)

logging.info(‘So should this‘)

logging.warning(‘And this, too‘)

其中下面这句中的level=loggin.INFO意思是，把日志纪录级别设置为INFO，也就是说，只有比日志是INFO或比INFO级别更高的日志才会被纪录到文件里，在这个例子， 第一条日志是不会被纪录的，如果希望纪录debug的日志，那把日志级别改成DEBUG就行了。

logging.basicConfig(filename=‘example.log‘,level=logging.INFO)

感觉上面的日志格式忘记加上时间啦，日志不知道时间怎么行呢，下面就来加上!

import logging

logging.basicConfig(format=‘%(asctime)s %(message)s‘, datefmt=‘%m/%d/%Y %I:%M:%S %p‘)

logging.warning(‘is when this event was logged.‘)

#输出

12/12/2010 11:46:36 AM is when this event was logged.

 

 

如果想同时把log打印在屏幕和文件日志里

import logging

#create logger

logger = logging.getLogger(‘TEST-LOG‘)

logger.setLevel(logging.DEBUG)

# create console handler and set level to debug

ch = logging.StreamHandler()

ch.setLevel(logging.DEBUG)

# create file handler and set level to warning

fh = logging.FileHandler("access.log")

fh.setLevel(logging.WARNING)

# create formatter

formatter = logging.Formatter(‘%(asctime)s - %(name)s - %(levelname)s - %(message)s‘)

# add formatter to ch and fh

ch.setFormatter(formatter)

fh.setFormatter(formatter)

# add ch and fh to logger

logger.addHandler(ch)

logger.addHandler(fh)

# ‘application‘ code

logger.debug(‘debug message‘)

logger.info(‘info message‘)

logger.warn(‘warn message‘)

logger.error(‘error message‘)

logger.critical(‘critical message‘)

时间： 2024-08-05 03:36:22

Python之常用模块（二）的相关文章

常用模块二---time--random--collections--json--pickle--shelve

常用模块二 ================= collections 模块 ================== ========= namedtuple 可以命名的元组 ============from collections import namedtuple Point=namedtuple('Point',['x','y']) p=Point(1,2)circle=namedtuple('Circle',['x','y','r'])c=circle(1,2,1)print(p.x)pr

常用模块二（configparser

阅读目录 常用模块二 hashlib模块 configparse模块 logging模块 常用模块二 返回顶部 hashlib模块 Python的hashlib提供了常见的摘要算法,如MD5,SHA1等等. 什么是摘要算法呢?摘要算法又称哈希算法.散列算法.它通过一个函数,把任意长度的数据转换为一个长度固定的数据串(通常用16进制的字符串表示). 摘要算法就是通过摘要函数f()对任意长度的数据data计算出固定长度的摘要digest,目的是为了发现原始数据是否被人篡改过. 摘要算法之所以能指出数

python中几大模块二

python中几大模块二 sys模块 sys模块也是python种一个非常强大的模块,功能非常的多,这里我其实也没接触到几个,暂时记录一下目前常用的几个功能函数. sys.argv 这个函数的功能是在程序外部向程序内部传递参数 .例如: import sys print(sys.argv[:]) print(sys.argv[0]) print(sys.argv[1]) print(sys.argv[2]) print(sys.argv[3]) #外部调用解释器执行该文件 python test

python中常用模块详解二

log模块的讲解 1 Python 使用logging模块记录日志涉及四个主要类,使用官方文档中的概括最为合适: 2 3 logger提供了应用程序可以直接使用的接口API: 4 handler将(logger创建的)日志记录发送到合适的目的输出: 5 formatter决定日志记录的最终输出格式 6 filter提供了细度设备来决定输出哪条日志记录: 7 8 logger 9 每个程序在输出信息之前都要获得一个Logger.Logger通常对应了程序的模块名, 10 比如聊天工具的图形界面模块

python:常用模块二

1,hashlib模块---摘要算法 import hashlib md5 = hashlib.md5() md5.update('how to use md5 in python hashlib?') print md5.hexdigest() 计算结果如下: d26a53750bc40b38b65a520292f69306 用MD5进行加密 如果数据量很大,可以分块多次调用update(),最后计算的结果是一样的: md5 = hashlib.md5() md5.update('how to

python基础--常用模块与面向对象基础

1常用模块 1.1 xml xml是实现不同语言或程序之间进行数据交换的协议 xml的格式如下: <?xml version="1.0"?> <data> <country name="Liechtenstein"> <rank updated="yes">2</rank> <year>2008</year> <gdppc>141100</gdp

Python(六)-常用模块

目录: 1.模块介绍 2.time & datetime模块 3.rendom 4.os 5.sys 6.shutil 7.json & picle 8.shelve 9.xml处理 10.yaml处理 11.chonfigparser 12.hashlib 13.subprocess 14.logging模块 15.re正则表达式 第一章:模块介绍 模块,用一坨代码实现了某个功能的代码集合. 类似于函数式编程和面向过程编程,函数式编程则完成一个功能,其他代码用来调用即可,提供了代码的重用

python之常用模块

一 time模块 二 random模块 三 os模块 四 sys模块 五 json&pickle模块 六 shelve模块 七 re模块 一 time模块 Python中,表示时间的几种方式: 1.时间戳(timestamp):时间戳表示从1970年1月1日00:00:00开始按秒计算的偏移量.运行"type(time.time())",返回的是float类型.time.time()显示时间戳:1487130156.419527 2.格式化的时间字符串(format_strin

python编程常用模块记录

time(时间相关模块) logging(日志模块) [time 模块] 与时间有关还有datetime.calendar等 time模块常用于获取当前系统日期时间,该值可用于日志文件命名或者任何sleep函数让进程挂起. 常用用法: 一.现在需要知道当前时间,转换为字符串: #! /usr/bin/env python #coding=utf-8 import time print time.strftime('%Y-%m-%d %A %X %Z',time.localtime(time.ti

Python 20 常用模块01

常用模块01 1. 模块的简单认识 引入模块的方式: import 模块 from xxx import 模块 . 比如, random, os, sys, collections等等. 那我们?前?到的所有模块都是python内 置的模块 2. collections模块 ollections模块主要封装了?些关于集合类的相关操作. 比如, 我们学过的Iterable, Iterator等等. 除了这些以外, collections还提供了?些除了基本数据类型以外的数据集合类 型. Count