背景:有mysql数据库,将数据从数据库中读取,并存储到xml中
采用了MySQLdb和lxml两个库
具体编码处理过程如下:
1. 指定mysql的编码方式 2.取数据库data->判断data类型(type, isinstance)->| unicode字符->|有特殊控制字符->去除 | |正常->直接写入 | |数字,日期等格式->转为字符串 |其他编码方式字符->decode
1.指定mysql编码方式
按照如下方式指定字符集:来源
db = MySQLdb.connect(..., charset=‘utf8‘)
如果不指定字符集,当默认字符集与实际数据字符集不同时,取出的数据会出现乱码。
2.取出数据后判断数据类型
为何要判断数据类型呢?因为lxml中的数据都要是字符类型的,而数据库中取出的数据有可能是int, long, date之类非数字类型,所以需要判断以便于后续处理
判断方式有两种:type和isinstance
>>> n = 911 >>> type(n) <type ‘int‘> >>> type(n) is int True
a = 111 isinstance(a, int) True
isinstance要优于type:区别就是 对于subclass之类的 type就不行了 来源
class A: pass class B(A): pass isinstance(A(), A) # returns True type(A()) == A # returns True isinstance(B(), A) # returns True type(B()) == A # returns False
注意判断时类型就直接写 int, str, unicode就可以,不要引号
3.去除unicode中的特殊字符
unicode中只支持以下字符
Char ::= #x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF]
所以,需要把除上述范围之外的特殊字符都删掉,否则会报错
采用正则
content = re.sub(u‘[^\u0020-\uD7FF\u0009\u000A\u000D\uE000-\uFFFD\u10000-\u10FFFF]+‘, ‘‘, text)
在来源中还有其他的方案,但是正则的速度快
4. 数字等类型转为字符串
直接str(),因为lxml支持ascii和unicode,所以用str直接转为ascii编码就可以
5. 其他编码方式decode
其实前面mysql中指定了编码方式后不应该有其他编码类型的,不过这里也介绍一下处理方法->decode
用decode将字符串解码为标准unicode
‘abc‘.decode(‘utf-8‘)
decode使用时需要给出字符的原本编码方式,如果不确定的话可以用chardet来判断
import chardet s = "abc" code_method = chardet.detect(s) print code_method
输出:
{‘confidence‘: 1.0, ‘encoding‘: ‘ascii‘}
时间: 2024-10-10 16:19:44