06 Python字符编码与文件处理

python垃圾回收机制:

python中的垃圾回收机制是以引用计数为主,分代收集为辅,引用计数的缺陷是循环引用的问题,一个对象的引用数为0 ,那么这个对象就会被python虚拟机回收内存

字符编码

字符编码的介绍

计算机存放的都是二级制数字,我们输入一个字符,计算机是不认识的,那么就需要一个编码表,吧我们写入的字符转换为二级制数,然后将输入字符对应的二进制数写入内存,再由内存写入硬盘

在这之间只有一种编码表

ASCII:只能表示英文字符,用1Bytes对应一个英文字符

内存:ASCII

硬盘:ASCII

GBK:可以表示中文字符和英文字符,用1Bytes表示一个英文字符,用2Bytes表示一个中文字符

内存:GBK
硬盘:GBK

Shift-JIS:
内存:Shift-JIS
硬盘:Shift-JIS

Euc-kr:
内存:Euc-kr
硬盘:Euc-kr

以上是各个国家的字符编码,但是这种字符编码只能在自己的国家使用,所以之后出现了一种统一的字符编码

unicode:可以对应万国字符,统一用2个Bytes表示一个字符

两大特点:

  

1:可以兼容万国字符
2 与万国字符都有一种数字与数字的对应关系

人们写入的字符先转码为unicode编码写进内存,再有硬盘里的GBK、EUC-kr或Shift-JIS编码表进行编码之后写进硬盘

如果要使用,就将字符经过解码,转变为unicode编码,写进内存后再通过unicode编码表一一对应。

GBK数字-----解码decode----->unicode数字
Shift-JIS数字-----解码decode----->unicode数字

GBK数字<-----编码encode-----unicode数字
UTF-8数字<-----编码encode-----unicode数字

不同的字符编码转换为英文和中文对应的字节数如下

字符编码    英文    中文

ASCII    1Bytes    无

GBK       1Bytes    2Bytes

Unicode           2Bytes      2Bytes

 Utf-8            1Bytes   3Bytes

保证不乱码的关键

当初用什么字符编码存的,取的时候就用什么编码解码

强调:此时计算机只能使用unicode与字符的对应关系

在pytohn2中

1 (执行python程序的第二个阶段)解释器在将py文件当普通的文本文件读入内存时默认使用的编码是ASCII
2 有两种字符串类型:
  str:x="上" # 文件头指定的编码格式的二进制
  unicode:x=u"上" # 存成unicode格式的二进制

ps:pyhon2中unicode就是python3的str类型

在python3中:

1 (执行python程序的第二个阶段)解释器在将test.py当普通的文本文件读入内存时默认使用的编码是UTF-8
2 (执行python程序的第三个阶段,开始识别语法),会字符类型的值开辟一个内存空间存入unicode格式的二进制
ps:python3中的str类型是unicode编码的二进制

3 字符串类型
  str: x="上" 把‘上’ 存成unicode格式的二进制
  字节串=x.encode(‘utf-8‘)

文件头:
在文件首行写上:coding:utf-8
就是在告诉python解释器,不要用其默认的编码,用文件头指定的编码

文件处理

1 什么是文件:

文件就是操作系统为用户/操作系统提供的操作硬盘的抽象单位

2 为什么要用文件

实现将内存中的数据永久保存到硬盘中

3 如何用文件

文件操作的基本步骤

f=open(r‘a.txt‘,encoding=‘utf-8‘) #打开文件,拿到一个文件对象f,f就相当于一个遥控器,可以向操作系统发送指令
f.read() # 读写文件,向操作系统发送读写文件指令
f.close() # 关闭文件,回收操作系统的资源

强调:一定要在程序结束前关闭打开的文件

上下文管理:

with open(‘文件路径‘,mode=‘打开模式‘,encoding=‘编码表‘) as f:   
  pass

with结束后会自动关闭文件

4 文件的打开模式

r:只读模式

w:只写模式

a:只追加模式

5 控制读写文件单位的方式(必须与r/w/a连用)

t:文本模式(默认的),一定要指定encoding参数

优点;操作系统会将硬盘中的二进制数字解码城unicode然后返回

强调::只针对文本文件才会有效

whit open(‘a.txt‘,mode=‘rt‘,encoding = ‘utf-8‘ ) as f:
    data = f.read()
    print(data,type(data))

with open(‘f.png‘,‘mode=‘‘rt,encoding = ‘utf-8‘)as f:
    data = f.read()

二进制模式,一定不能制定encoding参数

with open(‘q.png‘,‘rb‘)as f:
    data = f.read()
    print(data,type(data))

with open(‘a.txt‘,mode = ‘rb‘) as f:
    data = f.read()
    print(data,type(data))
    print(data.decode(‘utf-8‘))

r: 只读模式L(默认的)

1当文件不存在是,会报错

2 当文件存在时,文件指针指向文件的开头

with open(‘a.txt‘,mode=‘rt‘,encoding=‘utf-8‘) as f:
    res1=f.read()
    print(‘111===>‘,res1)
    res2=f.read()
    print(‘222===>‘,res2)

with open(‘a.txt‘,mode=‘rt‘,encoding=‘utf-8‘) as f:
    print(f.read())
    print(f.readable())
    print(f.writable())
    print(f.readline())
    print(f.readline())

with open(‘a.txt‘,mode=‘rt‘,encoding=‘utf-8‘) as f:
    for line in f:
        print(line)

with open(‘a.txt‘,mode=‘rt‘,encoding=‘utf-8‘) as f:
    l=[]
    for line in f:
        l.append(line)
        print(l)
        print(f.readlines()        

w: 只写模式

1 当文件不存在时,新建一个空文档

2 当文件存在时,清空文件内容,文件指针跑到文件的开头

with open(‘c.txt‘,mode=‘wt‘,encoding=‘utf-8‘) as f:
    print(f.readable())
    print(f.writable())
    print(f.read())

    f.write(‘哈哈哈\n‘)
    f.write(‘你愁啥\n‘)
    f.write(‘瞅你咋地\n‘)

    f.write(‘1111\n2222\n333\n4444\n‘)

    info=[‘egon:123\n‘,‘alex:456\n‘,‘lxx:lxx123\n‘]
    for line in info:
        f.write(line)
        f.writelines(info)

with open(‘c.txt‘,mode=‘rb‘) as f:
    print(f.read())

with open(‘c.txt‘,mode=‘wb‘) as f:
    f.write(‘哈哈哈\n‘.encode(‘utf-8‘))
    f.write(‘你愁啥\n‘.encode(‘utf-8‘))
    f.write(‘瞅你咋地\n‘.encode(‘utf-8‘))

a: 只追加写模式

1 当文件不存时,新建一个空文档,文件指针跑到文件的末尾
2 当文件存在时,文件指针跑到文件的末尾

with open(‘c.txt‘,mode=‘at‘,encoding=‘utf-8‘) as f:
    print(f.readable())
    print(f.writable())
    f.write(‘虎老师:123\n‘)

在文件打开不关闭的情况下,连续的写入,下一次写入一定是基于上一次写入指针的位置而继续的

with open(‘d.txt‘,mode=‘wt‘,encoding=‘utf-8‘) as f:
    f.write(‘虎老师1:123\n‘)
    f.write(‘虎老师2:123\n‘)
    f.write(‘虎老师3:123\n‘)

with open(‘d.txt‘,mode=‘wt‘,encoding=‘utf-8‘) as f:
    f.write(‘虎老师4:123\n‘)

with open(‘d.txt‘,mode=‘at‘,encoding=‘utf-8‘) as f:
    f.write(‘虎老师1:123\n‘)
    f.write(‘虎老师2:123\n‘)
    f.write(‘虎老师3:123\n‘)

with open(‘d.txt‘,mode=‘at‘,encoding=‘utf-8‘) as f:
    f.write(‘虎老师4:123\n‘)

原文地址:https://www.cnblogs.com/ouyang99-/p/10290113.html

时间: 2024-10-18 04:29:07

06 Python字符编码与文件处理的相关文章

python字符编码、文件处理、函数

一.字符编码1.什么是字符编码 把字符转换成计算机可识别的机器码(0,1)的过程,称之为字符编码. 2.字符编码的类型 1)现代计算机起源于美国,最早诞生也是基于英文考虑的ASCII ASCII:一个Bytes(字节)代表一个字符(英文字符.键盘上的所有其它字符),1Bytes=8bit,8bit可以表示为2的8次方种变化,即可以表示256个字符. ASCII最初只用了后攻位,127个数字,已经完全能够代表键盘上所有的字符了(英文字符/键盘的所有其他字符),后期将拉丁文也编码进了ASCII表,占

python基础(三)----字符编码以及文件处理

字符编码与文件处理 一.字符编码 由字符翻译成二进制数字的过程 字符--------(翻译过程)------->数字 这个过程实际就是一个字符如何对应一个特定数字的标准,这个标准称之为字符编码. 字符编码的发展史 阶段一:现代计算机起源于美国,最早诞生也是基于英文考虑的ASCII ASCII:一个Bytes代表一个字符(英文字符/键盘上的所有其他字符),1Bytes=8bit,8bit可以表示0-2**8-1种变化,即可以表示256个字符 ASCII最初只用了后七位,127个数字,已经完全能够代

python 字符编码处理问题总结 彻底击碎乱码!

Python中经常遇到这样的字符编码问题,尤其在处理网页源码时(特别是爬虫中): UnicodeDecodeError: 'XXX' codec can't decode bytes in position 12-15: illegal multibyte... 下面以汉字'哈'来解释作示例解释所有的问题,汉字"哈"的各种编码如下: 1  UNICODE(UTF8-16): 0xC854 2  UTF-8: 0xE59388 3  GBK: 0xB9FE 除此之外还有如gb2312,

Python字符编码详解(转)

1. 字符编码简介 1.1. ASCII ASCII(American Standard Code for Information Interchange),是一种单字节的编码.计算机世界里一开始只有英文,而单字节可以表示256个不同的字符,可以表示所有的英文字符和许多的控制符号.不过ASCII只用到了其中的一半(\x80以下),这也是MBCS得以实现的基础. 1.2. MBCS 然而计算机世界里很快就有了其他语言,单字节的ASCII已无法满足需求.后来每个语言就制定了一套自己的编码,由于单字节

python6期 字符编码与文件处理

字符编码与文件处理 一    了解字符编码的储备知识 python解释器和文件本编辑的异同      相同点:python解释器是解释执行文件内容的,因而python解释器具备读py文件的功能,这一点与文本编辑器一样 不同点:文本编辑器将文件内容读入内存后,是为了显示/编辑,而python解释器将文件内容读入内存后,是为了执行(识别python语法) 二  什么是字符编码 所谓的字符编码就是让计算机读懂人类的字符 必须经过一个过程: 字符--------(翻译过程)------->数字 这个过程

python字符编码惯用法

本文总结在实际应用中遇到的python字符编码问题,制定一套编码相关的约定,避免编码上的错误. 在写猥琐宝典时需要总结soj上做过的题,准备在总结过程中顺便写一个soj上的题解.题解使用python可读,也就是python可以直接eval的格式,以便于处理.写题解老是copy soj上的题目id,title不是太方便,所以就准备自动生成一个空的题解,里面包含了我做过的题.然而直接从soj上只能拿到自己过了的题的id列表,缺乏其它信息.缺乏的信息可以抽象为soj数据库,其中包含了一个以id为主键的

Python-字典、集合、字符编码、文件操作整理-Day3

1.字典 1.1.为什么有字典: 有个需求,存所有人的信息 这时候列表就不能轻易的表示完全names = ['stone','liang'] 1.2.元组: 定义符号()t = (1,2,3)tuple 是元组的意思列表与元组不一样的地方是它 元组不可以修改元组其实跟列表差不多,也是存一组数,只不是它一旦创建,便不能再修改,所以又叫只读列表 语法 names = ("alex","jack","eric") 它只有2个方法,一个是count,一个

第七章、Python字符编码

第七章.Python字符编码 一.定义 计算机中储存的信息都是用二进制数表示的,而我们在屏幕上看到的英文.汉字等字符是二进制数转换之后的结果.通俗的说,按照何种规则将字符存储在计算机中,如'a'用什么表示,称为"编码":反之,将存储在计算机中的二进制数解析显示出来,称为"解码",如同密码学中的加密和解密.在解码过程中,如果使用了错误的解码规则,则导致'a'解析成'b'或者乱码. 字符(Character):是一个信息单位,在计算机里面,一个中文汉字是一个字符,一个英

Python字符编码很难吗?今天一文带你深入!从此不再疑惑!

不论你是有着多年经验的 Python 老司机还是刚入门 Python 不久,你一定遇到过UnicodeEncodeError.UnicodeDecodeError 错误,每当遇到错误我们就拿着 encode.decode 函数翻来覆去的转换,有时试着试着问题就解决了,有时候怎么试都没辙,只有借用 Google 大神帮忙,但似乎很少去关心问题的本质是什么,下次遇到类似的问题重蹈覆辙,那么你有没有想过一次性彻底把 Python 字符编码给搞懂呢? 完全理解字符编码 与 Python 的渊源前,我们有