关于请求网页，不得不提requests这个库，这是爬虫经常用到的一个第三方库，用pip安装即可。
requests用法很多，这里只写一些基础的，其他高级功能可参考官方文档。
import requests url = ‘http://www.baidu.com‘ #这里用get方法用来请求网页，其他还有post等方法来请求网页 data = requests.get(url) print(data) #<Response [200]> print(data.text)#这里的 .text 就等同于上一篇中的 read() #此时同样打印出网页源码 #<!DOCTYPE html><!--STATUS OK--><html><head><meta http-equiv="content-type" content="text/html;charset=utf-8"><meta http-equiv="
关于requests还有一些其他用法对我们已有的爬虫程序也很有用。
code = data.encoding#获取页面的编码方式 print(code) #utf-8 page_status = data.status_code#获取状态码，检查是否请求成功 print(page_status) #200
这些是requests的基础用法,爬虫开始掌握这些简单的用法就可以啦。后面还会继续对requests进行总结。
时间： 2024-10-14 05:55:48