---恢复内容开始---
requests库的7个主要方法
| 方法 | 描述 |
|
requests.request() |
构造一个请求，支撑以下各方法的基础方法 |
| requests.get() | 获取HTML网页的主要方法，对应于HTTP的GET |
| requests.head() | 获取HTML网页头信息的方法，对应于HTTP的HEAD |
| requests.post() | 向HTML网页提交POST请求的方法，对应于HTTPde POST |
| requests.put() | 向HTML网页提交PUT请求的方法，对应于HTTP的PUT |
| requests.patch() | 向HTML网页提交局部修改请求，对应于HTTP的PATCH |
| requests.delete() | 向HTTP页面提交删除的请求，对应于HTTP的DELETE |
爬取网页的通用代码框架
import requests
def getHTMLText(url):
try:
r=requests.get(url,timeout=30)
r.raise_for_status()#如果状态不是200，引发HTTPError异常
r.encoding=r.apparent_encoding
return r.text
except:
return "产生异常"
if __name__=="__main__":
url="http://www.baidu.com"
print(getHTMLText(url))
连接有风险，异常处理很重要
robots协议 基本语法
#注释 *代表所有 / 代表根目录
user-agent: *
Disallow: /
访问亚马逊网页商品
查看头部信息r.request.headers user_agent字段为python-requests被拒绝访问，因此修改头部信息user-agent字段为模拟浏览器首先构造一个键值对
kv={‘user-agent‘:‘Mozilla/5.0‘} #重新定义user-agent的内容
通过headers字段让代码模拟浏览器放亚马逊服务器提供HTTP请求
访问亚马逊网页全代码
import requests
url = "https://www.amazon.cn/gp/product/B01M8L5Z3Y"
try:
kv={‘user-agent‘:‘Mozilla/5.0‘} #标准浏览器
r=requests.get(url,headers=kv)
r.raise_for_status()
r.encoding=r.apparent_encoding
print(r.text[1000:2000])
except:
print("爬取失败")
百度，360搜索关键字提交
百度搜索全代码
import requests
keyword = ‘python‘
try:
kv={‘wd‘:keyword}
r = requests.get("http://www.baidu.com/s",params=kv)
r.raise_for_status
print(len(r.text))
except:
print("爬取失败")
360搜索代码只需将键值对中的键‘wd‘改为‘q‘
网络图片的爬取和存储
若 一个url链接是以.jpg结尾的，例如http://www.example.com/picture.jpg他就是一个图片链接，且是一个文件
图片爬取全代码
import requests
import os
url =‘http://image.nationalgeographic.com.cn/2017/0211/201702111061910157.jpg‘
root="D://pics//"
path=root+url.split(‘/‘)[-1]
try:
if not os.path.exists(root):#判断当前根目录是否存在，如果根目录不存在，则建立目录
os.mkdir(root)
if not os.oath.exists(path):#判断文件是否存在，文件不存在用get方式从网上获取相关文件
r=requests.get(url)
with open(path,‘wb‘) as f:
f.write(r.content)
f.close()
print("文件保存成功")
else:
print("文件已存在")
except:
print("爬取失败")
IP地址归属地的自动查询
import requests
url = "http://m.ip138.com/ip.asp?ip="
try:
r=requests(url+‘202.204.80.112‘)
r.raise_for_status()
r.encoding=r.apparent_encoding
print(r.text[-500:])
except:
print("爬取失败")
每一个API都对应一个URL，以爬虫的视角看待网络内容
BeautifulSoup库
demo.html
import requests
r = requests.get("http://python123.io/ws/demo.html")
demo = r.text
demo
BeautifulSoup库安装小测
from bs4 import BeautifulSoup soup = BeautifulSoup(demo,"html.parser") print(soup.prettify())
引用
from bs4 import BeautifulSoup import bs4
理解
BeautifulSoup 类
from bs4 import BeautifulSoup soup = BeautifulSoup(‘<htnl>data</html>‘,""html.parser") soup2 = BeautifulSoup(open(‘D://demo.html‘),"html.parser")
BeautifulSoup类对应一个HTML/XML文档的全部内容
BeautifulSoup库解析器
BeautifulSoup类的基本元素
Tag:任何存在于HTML语法中的标签都可以用soup.<tag>访问获得，当html文档中存在多个相同<tag>对应内容时，soup.<tag>返回第一个。
Name:每个<tag>都有自己的名字，通过<tag>.name获取，字符串类型。
Attributes:一个<tag>可以有0个或多个属性，字典类型。
Navigablestring:可以跨越多个层次。
Comment:特殊类型（注释）。
基于bs4库的HTML内容遍历方法
<>.....</>构成了所属关系，形成了标签的属性结构
标签树的下行遍历
for child in soup.body.children:
print(child) #遍历儿子节点
for child in soup.body.descendant:
print(child) #遍历子孙节点
标签树的上行遍历
soup = BeautifulSoup(demo,"html.parser")
for parent in soup.a.parents:
if parent is None:
print(parent)
else:
print(parent.name)
遍历所有先辈节点，包括soup本身，所以要区别判断。
运行结果
p body html [document]
标签树的平行遍历
平行遍历的条件：所有的平行遍历必须发生在同一个父节点下，如果不是同一个父亲节点下的标签之间不构成平行遍历关系。
注意：
在标签树中，尽管树形结构采用的是标签的形式来组织，但是标签之前的Navigablestring也构成了标签树的节点。即任何一个节点的平行标签他的儿子标签是可能存在Navigablestring类型的，所以不能想当然地认为平行遍历获得的下一个节点一定是标签类型。
for sibling in soup.a.next_siblings:
print(sibling) #遍历后续节点
for sibling in soup.a..previous_siblings:
print(sibling) #遍历前序节点
基于bs4库的HTML格式输出
prettify()方法：
可以为HTML文本的标签以及内容增加换行符，也可以对每一个标签做相关处理
bs4库将任何读入的HTML或字符串都转换为utf-8编码,python3.x默认支持编码是utf-8,解析无障碍
form bs4 import BeautifulSoup soup = BeautifulSoup(demo,"html.parser") soup.prettify() print(soup.prettify())
信息标记的三种形式
XML
JSON(键值对)，
使用有类型的键值将信息组织起来，值的地方有多个地方与键相对应，采用 [ ]形式,将新的键值对作为值的一部分放在键值对中，采用{ }形式进行嵌套
YMAL:
无类型的键值对组织信息，兼职之间无“ ”，用缩进来表示所属相关关系。- 表达并列关系，| 表达整块数据，# 表示注释信息，键值对之间可以嵌套
三种信息标志形式的比较
xml:每个信息域定义相关的标签，并且采用嵌套的形式组织起来（大多数信息被标签占用）
json：键值之间用“ ”来表达类型
ymal
信息提取的一般方法
基于bs4的html内容查找方法
find_all()
等价形式：
<tag>(..)等价于<tag>.find_all(..)
soup(..)等价于soup.find_all(..)
扩展方法
实例：中国大学排名定向爬虫
代码实现
import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url): #从网络上获取大学排名网页内容
try:
r = requests.get(url,timeout = 30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def fillUnivList(ulist,html): #提取网页内容中信息到合适的数据结构
soup = BeautifulSoup(html,"html.parser")
for tr in soup.find(‘tbody‘).children:
if isinstance(tr,bs4.element.Tag):#检测标签类型，若标签类型不是bs4库定义的Tag类型将被过滤掉
tds = tr(‘td‘)
ulist.append([tds[0].string,tds[1].string,tds[3].string])
def printUnivList(ulist,num): #利用数据结构展示并输出结果
tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}" #输出结果中中文对齐问题，当中文字符宽度不够采用西文字符填充；中西文宽度不同，采用中文字符的空格填充 chr(12288)
print(tplt.format("排名","学校名称","总分",chr(12288)))
for i in range (num):
u=ulist[i]
print(tplt.format(u[0],u[1],u[2],chr(12288)))
print("Suc"+str(num))
def main():
uinfo = []
url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html"
html = getHTMLText(url)
fillUnivList(uinfo,html)
printUnivList(uinfo,20) #20univs
main()
显示结果
---恢复内容结束---
原文地址：https://www.cnblogs.com/SGzhang/p/11246387.html