requests模块

一、requests模块介绍

#介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3）

#注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求

#安装：pip3 install requests

#各种请求方式：常用的就是requests.get()和requests.post()
>>> import requests
>>> r = requests.get(‘https://api.github.com/events‘)
>>> r = requests.post(‘http://httpbin.org/post‘, data = {‘key‘:‘value‘})
>>> r = requests.put(‘http://httpbin.org/put‘, data = {‘key‘:‘value‘})
>>> r = requests.delete(‘http://httpbin.org/delete‘)
>>> r = requests.head(‘http://httpbin.org/get‘)
>>> r = requests.options(‘http://httpbin.org/get‘)

#建议在正式学习requests前，先熟悉下HTTP协议
http://www.cnblogs.com/linhaifeng/p/6266327.html

二、基于GET请求

1.基本请求

import requests
response=requests.get(‘http://dig.chouti.com/‘)
print(response.text)

2、带参数的GET请求->params

#在请求头内将自己伪装成浏览器，否则百度不会正常返回页面内容
import requests
response=requests.get(‘https://www.baidu.com/s?wd=python&pn=1‘,
                      headers={
                        ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36‘,
                      })
print(response.text)

#如果查询关键词是中文或者有其他特殊符号，则不得不进行url编码
from urllib.parse import urlencode
wd=‘egon老师‘
encode_res=urlencode({‘k‘:wd},encoding=‘utf-8‘)
keyword=encode_res.split(‘=‘)[1]
print(keyword)
# 然后拼接成url
url=‘https://www.baidu.com/s?wd=%s&pn=1‘ %keyword

response=requests.get(url,
                      headers={
                        ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36‘,
                      })
res1=response.text

自己拼接GET参数

自己拼接GET参数

#上述操作可以用requests模块的一个params参数搞定，本质还是调用urlencode
from urllib.parse import urlencode
wd=‘egon老师‘
pn=1

response=requests.get(‘https://www.baidu.com/s‘,
                      params={
                          ‘wd‘:wd,
                          ‘pn‘:pn
                      },
                      headers={
                        ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36‘,
                      })
res2=response.text

#验证结果，打开a.html与b.html页面内容一样
with open(‘a.html‘,‘w‘,encoding=‘utf-8‘) as f:
    f.write(res1)
with open(‘b.html‘, ‘w‘, encoding=‘utf-8‘) as f:
    f.write(res2)

params参数的使用

params参数的使用

3、带参数的GET请求->headers

#通常我们在发送请求时都需要带上请求头，请求头是将自身伪装成浏览器的关键，常见的有用的请求头如下
Host
Referer #大型网站通常都会根据该参数判断请求的来源
User-Agent #客户端
Cookie #Cookie信息虽然包含在请求头里，但requests模块有单独的参数来处理他，headers={}内就不要放它了
#添加headers(浏览器会识别请求头,不加可能会被拒绝访问,比如访问https://www.zhihu.com/explore)
import requests
response=requests.get(‘https://www.zhihu.com/explore‘)
response.status_code #500

#自己定制headers
headers={
    ‘User-Agent‘:‘Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.76 Mobile Safari/537.36‘,

}
respone=requests.get(‘https://www.zhihu.com/explore‘,
                     headers=headers)
print(respone.status_code) #200

4、带参数的GET请求->cookies

#登录github，然后从浏览器中获取cookies，以后就可以直接拿着cookie登录了，无需输入用户名密码
#用户名:egonlin 邮箱[email protected] 密码[email protected]

import requests

Cookies={   ‘user_session‘:‘wGMHFJKgDcmRIVvcA14_Wrt_3xaUyJNsBnPbYzEL6L0bHcfc‘,
}

response=requests.get(‘https://github.com/settings/emails‘,
             cookies=Cookies) #github对请求头没有什么限制，我们无需定制user-agent，对于其他网站可能还需要定制

print(‘[email protected]‘ in response.text) #True

三、基于POST请求

1.介绍

#GET请求
HTTP默认的请求方法就是GET
     * 没有请求体
     * 数据必须在1K之内！
     * GET请求数据会暴露在浏览器的地址栏中

GET请求常用的操作：
       1. 在浏览器的地址栏中直接给出URL，那么就一定是GET请求
       2. 点击页面上的超链接也一定是GET请求
       3. 提交表单时，表单默认使用GET请求，但可以设置为POST

#POST请求
(1). 数据不会出现在地址栏中
(2). 数据的大小没有上限
(3). 有请求体
(4). 请求体中如果存在中文，会使用URL编码！

#！！！requests.post()用法与requests.get()完全一致，特殊的是requests.post()有一个data参数，用来存放请求体数据

2、发送post请求，模拟浏览器的登录行为

注：对于登录来说，应该输错用户名或密码然后分析抓包流程，用脑子想一想，输对了浏览器就跳转了，还分析个毛线，累死你也找不到包

‘‘‘
一 目标站点分析
    浏览器输入https://github.com/login
    然后输入错误的账号密码，抓包
    发现登录行为是post提交到：https://github.com/session
    而且请求头包含cookie
    而且请求体包含：
        commit:Sign in
        utf8:?
        authenticity_token:lbI8IJCwGslZS8qJPnof5e7ZkCoSoMn6jmDTsL1r/m06NLyIbw7vCrpwrFAPzHMep3Tmf/TSJVoXWrvDZaVwxQ==
        login:egonlin
        password:123

二 流程分析
    先GET：https://github.com/login拿到初始cookie与authenticity_token
    返回POST：https://github.com/session， 带上初始cookie，带上请求体（authenticity_token，用户名，密码等）
    最后拿到登录cookie

    ps：如果密码时密文形式，则可以先输错账号，输对密码，然后到浏览器中拿到加密后的密码，github的密码是明文
‘‘‘

import requests
import re

#第一次请求
r1=requests.get(‘https://github.com/login‘)
r1_cookie=r1.cookies.get_dict() #拿到初始cookie(未被授权)
authenticity_token=re.findall(r‘name="authenticity_token".*?value="(.*?)"‘,r1.text)[0] #从页面中拿到CSRF TOKEN

#第二次请求：带着初始cookie和TOKEN发送POST请求给登录页面，带上账号密码
data={
    ‘commit‘:‘Sign in‘,
    ‘utf8‘:‘?‘,
    ‘authenticity_token‘:authenticity_token,
    ‘login‘:‘[email protected]‘,
    ‘password‘:‘alex3714‘
}
r2=requests.post(‘https://github.com/session‘,
             data=data,
             cookies=r1_cookie
             )

login_cookie=r2.cookies.get_dict()

#第三次请求：以后的登录，拿着login_cookie就可以,比如访问一些个人配置
r3=requests.get(‘https://github.com/settings/emails‘,
                cookies=login_cookie)

print(‘[email protected]‘ in r3.text) #True

自动登录github（自己处理cookie信息）

自动登录github（自己处理cookie信息）

import requests
import re

session=requests.session()
#第一次请求
r1=session.get(‘https://github.com/login‘)
authenticity_token=re.findall(r‘name="authenticity_token".*?value="(.*?)"‘,r1.text)[0] #从页面中拿到CSRF TOKEN

#第二次请求
data={
    ‘commit‘:‘Sign in‘,
    ‘utf8‘:‘?‘,
    ‘authenticity_token‘:authenticity_token,
    ‘login‘:‘[email protected]‘,
    ‘password‘:‘alex3714‘
}
r2=session.post(‘https://github.com/session‘,
             data=data,
             )

#第三次请求
r3=session.get(‘https://github.com/settings/emails‘)

print(‘[email protected]‘ in r3.text) #True

requests.session()自动帮我们保存cookie信息

requests.session()自动帮我们保存cookie信息

示例：登录github

import requests
import re
#第一次请求
    # GET请求
    # 请求头
    #    - 获取token和
    #    - User-agent
    #    - cookie
# 第二次请求
    #POST请求
    #请求头
        # referer
        # User-agent
    #请求体
        #获取data
# 第三次请求，登录成功之后
    #- 请求之前自己先登录一下，看一下有没有referer
    #- 请求新的url，进行其他操作
    #- 查看用户名在不在里面
#第一次请求
response1 = requests.get(
    "https://github.com/login",
    headers = {
        "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36",
    },
)
authenticity_token = re.findall(‘name="authenticity_token".*?value="(.*?)"‘,response1.text,re.S)
r1_cookies =  response1.cookies.get_dict()
# print(r1_cookies,"cookie")  #获取到的cookie

#第二次请求
response2 = requests.post(
    "https://github.com/session",
    headers = {
        "Referer": "https://github.com/",
        "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36",
    },
    data={
            "commit":"Sign in",
            "utf8":"?",
            "authenticity_token":authenticity_token,
            "login":"oridn",
            "password":"xxxx",
zhy..azjash1234
    },
    cookies = r1_cookies
)
print(response2.status_code)
print(response2.history)  #跳转的历史状态码

#第三次请求，登录成功之后，访问其他页面
r2_cookies = response2.cookies.get_dict()  #拿上cookie，知道是你登录了，就开始访问页面
response3 = requests.get(
    "https://github.com/settings/emails",
    headers = {
        "Referer": "https://github.com/",
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36",
    },
    cookies = r2_cookies,
)
print(response3.text)
print("oridn" in response3.text)   #True返回True说明就成功了

3.补充

requests.post(url=‘xxxxxxxx‘,
              data={‘xxx‘:‘yyy‘}) #没有指定请求头,#默认的请求头:application/x-www-form-urlencoed

#如果我们自定义请求头是application/json,并且用data传值, 则服务端取不到值
requests.post(url=‘‘,
              data={‘‘:1,},
              headers={
                  ‘content-type‘:‘application/json‘
              })

requests.post(url=‘‘,
              json={‘‘:1,},
              ) #默认的请求头:application/json 

原文地址：https://www.cnblogs.com/moning/p/8295679.html

时间： 2024-10-11 21:12:25

requests模块的相关文章

第三方requests模块

requests模块 requests: 将python编译器当做浏览器使用,可以访问网站,并且接受返回的数据(字符串) 1 import requests 2 import json 3 4 # 发送http请求 5 response = requests.get("http://www.weather.com.cn/adat/sk/101010500.html") 6 response.encoding = 'utf-8' 7 result = response.text 8 pr

Python高手之路【八】python基础之requests模块

1.Requests模块说明 Requests 是使用 Apache2 Licensed 许可证的 HTTP 库.用 Python 编写,真正的为人类着想. Python 标准库中的 urllib2 模块提供了你所需要的大多数 HTTP 功能,但是它的 API 太渣了.它是为另一个时代.另一个互联网所创建的.它需要巨量的工作,甚至包括各种方法覆盖,来完成最简单的任务. 在Python的世界里,事情不应该这么麻烦. Requests 使用的是 urllib3,因此继承了它的所有特性.Request

基于python第三方requests 模块的HTTP请求类

使用requests模块构造的下载器,首先安装第三方库requests pip install requests 1 class StrongDownload(object): 2 3 def __init__(self): 4 #拿到代理iplist 5 self.iplist = ['自己想办法搞'] # 6 self.UserAgent = ['自己想办法搞'] 7 8 def get(self,url,timeout,proxy=False,num_retries=3): 9 '''ur

python之requests模块

Python标准库中提供了:urllib等模块以供Http请求,但是,它的 API 太渣了.它是为另一个时代.另一个互联网所创建的.它需要巨量的工作,甚至包括各种方法覆盖,来完成最简单的任务. 发送GET请求 import urllib.request f = urllib.request.urlopen('http://www.webxml.com.cn//webservices/qqOnlineWebService.asmx/qqCheckOnline?qqCode=424662508')

requests模块--python发送http请求

requests模块 在Python内置模块(urllib.urllib2.httplib)的基础上进行了高度的封装,从而使得Pythoner更好的进行http请求,使用Requests可以轻而易举的完成浏览器可有的任何操作.Requests 是使用 Apache2 Licensed 许可证的 基于Python开发的HTTP 库. requests使用 一.GET请求 向 https://github.com/timeline.json 发送一个GET请求,将请求和响应相关均封装在 ret 对象

python笔记8：requests模块

简介: requests是python的一个http客户端库,跟urlib.urlib2类似,requests模块是基于urlib模块开发的,代码实现更为简洁. 模块安装: pip install requests ,使用requests模块时直接import requests即可. 简单使用requests: http协议的接口,请求方式分为get和post,这2种最为常用.请求参数常用的形式有key-value.json.文件上传.接口添加cookies.headers等操作. get请求-

Learn_Day12 模块2：模块1内容补充、requests模块、xml模块

模块1内容补充: vars()    python自动设置的全局变量 在py文件开头用三引号注释,表示是对py文件本身的注释 __doc__    py文件本身的文件注释 __file__    文件路径 __package__    导入py文件(自定义模块)的位置(文件夹,目录),用"."分割 __cached__    缓存,python2版本无此属性 __name__    默认 __main__:主文件执行主函数前用作判断 json.loads(形似对象)    用于将形似列

Python requests模块学习笔记

1.Requests模块说明 Requests 是使用 Apache2 Licensed 许可证的 HTTP 库.用 Python 编写,真正的为人类着想. Python 标准库中的 urllib2 模块提供了你所需要的大多数 HTTP 功能,但是它的 API 太渣了.它是为另一个时代.另一个互联网所创建的.它需要巨量的工作,甚至包括各种方法覆盖,来完成最简单的任务. 在Python的世界里,事情不应该这么麻烦. Requests 使用的是 urllib3,因此继承了它的所有特性.Request

python requests模块详解

requests是python的一个HTTP客户端库,跟urllib,urllib2类似,那为什么要用requests而不用urllib2呢?官方文档中是这样说明的: python的标准库urllib2提供了大部分需要的HTTP功能,但是API太逆天了,一个简单的功能就需要一大堆代码. 我也看了下requests的文档,确实很简单,适合我这种懒人.下面就是一些简单指南. 插播个好消息!刚看到requests有了中文翻译版,建议英文不好的看看,内容也比我的博客好多了,具体链接是:http://cn

Python requests模块学习

import requests 下面就可以使用神奇的requests模块了! 1.向网页发送数据 >>> payload = {'key1': 'value1', 'key2': ['value2', 'value3']} >>> r = requests.get('http://httpbin.org/get', params=payload) >>> print(r.url) http://httpbin.org/get?key1=value1&a