python3 requests模块 基本

  1 import requests
  2 import json
  3
  4
  5 # 1、HTTP方法
  6 requests.get(‘https://github.com/timeline.json‘)    #GET请求
  7 requests.post(‘http://httpbin.org/post‘)            #POST请求
  8 requests.put(‘http://httpbin.org/put‘)              #PUT请求
  9 requests.delete(‘http://httpbin.org/delete‘)        #DELETE请求
 10 requests.head(‘http://httpbin.org/get‘)             #HEAD请求
 11 requests.options(‘http://httpbin.org/get‘)          #OPTIONS请求
 12
 13
 14 # 2、Make a Request
 15 url = ‘http://www.baidu.com‘
 16 req = requests.get(url)
 17 print(req.text)
 18
 19
 20 # 3、response属性
 21 import requests
 22 response = requests.get(‘http://www.baidu.com/s‘, params={‘wd‘: ‘python‘})    # GET参数实例
 23 print(response.url)
 24 print(response.text)          #返回的内容,字符串形式
 25 print(response.status_code)   #返回码
 26 print(response.content)       #返回的内容,二进制形式
 27 print(response.headers)
 28 print(response.headers[‘content-type‘])
 29 print(response.headers.get(‘content-type‘))
 30 print(response.encoding)
 31 print(response.json())
 32 response.raise_for_status()   #抛出异常 非200响应
 33
 34
 35 # 4、get带参数
 36 payload = {‘key1‘: ‘value1‘, ‘key2‘: ‘value2‘}
 37 r = requests.get(‘http://httpbin.org/get‘, params=payload)
 38 print(r.url)
 39 print(r.text)
 40
 41
 42 # 5、数据流方式读取结果
 43 r = requests.get(‘https://api.github.com/events‘, stream=True)
 44 print(r.raw)  #不解码
 45 print(r.raw.read(10))
 46 with open(‘output.txt‘, ‘wb‘) as fd:
 47     for chunk in r.iter_content(chunk_size=128):   #解码
 48         fd.write(chunk)
 49
 50
 51 # 6、自定义头信息
 52 url = ‘https://api.github.com/some/endpoint‘
 53 headers = {‘user-agent‘: ‘my-app/0.0.1‘}  # 字符串,字节串,Unicode
 54 r = requests.get(url, headers=headers)
 55
 56
 57 # 7、post数据:字典
 58 payload = {‘key1‘: ‘value1‘, ‘key2‘: ‘value2‘}
 59 r = requests.post("http://httpbin.org/post", data=payload)
 60 print(r.text)
 61
 62
 63 # 8、post数据:列表
 64 payload = ((‘key1‘, ‘value1‘), (‘key1‘, ‘value2‘))
 65 r = requests.post(‘http://httpbin.org/post‘, data=payload)
 66 print(r.text)
 67
 68
 69 # 9、post数据:字符串
 70 url = ‘http://httpbin.org/post‘
 71 payload = {‘some‘: ‘data‘}
 72 r = requests.post(url, data=json.dumps(payload))
 73 print(r.text)
 74
 75
 76 # 10、post数据:字符串
 77 url = ‘http://httpbin.org/post‘
 78 payload = {‘some‘: ‘data‘}
 79 r = requests.post(url, json=payload)
 80 print(r.text)
 81
 82
 83 # 11、上传多部分编码的文件
 84 url = ‘http://httpbin.org/post‘
 85 files = {‘file‘: open(‘a.xls‘, ‘rb‘)}
 86 r = requests.post(url, files=files)
 87 print(r.text)
 88
 89
 90 # 12、上传多部分编码的文件
 91 url = ‘http://httpbin.org/post‘
 92 files = {‘file‘: (‘a.xls‘, open(‘a.xls‘, ‘rb‘), ‘application/vnd.ms-excel‘, {‘Expires‘: ‘0‘})}
 93 r = requests.post(url, files=files)
 94 print(r.text)
 95
 96
 97 # 13、字符串当文件发
 98 url = ‘http://httpbin.org/post‘
 99 files = {‘file‘: (‘report.csv‘, ‘some,data,to,send\nanother,row,to,send\n‘)}
100 r = requests.post(url, files=files)
101 print(r.text)
102
103
104 # 14、cookies
105 url = ‘http://httpbin.org/cookies‘
106 cookies = dict(cookies_are=‘working‘)
107 r = requests.get(url, cookies=cookies)
108 print(r.text)
109
110
111 # 15、cookies
112 jar = requests.cookies.RequestsCookieJar()
113 jar.set(‘tasty_cookie‘, ‘yum‘, domain=‘httpbin.org‘, path=‘/cookies‘)
114 jar.set(‘gross_cookie‘, ‘blech‘, domain=‘httpbin.org‘, path=‘/elsewhere‘)
115 url = ‘http://httpbin.org/cookies‘
116 r = requests.get(url, cookies=jar)
117 print(r.text)
118
119
120 # 16、timeout
121 requests.get(‘http://github.com‘, timeout=0.001)

原文地址:https://www.cnblogs.com/gundan/p/8295837.html

时间: 2024-07-31 14:20:42

python3 requests模块 基本的相关文章

python3 requests模块

# coding:gbk import requests response = requests.get('http://www.sina.com.cn/') print(response) print(response.status_code) # 200正常,404找不到网页,503等5开头的是人家网站内部错误 print(response.content) 爬虫实例 import re import requests from multiprocessing import Pool def

[实战演练]python3使用requests模块爬取页面内容

本文摘要: 1.安装pip 2.安装requests模块 3.安装beautifulsoup4 4.requests模块浅析 + 发送请求 + 传递URL参数 + 响应内容 + 获取网页编码 + 获取响应状态码 5.案例演示 后记 1.安装pip 我的个人桌面系统用的linuxmint,系统默认没有安装pip,考虑到后面安装requests模块使用pip,所以我这里第一步先安装pip. $ sudo apt install python-pip 安装成功,查看PIP版本: $ pip -V 2.

python3 爬虫之requests模块使用总结

Requests 是第三方模块,如果要使用的话需要导入.Requests也可以说是urllib模块的升级版,使用上更方便. 这是使用urllib的例子. import urllib.request import json url = 'http://www.weather.com.cn/data/sk/101190408.html' res = urllib.request.urlopen(url)#发送请求 result = res.read().decode()#获取结果,结果是byte类型

Learn_Day12 模块2:模块1内容补充、requests模块、xml模块

模块1内容补充: vars()    python自动设置的全局变量 在py文件开头用三引号注释,表示是对py文件本身的注释 __doc__    py文件本身的文件注释 __file__    文件路径 __package__    导入py文件(自定义模块)的位置(文件夹,目录),用"."分割 __cached__    缓存,python2版本无此属性 __name__    默认 __main__:主文件执行主函数前用作判断 json.loads(形似对象)    用于将形似列

7Python标准库系列之requests模块

Python标准库系列之requests模块 Requests is the only Non-GMO HTTP library for Python, safe for human consumption. 官方文档:http://docs.python-requests.org/en/master/ 安装Requests模块 Requests模块官方提供了两种方式安装: pip方式安装 pip install requests 源码方式安装 git clone git://github.co

python使用requests模块完成get/post/代理/自定义header/自定义cookies

一.背景说明 由于python3的urllib与python2有不少差别,而且urllib.request请求的一些写法不太符合人的思维习惯(文档也相当难看) 所以搞得真不太想用python,直到看urllib.request文档时注意到下边这句话 比较起来requests确实比较好用,文档也当清晰:需要自己额外安装一下,但仍比较推荐使用. 1.1 适用版本 适用于python2.6.python2.7.python3.4及以上版本,参见官方说明. 我这里使用的是当前最新的python3.7.

requests模块的入门使用

学习目标: 了解 requests模块的介绍 掌握 requests的基本使用 掌握 response常见的属性 掌握 requests.text和content的区别 掌握 解决网页的解码问题 掌握 requests模块发送带headers的请求 掌握 requests模块发送带参数的get请求 1 为什么要重点学习requests模块,而不是urllib requests的底层实现就是urllib requests在python2 和python3中通用,方法完全一样 requests简单易

爬虫学习(二)requests模块的使用

一.requests的概述 requests模块是用于发送网络请求,返回响应数据.底层实现是urllib,而且简单易用,在python2.python3中通用,能够自动帮助我们解压(gzip压缩的等)网页内容. 二.requests的基本使用 1.基本使用: 安装requests模块: pip install requests 导入模块:import reqeusts 发送请求,获取响应:response = requests.get(url) 从响应中获取数据 2.方法: (1)request

第三方requests模块

requests模块 requests: 将python编译器当做浏览器使用,可以访问网站,并且接受返回的数据(字符串) 1 import requests 2 import json 3 4 # 发送http请求 5 response = requests.get("http://www.weather.com.cn/adat/sk/101010500.html") 6 response.encoding = 'utf-8' 7 result = response.text 8 pr