python之urllib模块和requests模块

一、urllib模块

python标准库自带的发送网络请求的模块。

# 用python怎么打开浏览器,发送接口请求
import urllib
from urllib.request import urlopen
from urllib.parse import urlencode
# url="http://www.nnzhp.cn/archives/527"
# res=urlopen(url).read()#返回的数据是二进制类型,怎么转换成字符串?,其实就是get请求
# print(res.decode())#encode()转换成二进制,decode()转换成字符串
# f=open(‘a.html‘,‘w‘,encoding=‘utf-8‘)#打开一个文件
# f.write(res.decode())#将网站上请求到的数据写入到文件中
# f.close()

url="http://api.nnzhp.cn/api/user/login"
data={"username":"niuhanyang","passwd":"aA123456"}
data=urlencode(data)#将参数拼接起来,username=niuhanyang&passwd=aA123456
res=urlopen(url,data.encode()).read()
print(res.decode())

import json
import jsonpath
# 从接口数据中获取某个字段值,从json文件中获取数据,loads()将字符串转换成字典类型
dict=json.loads(res.decode())
print(dict)
# print(dict[‘login_info‘][‘sign‘])
# print(jsonpath.jsonpath(dict,expr=‘$.[login_info].[sign]‘))
print(jsonpath.jsonpath(dict,expr=‘$..sign‘))#不管字典有多少层,获取到字典中的值

二、requests模块

requests模块是基于urllib模块开发,用于发送http请求。

import requests
#向接口发送请求,获取返回的数据
#get请求
# url="http://XXXX/api/user/stu_info"
# data={‘stu_name‘:‘lyh‘}
# res=requests.get(url,params=data,cookies={‘k1‘:‘v1‘,‘k2‘:‘v2‘},headers={‘kk1‘:‘vv1‘,‘kk2‘:‘vv2‘})
# print(res.text)

#post请求
url="XXX/api/user/login"
data={"username":"liuyihan","passwd":"aA123456"}
res=requests.post(url,params=data)
print(res.json())#返回的是一个字典
print(res.text)#返回的是一个字符串

url="XXX/api/file/file_upload"
res=requests.post(url,files={‘file‘:open(‘a.html‘,‘rb‘)})
print(res.json)

原文地址:https://www.cnblogs.com/balllyh/p/10398388.html

时间: 2024-10-08 13:45:12

python之urllib模块和requests模块的相关文章

模块讲解---time模块,datetime模块,random模块,hashlib模块和hmac模块,typing模块,requests模块,re模块

目录 1. 包 2. time模块 ??1. 优先掌握 2. 了解 3. datetime模块 ??1. 优先掌握 4. random模块 ??1. 优先掌握 ??2. 了解 5. hashlib模块和hmac模块 6. typing模块 7. requests模块 8. re模块 ??1. re模块的正则表达式的元字符和语法 ??2. 贪婪模式和非贪婪模式 ??3. 匹配邮箱实例 ??4. re模块中的常用功能函数 ??5. 修饰符 re.S ??6. 补充 目录 \1. 包 1. 优先掌握

【Rollo的Python之路】Python 爬虫系统学习 (二) Requests 模块学习

Requests模块学习: 1.0  Requests 初识 Requests 模块是一个第三方的库,首先我们要安装Requests.用pip安装,先看一下pip是哪个python 的版本. pip --version 然后用pip安装就OK pip install requests 开始要导入 Requests 模块 import requests 然后我们试一下: import requests results = requests.get('https://www.baidu.com')

Python之网络编程(requests模块)

一.requests模块的基本方法 import requests 1.res = requests.get(url,params={'stu_name':'小黑'})   #发送get请求,传参k-v形式 2.data={'user':'useraccount','pwf':'password'} res = requests.post(url,data=data)      #发送post请求,传参k-v形式 3.data={"name":"requests_name&q

Python使用lxml模块和Requests模块抓取HTML页面的教程

Web抓取Web站点使用HTML描述,这意味着每个web页面是一个结构化的文档.有时从中 获取数据同时保持它的结构是有用的.web站点不总是以容易处理的格式, 如 csv 或者 json 提供它们的数据. 这正是web抓取出场的时机.Web抓取是使用计算机程序将web页面数据进行收集 并整理成所需格式,同时保存其结构的实践. lxml和Requestslxml(http://lxml.de/)是一个优美的扩展库,用来快速解析XML以及HTML文档 即使所处理的标签非常混乱.我们也将使用 Requ

python urllib和requests模块

urllib模块是python自带的,直接调用就好,用法如下: 1 #处理get请求,不传data,则为get请求 2 import urllib 3 from urllib.request import urlopen 4 from urllib.parse import urlencode 5 url='http://127.0.0.1:1990/login' 6 data={"username":"admin","password":123

python网络编程----requests模块

python访问网站可以用标准模块--urllib模块(这里省略),和requests(安装-pip install requests)模块,requests模块是在urllib的基础上进行的封装,比urllib模块功能更强到,易用 import json,requests #发送get请求 url = 'http://api.nnzhp.cn/api/user/stu_info?stu_name=小黑马' req = requests.get(url) #发送get请求 print(req.t

Python高手之路【八】python基础之requests模块

1.Requests模块说明 Requests 是使用 Apache2 Licensed 许可证的 HTTP 库.用 Python 编写,真正的为人类着想. Python 标准库中的 urllib2 模块提供了你所需要的大多数 HTTP 功能,但是它的 API 太渣了.它是为另一个时代.另一个互联网所创建的.它需要巨量的工作,甚至包括各种方法覆盖,来完成最简单的任务. 在Python的世界里,事情不应该这么麻烦. Requests 使用的是 urllib3,因此继承了它的所有特性.Request

爬虫基础之requests模块

1. 爬虫简介 1.1 概述 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本. 1.2 爬虫的价值 在互联网的世界里最有价值的便是数据, 谁掌握了某个行业的行业内的第一手数据, 谁就是该行业的主宰. 掌握了爬虫技能, 你就成了所有互联网信息公司幕后的老板, 换言之,它们都在免费为你提供有价值的数据. 1.3 robots.txt协议 如果自己的门户网站中的指定页面中的数据不想让爬虫程序爬取到的话,那么

爬虫(四):requests模块

1. requests模块 1.1 requests简介 requests 是一个功能强大.简单易用的 HTTP 请求库,比起之前用到的urllib模块,requests模块的api更加便捷.(本质就是封装了urllib3) 可以使用pip install requests命令进行安装,但是很容易出网络问题,所以我找了下国内的镜像源来加速. 然后就找到了豆瓣的镜像源: pip install 包名 -i http://pypi.douban.com/simple/ --trusted-host