Requests库使用的简单实例

  1、爬取单个京东商品信息实例

import requests
url = ‘https://item.jd.com/26809739632.html‘
try:
    r = requests.get(url)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print((r.text[:1000]))
except:
    print(‘爬取失败!‘)

  2、爬取单个亚马逊商品信息实例

  在引用爬取京东商品信息实例的代码时出现错误,例如我的r.status_code不是200,而是504,则是申请访问失败

  通过查看headers时会发现‘User-Agent‘: ‘python-requests/2.22.0‘,这就是告诉亚马逊网站我是通过python的requests库访问你的,而亚马逊网站不支持这样访问

  故我们要通过浏览器去访问亚马逊网站,从而我们需要修改‘User-Agent‘后面的内容,采用如下方法:

import requests
url =‘https://www.amazon.cn/gp/product/B07S8VZ8HL‘
try:
    # Mozilla/5.0标准的浏览器身份标识字段
    kv = {‘user-agent‘: ‘Mozilla/5.0‘}
    r = requests.get(url,headers=kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    # print(r.request.headers)
    print(r.text[1000:2000])
except:
    print(‘爬取失败!‘)

  3、百度搜索关键词

import requests
keyword = ‘Python‘
try:
    #修改键值对
    kv = {‘wd‘:keyword}
    r = requests.get(‘http://www.baidu.com/s‘,params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print(‘爬取失败!‘)

  4、爬取网页图片并存储

import requests
import os
url = ‘http://image.ngchina.com.cn/userpic/99679/2019/0615112328996793386.jpeg‘
root = ‘E://pics//‘
path = root + url.split(‘/‘)[-1]
try:
#如果根目录上没有这个文件夹,那么就创建一个
    if not os.path.exists(root):
        os.mkdir(root)
    if not os.path.exists(path):
        r = requests.get(url)
        with open(path,‘wb‘) as f:
            f.write(r.content)
            f.close()
            print(‘文件保存成功!‘)
    else:
        print(‘文件已存在‘)
except:
    print(‘爬取失败!‘)

原文地址:https://www.cnblogs.com/fb1704011013/p/11107968.html

时间: 2024-10-05 23:26:15

Requests库使用的简单实例的相关文章

requests库,简明使用教程(python)

Requests库为python的外部库,话不多话,直接开干吧! 首先是安装requests库,很简单不说了. 文件,引入requests库: import requests 下面来看一个简单的例子吧: #一个最简单的爬虫小程序,这里只到获得源html文件结束 import requestsurl1="https://live.500.com/" #ISO-8859-1url2="https://www.baidu.com/" #ISO-8859-1url3=&qu

Python:requests库、BeautifulSoup4库的基本使用(实现简单的网络爬虫)

Python:requests库.BeautifulSoup4库的基本使用(实现简单的网络爬虫) 一.requests库的基本使用 requests是python语言编写的简单易用的HTTP库,使用起来比urllib更加简洁方便. requests是第三方库,使用前需要通过pip安装. pip install requests 1.基本用法: import requests #以百度首页为例 response = requests.get('http://www.baidu.com') #res

Requests库入门实例

了解了Requests库的基本用法,附上一篇理论链接https://www.cnblogs.com/hao11/p/12593419.html 我们就可以做一些小实例了 1.亚马逊商品的爬取 首先用get方法对亚马逊网站发送请求,然后看返回的状态码,此处503不是200,表明没有成功, 然后要看text内容,首先检查编码格式,header中不存在,用备用的替代,然后看到text中  For information about migrating to our APIs refer to our

Requests 库的使用

Python 的标准库 urllib 提供了大部分 HTTP 功能,但使用起来较繁琐.通常,我们会使用另外一个优秀的第三方库:Requests,它的标语是:Requests: HTTP for Humans. Requests 提供了很多功能特性,几乎涵盖了当今 Web 服务的需求,比如: 浏览器式的 SSL 验证 身份认证 Keep-Alive & 连接池 带持久 Cookie 的会话 流下载 文件分块上传 下面,我们将从以下几个方面介绍 Requests 库: HTTP 请求 HTTP 响应

python中requests库使用方法详解

一.什么是Requests Requests 是?ython语?编写,基于urllib,采?Apache2 Licensed开源协议的 HTTP 库.它? urllib 更加?便,可以节约我们?量的?作,完全满?HTTP测试需求. ?句话--Python实现的简单易?的HTTP库 二.安装Requests库 进入命令行win+R执行 命令:pip install requests 项目导入:import requests 三.各种请求方式 直接上代码,不明白可以查看我的urllib的基本使用方法

requests库的基础使用

1.requests简介 Requests是一个优雅而简单的Python HTTP库,专为人类而构建,requests的使用方式非常的简单.直观.人性化,让程序员的精力完全从库的使用中解放出来. Requests的官方文档同样也非常的完善详尽,而且少见的有中文官方文档:http://cn.python-requests.org/zh_CN/latest/. 英文文档:http://docs.python-requests.org/en/master/api/ 首先打开requests库的源码 d

requests库结合selenium库共同完成web自动化和爬虫工作

我们日常工作中,单纯的HTTP请求,程序员都倾向于使用万能的python Requests库.但大多数场景下,我们的需求页面不是纯静态网页,网页加载过程中伴随有大量的JS文件参与页面的整个渲染过程,且页面的每一步操作可能都能找到异步加载XHR的影子.所以Requests库不是万能的,Requests-Html库就能解决一部分问题,前提是您知道这个过程加载了哪些js文件.小爬的实际工作中,更倾向于Requests+selenium的模式来完成整个网页信息的爬取. 能用Requests库直接请求获得

spark学习进度6-Python爬取数据的四个简单实例

今天本来想把昨天安装的intellij配置好,但是一直显示没有网络,网上查了相关资料也没有查出来解决办法. 然后暂停了intellij的配置,开始做了几个Python爬取简单数据的实例,先做了几个最简单的,以后再加大难度(用idle编码): (1)京东商品页面爬取: 链接:https://item.jd.com/2967929.html 代码解析: 首先r是一个response对象: r.status_code返回一个值,如果是200的话则正常,如果时候503的话,则抛出异常,调用该方法的目的是

jQuery Datatable 实用简单实例

目标: 使用jQuery Datatable构造数据列表,并且增加或者隐藏相应的列,已达到数据显示要求.同时,jQuery Datatable强大的功能支持:排序,分页,搜索等. Query Datatable能良好支持数据完全加载到本地后构建数据列表,排序.分页.搜索等功能就会自带,不需要我们去关心,在此主要说明通过后台动态的加载数据,已达到在大数据面前提高效率的效果. 1. 通过后台进行分页 2. 通过后台进行排序 3. 通过后台进行搜索 具体使用方法: 1. 首先构建我们需要的数据列表,以