python网络爬虫第三弹(<爬取get请求的页面数据>)

一.urllib库

　　urllib是python自带的一个用于爬虫的库,其主要作用就是通过代码模拟浏览器发送请求,其常被用到的子模块在

python3中的为urllib.request 和 urllib.parse,在python2中的是 urllib 和 urllib2

二.由易到难首页面所有的数据值

　　1.爬取百度首页所有的数据值

import urllib.request
import urllib.parse

url = ‘http://www.baidu.com‘

# 通过 URLopen 函数向指定的 url 发起请求,返回响应对象
reponse = urllib.request.urlopen(url)

# 通过调用响应对象中的 read 函数,返回响应回客户端的数据值(爬取到的数据)
data = reponse.read() # 返回的数据为 byte类型,并非字符串

# 打印显示爬取到的数据值
print(data)

# 补充说明

urllib函数原型:urllib.request.urlopen(url,data=None,timeout=<object
 object at 0x10af327d0>, *, cafile=None, capath=None, cadefault=False, context=None)

在上诉案例中我们只使用了该函数中的第一个参数url,在日常开发中,我们能用的只有 url 和 data 这两个参数

url参数 : 指定向哪个url发起请求
data参数: 可以将post请求中携带的参数封装成字典的形式传递给该对象

urlopen 函数返回的响应对象,相关函数调用介绍:
response.headers() : 获取响应头信息
response.getcode(): 获取响应状态码
response.geturl() : 获取请求的 url
response.read( ) : 获取响应中的数据值(字节类型)

　　2.将爬取到百度新闻首页的数据值写入文件进行存储

import urllib.request
import urllib.parse

url = ‘http://news.baidu.com/‘

response = urllib.request.urlopen(url)
# decode()作用是将响应中字节(byte) 类型的数据值转成字符串类型
data = response.read().decode()
# data 是新闻页面的整张页面信息
# print(data)
# 使用 io操作 将 data 表示的数据值以 ‘w‘权限的方式写入到 news.html 文件中

# 获取响应状态码   200
print(response.getcode())

# 获取 访问的 url
print(response.geturl())

# 获取返回头部信息
print(response.info())

# 发现这里有乱码的问题
with open(‘./news.html‘,‘w‘)as fp:
    fp.write(data)
print(‘写入完毕‘)

　　3.爬取网络上的某张图片数据,且存储到本地

import urllib.request
import urllib.parse

# 如下两行代码表示 忽略 HTTPS 证书,因为下面请求的url为https 协议的请求,如果请求不是HTTPS则该两行代码
# 可不用

import ssl
ssl._create_default_https_context = ssl._create_unverified_context

# url 为 https 协议的
url = ‘https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1536918978042&di=172c5a4583ca1d17a1a49dba2914cfb9&imgtype=0&src=http%3A%2F%2Fimgsrc.baidu.com%2Fimgad%2Fpic%2Fitem%2F0dd7912397dda144f04b5d9cb9b7d0a20cf48659.jpg‘

response = urllib.request.urlopen(url)

# 因为爬取的是图片数据值(二进制数据) ,则无需使用decode进行类型转换
data = response.read()
with open(‘./money.jpg‘,‘wb‘)as fp:
    fp.write(data)
print(‘写入文件完毕‘)

　　4.url的特性: url 必须为 ASCII编码的数据值,所以我们在爬虫代码中编写url时,如果 url中存在非 ASCII编码的

数据值,则必须对其进行 ASCII编码后,该url方可被使用

　　案例: 爬取使用百度根据指定词条搜索的页面数据(例如爬取词条为‘周杰伦‘的页面数据)



import urllib.request
import urllib.parse

if __name__ == "__main__":
    #原始url中存在非ASCII编码的值，则该url无法被使用。
    #url = ‘http://www.baidu.com/s?ie=utf-8&kw=周杰伦‘
    #处理url中存在的非ASCII数据值
    url = ‘http://www.baidu.com/s?‘
    #将带有非ASCII的数据封装到字典中，url中非ASCII的数据往往都是‘?‘后面键值形式的请求参数
    param = {
        ‘ie‘:‘utf-8‘,
        ‘wd‘:‘周杰伦‘
    }
    #使用parse子模块中的urlencode函数将封装好的字典中存在的非ASCII的数值进行ASCII编码
    param = urllib.parse.urlencode(param)
    #将编码后的数据和url进行整合拼接成一个完整可用的url
    url = url + param
    print(url)
    response = urllib.request.urlopen(url=url)
    data = response.read()
    with open(‘./周杰伦.html‘,‘wb‘) as fp:
        fp.write(data)
    print(‘写入文件完毕‘)


 


　　5通过自定义的请求对象,用于伪装爬虫程序请求的身份　


　　　　之前在讲解http常用请求头信息时，我们讲解过User-Agent参数，简称为UA，该参数的作用是用于表明本次请求载体的身份标识。如果我们通过浏览器发起的请求，则该请求的载体为当前浏览器，则UA参数的值表明的是当前浏览器的身份标识表示的一串数据。如果我们使用爬虫程序发起的一个请求，则该请求的载体为爬虫程序，那么该请求的UA为爬虫程序的身份标识表示的一串数据。有些网站会通过辨别请求的UA来判别该请求的载体是否为爬虫程序，如果为爬虫程序，则不会给该请求返回响应，那么我们的爬虫程序则也无法通过请求爬取到该网站中的数据值，这也是反爬虫的一种初级技术手段。那么为了防止该问题的出现，则我们可以给爬虫程序的UA进行伪装，伪装成某款浏览器的身份标识。


　　　　上述案例中，我们是通过request模块中的urlopen发起的请求，该请求对象为urllib中内置的默认请求对象，我们无法对其进行UA进行更改操作。urllib还为我们提供了一种自定义请求对象的方式，我们可以通过自定义请求对象的方式，给该请求对象中的UA进行伪装（更改）操作。


　　


import urllib.request
import urllib.parse

import ssl
ssl._create_default_https_context = ssl._create_unverified_context

if __name__ == "__main__":
    #原始url中存在非ASCII编码的值，则该url无法被使用。
    #url = ‘http://www.baidu.com/s?ie=utf-8&kw=周杰伦‘
    #处理url中存在的非ASCII数据值
    url = ‘http://www.baidu.com/s?‘
    #将带有非ASCII的数据封装到字典中，url中非ASCII的数据往往都是‘?‘后面键值形式的请求参数
    param = {
        ‘ie‘:‘utf-8‘,
        ‘wd‘:‘周杰伦‘
    }
    #使用parse子模块中的urlencode函数将封装好的字典中存在的非ASCII的数值进行ASCII编码
    param = urllib.parse.urlencode(param)
    #将编码后的数据和url进行整合拼接成一个完整可用的url
    url = url + param
    #将浏览器的UA数据获取，封装到一个字典中。该UA值可以通过抓包工具或者浏览器自带的开发者工具中获取某请求，从中获取UA的值
    headers={
        ‘User-Agent‘ : ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36‘
    }
    #自定义一个请求对象
    #参数：url为请求的url。headers为UA的值。data为post请求的请求参数（后面讲）
    request = urllib.request.Request(url=url,headers=headers)

    #发送我们自定义的请求（该请求的UA已经进行了伪装）
    response = urllib.request.urlopen(request)

    data=response.read()

    with open(‘./周杰伦.html‘,‘wb‘) as fp:
        fp.write(data)
    print(‘写入数据完毕‘)



原文地址：https://www.cnblogs.com/wenqi2121/p/11159175.html
				


				
时间： 2024-10-12 06:39:58 

		


		


	

	
	

		


		
python网络爬虫第三弹(<爬取get请求的页面数据>)的相关文章


								

		

			

                02. 爬取get请求的页面数据
			

		

		

									

				目录 02. 爬取get请求的页面数据 一.urllib库 二.由易到难的爬虫程序: 02. 爬取get请求的页面数据 一.urllib库 urllib是Python自带的一个用于爬虫的库,其主要作用就是可以通过代码模拟浏览器发送请求.其常被用到的子模块在Python3中的为urllib.request和urllib.parse,在Python2中是urllib和urllib2. 二.由易到难的爬虫程序: 1.爬取百度首页面所有数据值 1 #!/usr/bin/env python 2 # -*			

		

	

				

		

			

                爬虫学习 Python网络爬虫第三弹《爬取get请求的页面数据》
			

		

		

									

				爬虫学习 Python网络爬虫第三弹<爬取get请求的页面数据> 一.urllib库 urllib是Python自带的一个用于爬虫的库,其主要作用就是可以通过代码模拟浏览器发送请求.其常被用到的子模块在Python3中的为urllib.request和urllib.parse,在Python2中是urllib和urllib2. 二.由易到难的爬虫程序: 1.爬取百度首页面所有数据值 1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 #导包 4			

		

	

				

		

			

                python网络爬虫《爬取get请求的页面数据》
			

		

		

									

				一.urllib库 urllib是python自带的一个用于爬虫的库,其主要作用就是可以通过代码模拟浏览器发送请求.其常被用到的子模块在python3中的为urllib.request和urllib.parse,在python2中是urllib和urllib2. 二.由易到难的爬虫程序: 1.爬取百度首页所有数据值 #!/usr/bin/env python # -*- coding:utf-8 -*- #导包 import urllib.request import urllib.parse			

		

	

				

		

			

                【Python网络爬虫四】多线程爬取多张百度图片的图片
			

		

		

									

				最近看了女神的新剧<逃避虽然可耻但有用> 被大只萝莉萌的一脸一脸的,我们来爬一爬女神的皂片. 百度搜索结果:新恒结衣 1.下载简单页面 通过查看网页的html源码,分析得出,同一张图片共有4种链接: {"thumbURL":"http://img5.imgtn.bdimg.com/it/u=2243348409,3607039200&fm=23&gp=0.jpg", "middleURL":"http://i			

		

	

				

		

			

                Python网络爬虫（6）--爬取淘宝模特图片
			

		

		

									

				经过前面的一些基础学习,我们大致知道了如何爬取并解析一个网页中的信息,这里我们来做一个更有意思的事情,爬取MM图片并保存.网址为https://mm.taobao.com/json/request_top_list.htm.这个网址有很多页,通过在网址后添加?page=页码来进入指定的页. 为了爬取模特的图片,我们首先要找到各个模特自己的页面.通过查看网页源码,我们可以发现,模特各自的页面的特点如下: 我们可以通过查找class属性为lady-name的标签,然后取其href属性来获取各个模特各			

		

	

				

		

			

                python网络爬虫（7）爬取静态数据详解
			

		

		

									

				目的 爬取http://seputu.com/数据并存储csv文件 导入库 lxml用于解析解析网页HTML等源码,提取数据.一些参考:https://www.cnblogs.com/zhangxinqi/p/9210211.html requests请求网页 chardet用于判断网页中的字符编码格式 csv用于存储文本使用. re用于正则表达式 from lxml import etree import requests import chardet import csv import re			

		

	

				

		

			

                03.爬取get请求的页面数据
			

		

		

									

				urllib是Python自带的一个用于爬虫的库,其主要作用就是可以通过代码模拟浏览器发送请求.其常被用到的子模块在Python3中的为urllib.request和urllib.parse,在Python2中是urllib和urllib2. 二.由易到难的爬虫程序: 1.爬取百度首页面所有数据值 1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 #导包 4 import urllib.request 5 import urllib.parse			

		

	

				

		

			

                [Python]网络爬虫（三）：异常的处理和HTTP状态码的分类(转)
			

		

		

									

				先来说一说HTTP的异常处理问题.当urlopen不能够处理一个response时,产生urlError.不过通常的Python APIs异常如ValueError,TypeError等也会同时产生.HTTPError是urlError的子类,通常在特定HTTP URLs中产生. 1.URLError通常,URLError在没有网络连接(没有路由到特定服务器),或者服务器不存在的情况下产生. 这种情况下,异常同样会带有"reason"属性,它是一个tuple(可以理解为不可变的数组),			

		

	

				

		

			

                什么是Python网络爬虫？带你爬向顶峰
			

		

		

									

				首先我们来介绍一下什么是Python网络爬虫,先大概了解一下关于Python网络爬虫的相关知识点. Python作为一门入门简单,功能强大的,库类完善的语言,身受广大猿友们的喜欢.本身对Python也是非常有好感的,所以时不时的逛逛有关Python的网站啥的.通过在各大Python学习群和论坛的学习,我发现学习Python的人大部分都对网络爬虫很感兴趣.下面给各位介绍下Python的学习流程,并且会给出对应的学习教程. 第一步--学习Python 不管你有没有编程语言基础,也不管你其他语言是多厉