Python爬虫连载2-reponse\parse简介

一、reponse解析

urlopen的返回对象

(1)geturl:返回网页地址

(2)info:请求反馈对象的meta信息

(3)getcode:返回的http code

from urllib import request

import chardet

"""

解析reponse

"""

if __name__ == "__main__":

    url = "https://www.baidu.com"

    rsp = request.urlopen(url)

    print("URL:{0}".format(rsp.geturl()))#网页地址

    print("================")

    print("Info:{0}".format(rsp.info()))#网页头信息

    print("================")

    print("Code:{0}".format(rsp.getcode()))#请求后返回的状态码

二、parse

1.request.date的使用

访问网络的两种方式

(1)get(2)post

2.url.parse用来解析url


from urllib import request,parse

import chardet

"""

解析reponse

"""

if __name__ == "__main__":

    url = "http://www.baidu.com/s?"

    wd = input("Input your keyword:")

    #要想使用data,需要使用字典结构

    qs = {

        "wd":wd

    }

    #转换url编码

    qs = parse.urlencode(qs)#对关键字进行编码

    fullurl = url + qs#百度搜索传入的地址是基础地址加上关键字的编码形式

    print(fullurl)

    rsp = request.urlopen(fullurl)

    html = rsp.read()

    html = html.decode()#解码

    #使用get取值保证不会出错

    print(html)

三、源码

Reptile2_ReposeAnlysis.py

https://github.com/ruigege66/PythonReptile/blob/master/Reptile2_ReposeAnlysis.py

2.CSDN:https://blog.csdn.net/weixin_44630050(心悦君兮君不知-睿)

3.博客园:https://www.cnblogs.com/ruigege0000/

4.欢迎关注微信公众号:傅里叶变换,个人公众号,仅用于学习交流,后台回复”礼包“,获取大数据学习资料

原文地址:https://www.cnblogs.com/ruigege0000/p/12185416.html

时间: 2024-10-10 17:13:58

Python爬虫连载2-reponse\parse简介的相关文章

Python爬虫连载1-urllib.request和chardet包使用方式

一.参考资料 1.<Python网络数据采集>图灵工业出版社 2.<精通Python爬虫框架Scrapy>人民邮电出版社 3.[Scrapy官方教程](http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html) 4.[Python3网络爬虫](http://blog.csdn.net/c406495762/article/details/72858983 二.前提知识 url.http协议.web前端:html\

Python爬虫连载7-cookie的保存与读取、SSL讲解

一.cookie的保存与读取 1.cookie的保存-FileCookie.Jar from urllib import request,parse from http import cookiejar #创建cookiejar实例 filename = "cookie.txt" cookie = cookiejar.MozillaCookieJar(filename) #生成cookie的管理器 cookie_handler = request.HTTPCookieProcessor

Python爬虫连载10-Requests模块、Proxy代理

一.Request模块 1.HTTP for Humans,更简洁更友好 2.继承了urllib所有的特征 3.底层使用的是urllib3 4.?开源地址:https://github.com/requests/requests 5.中文文档?:https://requests.readthedocs.io/zh_CN/latest/ 6.先安装这个包:pip install requests 7.get请求 (1)requests.get() (2)requests.request("get&

Python爬虫连载17-ItemPipeLine、中间件

一.ItemPipeLine 1.爬虫提取出的数据存入item之后,item中保存的数据需要进一步处理,比如:清洗,去重,存储等 2.pipeline需要process_item函数 (1)process_item?:spider提出来的item作为参数出入,同时传入的还有spider:此方法是必须要实现的?:必须返回一个item对象,被丢弃的item不会被之后的pipeline处理 (2)__init__:构造函数 进行一些必要的参数初始化 (3)open_spider(spider) spi

Python爬虫连载5-Proxy、Cookie解析

一.ProxyHandler处理(代理服务器) 1.使用代理IP,是爬虫的常用手段 2.获取代理服务器的地址: www.xicidaili.com www.goubanjia.com 3.代理用来隐藏真实访问中,代理不允许频繁访问某一个固定网站,所以代理一定要很多很多. 4.基本使用步骤: (1)设置代理地址 (2)创建PoxyHandler (3)创建Opener (4)安装Opener """ 使用代理访问百度首页 ? """ from ur

Python爬虫和情感分析简介

摘要 这篇短文的目的是分享我这几天里从头开始学习Python爬虫技术的经验,并展示对爬取的文本进行情感分析(文本分类)的一些挖掘结果. 不同于其他专注爬虫技术的介绍,这里首先阐述爬取网络数据动机,接着以豆瓣影评为例介绍文本数据的爬取,最后使用文本分类的技术以一种机器学习的方式进行情感分析.由于内容覆盖面巨大,无法详细道尽,这篇文章旨在给那些对相关领域只有少量或者没有接触的人一个认知的窗口,希望激发读者自行探索的兴趣. 以下的样本代码用Pyhton写成,主要使用了scrapy, sklearn两个

Python爬虫之足球小将动漫(图片)下载

??尽管俄罗斯世界杯的热度已经褪去,但这届世界杯还是给全世界人民留下了无数难忘的回忆,不知你的回忆里有没有日本队的身影?本次世界杯中,日本队的表现让人眼前一亮,很难想象,就是这样一只队伍,二十几年还是我们国家足球队的水平一样,也许还不如我们国足呢. ??足球小将(队长小翼.キャプテン翼)由日本著名动漫家高桥阳一于1981年开始连载,从此这部动漫就伴随着一代又一代的日本,甚至全世界的少年儿童成长,也在无形有形中促进了日本足球的进步.本届世界杯中,在日本与比利时的比赛中,日本球迷们高举队长小翼的画面

python爬虫总章【含源码】

用Python开发爬虫是一件很轻松愉悦的事情,因为其相关库较多,而且使用方便,短短十几行代码就可以完成一个爬虫的开发:但是,在应对具有反爬措施的网站,使用js动态加载的网站,App采集的时候就得动动脑子了:并且在开发分布式爬虫,高性能爬虫的时候更得用心设计. Python开发爬虫常用的工具总结 reqeusts:Python HTTP网络请求库: pyquery: Python HTML DOM结构解析库,采用类似JQuery的语法: BeautifulSoup:python HTML以及XML

教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神

欢迎加入Python学习交流群:535993938  禁止闲聊 ! 名额有限 ! 非喜勿进 ! 本博文将带领你从入门到精通爬虫框架Scrapy,最终具备爬取任何网页的数据的能力.本文以校花网为例进行爬取,校花网:http://www.xiaohuar.com/,让你体验爬取校花的成就感. Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.Scrapy用途广泛,可以用于数据挖掘.监测和自动化测试. Scrapy吸引人的地方在于