python解析HTML之:PyQuery库的介绍与使用

本篇大部分转载于https://www.jianshu.com/p/c07f7cd1b548

先放自已自己解析techweb一个网站图片的代码

from pyquery import PyQuery as pq

headers = {‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 ‘
                         ‘(KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36‘}

def get_info(url):
    html = requests.get(url,headers =headers,verify=False)
    d = pq(html.content)
    doc = d("div").filter(".list_con")
    doc = doc("div").filter(".picture_text")
    for tr in doc.items():
        temp =tr.find("img")
        print(temp.attr("src"))

if __name__ == "__main__":
    get_info("http://mi.techweb.com.cn/")

前言

Python关于爬虫的库挺多的,也各有所长。了解前端的也都知道, jQuery 能够通过选择器精确定位 DOM 树中的目标并进行操作,所以我想如果能用 jQuery 去爬网页那就 cool 了。

就搜了下看 Python 有没有与 DOM 相关的库什么的,还真找到了—— PyQuery

PyQuery简介

pyquery相当于jQuery的python实现,可以用于解析HTML网页等。它的语法与jQuery几乎完全相同,对于使用过jQuery的人来说很熟悉,也很好上手。

引用作者的原话就是:

“The API is as much as possible the similar to jquery.” 。

安装

使用 pip 或者 easy_install 都可以。

注意:由于 pyquery 依赖于 lxml ,要先安装 lxml ,否则会提示失败。

  1. 安装lxml:https://pypi.python.org/pypi/lxml/2.3/ (建议直接下载安装包,方便快捷);
  2. 安装pyquery:easy_install pyquery 或者pip install pyquery;
  3. 验证:输入 import pyquery 回车不报错即安装成功;

初始化

有 4 种方法可以进行初始化:

可以通过传入 字符串、lxml、文件 或者 url 来使用PyQuery。

from pyquery import PyQuery as pq
from lxml import etree

d = pq("<html></html>")#传入字符串
d = pq(etree.fromstring("<html></html>"))#传入lxml
d = pq(url=‘http://google.com/‘) #传入url
d = pq(filename=path_to_html_file) #传入文件

现在,d 就像 jQuery 中的 $ 一样了。

示例

通过一个简单的例子快速熟悉 pyquery 的用法,传入文件 example.html,内容如下:

<div>
<tr class="item-0">
<td>first section</td>
<td>1111</td>
<td>17-01-28 22:51</td>
</tr>
<tr class="item-1">
<td>second section</td>
<td>2222</td>
<td>17-01-28 22:53</td>
</tr>
</div>

python 程序:

# -*- coding: utf-8 -*-
from pyquery import PyQuery as pq#引入 PyQuery

doc = pq(filename=‘example.html‘)# 传入文件 example.html

print doc.html() # html()方法获取当前选中的 html 块

print doc(‘.item-1‘) # 相当于 class 选择器,选取 class 为 item-1 的 html 块

data = doc(‘tr‘) # 选取 <tr> 元素

for tr in data.items():# 遍历 data 中的 <tr> 元素
temp = tr(‘td‘).eq(2).text() # 选取第3个 <td> 元素中的文本块
print temp

运行结果:

# print doc.html()
<tr class="item-0">
<td>first section</td>
<td>1111</td>
<td>17-01-28 22:51</td>
</tr>
<tr class="item-1">
<td>second section</td>
<td>2222</td>
<td>17-01-28 22:53</td>
</tr>

# print doc(‘.item-1‘)
<tr class="item-1">
<td>second section</td>
<td>2222</td>
<td>17-01-28 22:53</td>
</tr>

# print tr(‘td‘).eq(2).text()
17-01-28 22:51
# print tr(‘td‘).eq(2).text()
17-01-28 22:53

操作

1、.html().text():获取相应的 HTML 块或者文本内容,

p=pq("<head><title>Hello World!</title></head>")

print p(‘head‘).html()# 获取相应的 HTML 块
print p(‘head‘).text()# 获取相应的文本内容

‘‘‘输出:
<title>hello</title>
Hello World!
‘‘‘

2、.(‘selector‘):通过选择器来获取目标内容,

d = pq("<div><p id=‘item-0‘>test 1</p><p class=‘item-1‘>test 2</p></div>")

print d(‘div‘).html()# 获取 <div> 元素内的 HTML 块
print d(‘#item-0‘).text()# 获取 id 为 item-0 的元素内的文本内容
print d(‘.item-1‘).text()# 获取 class 为 item-1 的元素的文本内容

‘‘‘输出:
<p id="item-0">test 1</p><p class="item-1">test 2</p>
test 1
test 2
‘‘‘

3、.eq(index):根据索引号获取指定元素(index 从 0 开始),

d = pq("<div><p id=‘item-0‘>test 1</p><p class=‘item-1‘>test 2</p></div>")

print d(‘p‘).eq(1).text()# 获取第二个 p 元素的文本内容,

‘‘‘输出
test 2
‘‘‘

4、.find():查找嵌套元素,

d = pq("<div><p id=‘item-0‘>test 1</p><p class=‘item-1‘>test 2</p></div>")

print d(‘div‘).find(‘p‘) # 查找 <div> 内的 p 元素
print d(‘div‘).find(‘p‘).eq(0) # 查找 <div> 内的 p 元素,输出第一个 p 元素

‘‘‘输出:
<p id="item-0">test 1</p><p class="item-1">test 2</p>
<p id="item-0">test 1</p>
‘‘‘

5、.filter():根据 class、id 筛选指定元素,

d = pq("<div><p id=‘item-0‘>test 1</p><p class=‘item-1‘>test 2</p></div>")

print d(‘p‘).filter(‘.item-1‘) # 查找 class 为 item-1 的 p 元素
print d(‘p‘).filter(‘#item-0‘) # 查找 id 为 item-0 的 p 元素

‘‘‘输出:
<p class="item-1">test 2</p>
<p id="item-0">test 1</p>
‘‘‘

6、.attr():获取、修改属性值,

d = pq("<div><p id=‘item-0‘>test 1</p><a class=‘item-1‘>test 2</p></div>")

print d(‘p‘).attr(‘id‘) # 获取 <p> 标签的属性 id
print d(‘a‘).attr(‘class‘,‘new‘)# 修改 <a> 标签的 class 属性为 new

‘‘‘输出:
item-0
<a class="new">test 2</a>
‘‘‘

7、其他操作:

.addClass(value):添加 class;

.hasClass(name):判断是否包含指定的 class,返回 True 或 False;

.children():获取子元素;

.parents():获取父元素;

.next():获取下一个元素;

.nextAll():获取后面全部元素块;

.not_(‘selector‘):获取所有不匹配该选择器的元素;

for i in d.items(‘li‘): print i.text():遍历 d 中的 li 元素;

结语

以上的操作对于日常爬取一些小数据资料,基本足够使用了。当然,PyQuery 还有很多其他内容,这里就不做说明了,如果需要了解更多关于 PyQuery 的内容的可以去查看官方文档。

官方文档是英文的,但也比较容易阅读和理解。我找到了一个中文的教程网站,这里也提供出来。

官方文档:https://pythonhosted.org/pyquery/index.html#

中文教程:http://www.geoinformatics.cn/lab/pyquery/

原文地址:https://www.cnblogs.com/wangshaowei/p/8810451.html

时间: 2024-10-08 14:30:37

python解析HTML之:PyQuery库的介绍与使用的相关文章

python 解析html基础 HTMLParser库,方法,及代码实例

HTMLParser, a simple lib as html/xhtml parser 官方解释: This module defines a class HTMLParser which serves as the basis for parsing text files formatted in HTML (HyperText Mark-up Language) and XHTML.Unlike the parser in htmllib, this parser is not base

深入学习python解析并读取PDF文件内容的方法

这篇文章主要学习了python解析并读取PDF文件内容的方法,包括对学习库的应用,python2.7和python3.6中python解析PDF文件内容库的更新,包括对pdfminer库的详细解释和应用.主要参考了一些已有的博客内容,代码. 主要思路是首先利用一个做项目的形式,描述所做的问题,运行环境,和需要安装的库,然后写代码,此代码是在python2.7中运行,然后写出在python3.6中运行的代码,并详细解释python2.7和python3.6中python库的一些不同之处,最后详细的

Python常用的库简单介绍一下

Python常用的库简单介绍一下fuzzywuzzy ,字符串模糊匹配. esmre ,正则表达式的加速器. colorama 主要用来给文本添加各种颜色,并且非常简单易用. Prettytable 主要用于在终端或浏览器端构建格式化的输出. difflib ,[Python]标准库,计算文本差异 . Levenshtein ,快速计算字符串相似度. Chardet 字符编码探测器,可以自动检测文本.网页.xml的编码. shortuuid ,一组简洁URL/UUID函数库. ftfy ,Uni

python爬虫从入门到放弃(七)之 PyQuery库的使用

原文地址https://www.cnblogs.com/zhaof/p/6935473.html PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严格实现.语法与 jQuery 几乎完全相同,所以不用再去费心去记一些奇怪的方法了. 官网地址:http://pyquery.readthedocs.io/en/latest/jQuery参考文档: ht

python之爬虫(九)PyQuery库的使用

PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严格实现.语法与 jQuery 几乎完全相同,所以不用再去费心去记一些奇怪的方法了. 官网地址:http://pyquery.readthedocs.io/en/latest/jQuery参考文档: http://jquery.cuishifeng.cn/ 初始化 初始化的时候一般有三种传入方式:传入

数据之路 - Python爬虫 - PyQuery库

一.什么是PyQuery? PyQuery库也是一个非常强大又灵活的网页解析库. 官网地址:http://pyquery.readthedocs.io/en/latest/ 二.PyQuery基本库使用 html = ''' <div> <ul> <li class="item-0">first item<lli> <li class="item-1"><a href="link2.html

[转]Python 解析 PDF 文本和表格的四大方法介绍

Python 解析 PDF 文本和表格的四大方法介绍 看到一个不错的知识文章,和大家分享一下: 很多文件为了安全都会存成 PDF 格式,比如有的论文.技术文档.书籍等等,程序读取这些文档内容带来了很多麻烦.Python 目前解析 PDF 的扩展包有很多,这里将对比介绍 PyPDF2.pdfplumber.pdfminer3k 以及 Camelot,告诉你哪个是好用的 PDF 解析工具. 本文使用的案例 PDF 文档下载链接: 链接: https://pan.baidu.com/s/1zH7vY4

Python第三方常用工具、库、框架等

Python ImagingLibrary(PIL):它提供强大的图形处理的能力,并提供广泛的图形文件格式支持,该库能进行图形格式的转换.打印和显示.还能进行一些图形效果的处理,如图形的放大.缩小和旋转等.是用户进行图象处理的强有力工具. http://www.pythonware.com/products/pil/ matplotlib:一个Python的2D绘图库. http://matplotlib.org/ Pmw(Pythonmegawidgets):它是超级GUI组件集----一个利

Python解析Wav文件并绘制波形的方法

资源下载 #本文PDF版下载 Python解析Wav文件并绘制波形的方法 #本文代码下载 Wav波形绘图代码 #本文实例音频文件night.wav下载 音频文件下载 (石进-夜的钢琴曲) 前言 在现在繁忙的生活中,我们经常会听些歌来放松一下自己,我们经常会从各种播放软件中听自己喜欢的歌,并且往往我们会下载一部分歌曲,而现在音频的种类也相当繁多,像是Wav,Mp3,FLAC,AAC等等很多格式,最近由于需要做一个能够分析Wav格式音频的波形来取得一些数据比如获取人录音时是否说完等等用途.本周先对解