再论pyquery

发现对于QQ群

空间文件的抓取毫无办法。

QQ空间的代码可圈可点:

做了一个js的“客户端”,第一次加载时,将文件的列表信息全部抓取出来,然后基于js进行翻页和排序。

因此,想要抓取js渲染的dom,是不可能的,此处只能用js或者jq来操作了。

对于这种情况,得用js写“爬虫”逻辑。

附上qq空间群文件的抓取逻辑,如下:

var getDom = function(cls){return document.getElementsByClassName(cls);};
var clickPage = function(index){
   pages = getDom("ui_mr5");
   for(j=0;j<pages.length;j++){
       if(pages[j].innerText==(‘‘+index))
          pages[j].click();
   }
};
var showAllResource =function(page_count){
	for(p = 1; p<=page_count; p++){
		clickPage(p);
		names = getDom("td_name");
		sizes= getDom("td_size");
		authors = getDom("td_uploaded_author");
		times = getDom("td_time");
		for(i =0 ;i<names.length;i++){console.log(names[i].title+","+sizes[i].innerText+","+authors[i].innerText+","+times[i].innerText);}
	}
};

 

调用方法,直接在浏览器的console里面执行以上代码后调用:showAllResource(最大的页码);

时间: 2024-07-29 07:44:28

再论pyquery的相关文章

Python模拟登录后爬取网站内容(小说)

最近有个好友让我帮忙爬取个小说,这个小说是前三十章直接可读,后面章节需要充值VIP可见.所以就需要利用VIP账户登录后,构造Cookie,再用Python的获取每章节的url,得到内容后再使用 PyQuery 解析内容. 注意:构造Cookie的过程中,需要你在 Chrome/Firefox 登录,然后自己在控制台查看 cookie,然后手动加入. 第一步:手动构造cookie,绕过登录 [我这里不是破解账户,想破解请出门左拐] 1 #version 2.7 2 3 #!/usr/bin/pyt

数据存储之文件存储

文件存储 TXT文件存储 # 爬取知乎上的热门话题,获取话题的问题.作者.答案,然后保存在TXT文本中 1 import requests 2 from pyquery import PyQuery 3 4 url = 'https://www.zhihu.com/explore' 5 headers = { 6 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, li

Python爬虫利器六之PyQuery的用法

前言 你是否觉得 XPath 的用法多少有点晦涩难记呢? 你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢? 你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢? 你是否已经有了一些前端基础了解选择器却与另外一些奇怪的选择器语法混淆了呢? 嗯,那么,前端大大们的福音来了,PyQuery 来了,乍听名字,你一定联想到了 jQuery,如果你对 jQuery 熟悉,那么 PyQuery 来解析文档就是不二之选!包括我在内! PyQuery 是 Python 仿照 jQuery

初触Python,关于pyquery解析html(百度贴吧)

一直听同事说Python是个奇妙的语言,上周在逛知乎的时候深受这个话题的启示. 能利用爬虫技术做到哪些非常酷非常有趣非常实用的事情? 先是说到IDE的选择,作为python新人,尽管知道mac终端自带Python,但在一番谷歌百度之后,还是选择了PyCharm .理由大概是 PyCharm比較像xcode吧.看上去有种亲切感. Python的第三方库和iOS开发的第三方库大体相像.可是在引入第三方库的时候,PyCharm似乎是更加的简单.注意选择相应的版本号然后下载第三方库,稍等片刻就成功了.

【Python】网络爬虫(一):pyquery一瞥

1.pyquery简介 python中的pyquery模块语法与jquery相近,可用来解析HTML文件.官方文档地址:https://pythonhosted.org/pyquery/ .通过HTML中的标签.id.给定的索引等来获取元素,使得解析HTML文件极为方便. 2.实例 2.1 爬取豆瓣电影页面中主演 右键chrome中的审查元素,观察到主演的标签为<a href="/celebrity/1005773/" rel="v:starring">

pyquery 库的方法

初始化 在这里介绍四种初始化方式. (1)直接字符串 from pyquery import PyQuery as pq doc = pq("<html></html>") pq 参数可以直接传入 HTML 代码,doc 现在就相当于 jQuery 里面的 $ 符号了. (2)lxml.etree from lxml import etree doc = pq(etree.fromstring("<html></html>&qu

pyspider和pyquery总结

1.参考 pyspider作者官网: pyspider 爬虫教程(一):HTML 和 CSS 选择器 pyspider 爬虫教程(二):AJAX 和 HTTP pyspider 爬虫教程(三):使用 PhantomJS 渲染带 JS 的页面 CssFullText - CSS选择器 说明 其他: 用pyspider写的爬虫几例 Python爬虫进阶四之PySpider的用法 Python爬虫利器六之PyQuery的用法 2.jQuery 语法 jQuery 是一个 JavaScript 库.jQ

pyquery 的使用

pyquery 的使用 跟XPath 和 BeautifulSoup类似的,pyquery也是一个解析库.像Beautiful Soup 一样,初始化pyquery的时候,也需要传入HTML文本来初始化一个pyquery对象.除此以外,还可以直接传入URL,传入文件名等.下面来详细介绍: from pyquery import PyQuery as pq html = ''' <!DOCTYPE html> <html lang="en"> <head&g

python爬虫从入门到放弃(七)之 PyQuery库的使用

原文地址https://www.cnblogs.com/zhaof/p/6935473.html PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严格实现.语法与 jQuery 几乎完全相同,所以不用再去费心去记一些奇怪的方法了. 官网地址:http://pyquery.readthedocs.io/en/latest/jQuery参考文档: ht