网站爬取-案例二:天猫爬取( 第一卷:首页数据抓取)

说到网站数据的爬取,目前为止我见过最复杂的就是天猫了,现在我想对它进行整站的爬取

我们先来看下天猫主页的界面

天猫页面很明显是动态页面 所以我们需要用selenium模块

首先我们抓取下行业列表,留作之后的深度爬取

我们来看下结果:

看到商品链接和行业列表的完美展现了吧

可是当前页面并没抓取完毕,我们现在看下首页还有什么内容

我们顺带抓取下发先并没有我们想要的东西,说明页面没有抓取完毕,熟悉网站制作的同僚们因该知道这样的页面都是用OVERFLOW:hidden的方式来做的布局,所以我们可以利用JS的SCOLLER事件来进行动态加载获取当前整个页面的源码

我们把打印的源码拿下来分析下抓取优惠卷的价格和提供商品的价格

由于我的网络和设置的数值过大所以数据加载的不完整:

看下结果:

好好调整一下 就可以获取所有数据

原文地址:https://www.cnblogs.com/woshiruge/p/8448832.html

时间: 2024-10-12 16:32:20

网站爬取-案例二:天猫爬取( 第一卷:首页数据抓取)的相关文章

Ajax异步数据抓取

1.简介 1 有时候我们在用requests抓取页面的时候,得到的结果可能和在浏览器中看到的不一样,在浏览 2 器中可以看到正常显示的页面数据,但是使用requests得到的结果并没有.这是因为requests获取的 3 都是原始的HTML文档,而浏览器中的页面则是经过JavaScript处理数据后生成的结果,这些数据的 4 来源有多种,可能是通过ajax加载的,可能是包含在HTML文档中的,也可能是经过JavaScript和特 5 定算法计算后生成的. 6 对于第一种情况,数据加载是一种异步加

支持断点续爬的腾讯街景数据抓取

之前介绍了街景数据抓取的核心思想,采用画格网的方式查询街景数据是否存在. 该方法在数据抓取过程漫长一次难以完全抓取数据信息,且按照格网查询街景时由于查询接口是按半径进行搜索难免出现重复街景的现象.为克服以上两个难题,本文采用断点续爬解决爬虫中断后需从头开始的问题,采用将街景ID存入mysql数据库进行街景去重,大大增加了工作效率. 引入自定义mysql类(源码): 地址:https://www.cnblogs.com/giserjobs/p/11990508.html import MySql

python&php数据抓取、爬虫分析与中介,有网址案例

最近在做一个网络爬虫程序,后台使用python不定时去抓取数据,前台使用php进行展示 网站是:http://se.dianfenxiang.com python&php数据抓取.爬虫分析与中介,有网址案例,布布扣,bubuko.com

记一次企业级爬虫系统升级改造(二):基于AngleSharp实现的抓取服务

爬虫系统升级改造正式启动: 在第一篇文章,博主主要介绍了本次改造的爬虫系统的业务背景与全局规划构思: 未来Support云系统,不仅仅是爬虫系统,是集爬取数据.数据建模处理统计分析.支持全文检索资源库.其他业务部门和公司资讯系统重要数据来源.辅助决策等功能于一身的企业级Support系统. 介于好多园友对博主的任务排期表感兴趣,便介绍一下博主当时针对这个系统做的工作任务排期概要(排期表就是更加详细细分外加估算工时的一份excel表格,就不贴出来了): 1.总分四大阶段,逐步上线,最终达到预期规划

数据抓取的艺术(二)

原文地址:http://blog.chinaunix.net/uid-22414998-id-3695673.html 续前文:<数据抓取的艺术(一):Selenium+Phantomjs数据抓取环境配置>. 程序优化:第一步开始: for i in range(startx,total): for j in range(starty,total): BASE_URL = createTheUrl([item[i],item[j]]) driver.get(BASE_URL) driver =

关于“淘宝爆款”的数据抓取与数据分析

本文为younghz原创,文章链接为:http://blog.csdn.net/u012150179/article/details/37306629 这个问题最初是源于我在知乎上一个回答(http://www.zhihu.com/question/24368542/answer/27579662),涉及了两个方面:数据抓取和数据分析. 1.数据爬取 爬取对象:淘宝"连衣裙 夏"的搜索结果. 爬取对象的选择分析我在文章中也有提及. 工具:Scrapy. 代码:我把当时实现的代码放在了G

数据抓取的艺术(一):Selenium+Phantomjs数据抓取环境配置

数据抓取的艺术(一):Selenium+Phantomjs数据抓取环境配置 2013-05-15 15:08:14 分类: Python/Ruby 数据抓取是一门艺术,和其他软件不同,世界上不存在完美的.一致的.通用的抓取工具.为了不同的目的,需要定制不同的代码.不过,我们不必Start from Scratch,已经有许多的基本工具.基本方法和基础框架可供使用.不同的工具.不同的方法.不同的框架的特点也不同.了解这些工具.方法和框架是首要任务,接下来就需要明白它们的差异都在哪里.什么情境该用什

数据抓取的艺术(三):抓取Google数据之心得

本来是想把这部分内容放到前一篇<数据抓取的艺术(二):数据抓取程序优化>之中.但是随着任务的完成,我越来越感觉到其中深深的趣味,现总结如下: (1)时间     时间是一个与抓取规模相形而生的因素,数据规模越大,时间消耗往往越长.所以程序优化变得相当重要,要知道抓取时间越长,出错的可能性就越大,这还不说程序需要人工干预的情境.一旦运行中需要人工干预,时间越长,干预次数越多,出错的几率就更大了.在数据太多,工期太短的情况下,使用多线程抓取,也是一个好办法,但这会增加程序复杂度,对最终数据准确性产

数据抓取的艺术(三)

原文地址:http://blog.chinaunix.net/uid-22414998-id-3696649.html 本来是想把这部分内容放到前一篇<数据抓取的艺术(二):数据抓取程序优化>之中.但是随着任务的完成,我越来越感觉到其中深深的趣味,现总结如下: (1)时间     时间是一个与抓取规模相形而生的因素,数据规模越大,时间消耗往往越长.所以程序优化变得相当重要,要知道抓取时间越长,出错的可能性就越大,这还不说程序需要人工干预的情境.一旦运行中需要人工干预,时间越长,干预次数越多,出