Heritrix个性化个性化设置抓取目标

　　本文是Heritrix的使用的高级篇，针对对Heritrix已经能够运行的码农朋友们！

我们在抓取网页的时候，网页的链接中往往会包含有js、css、图片、视频等文件，第一次执行抓取任务的时候，许多农民朋友们可能会发现抓取速度令人着急，可能是由于抓取了太多的不必要的数据文件，尤其是视频文件，少则几十兆，多则上百兆，这严重影响了我们的抓取的速度，还有一些缓存文件，配置文件等等。

　　那么如何才能做到只抓取html网页呢？（这里暂且不讨论抓取抓取指定域名的html网页，在之后的文章中可能会列出来！）

1、Modules——>Extractor

由于我们只对html文件中的链接感兴趣，所以去除了以下三个extractor。

ExtractorCSS

ExtractorJS

ExtractorSWF

修改前：

修改后：

2、Submodules——>midfetch-decide-rules

添加org.archive.crawler.deciderules.FilterDecideRule到midfetch-decide-rules

添加org.archive.crawler.filter.ContentTypeRegExpFilter和org.archive.crawler.deciderules.DecidingFilter

然后添加org.archive.crawler.deciderules.FetchStatusDecideRule到DecidingFilter

修改前：

修改后：

3、Setting——>midfetch-decide-rules

修改 regexp: 的值为“text/html*”【没有引号】

修改target-status的值为200

修改后为：

这样Heritrix就不会下载除了Content-Type为text/html并且Status Code为200之外的其他文件。

到此，设置就基本结束了！【本方法经实践检验】

===========================参考网址===========================

http://www.360doc.com/content/13/1122/14/13518188_331292907.shtml

===========================参考网址===========================

时间： 2024-10-29 14:58:36

Heritrix个性化个性化设置抓取目标的相关文章

fiddler设置抓取HTTPS协议数据包

1．打开工具里的选项 2．选择弹窗中的HTTPS选项,如下图进行勾选 3．若浏览器显示不安全链接则需要添加证书 提示如下点击确定证书安装成功,可以查看安装的证书,点击Action 下图即可查看fiddler安装成功的证书 原文地址:https://www.cnblogs.com/huicong/p/12079098.html

开源爬虫 ── 专业、强大的万维网资源定向抓取、爬抓工具

网络爬虫 又称网页蜘蛛.网络机器人.在 FOAF 社区常称网页追逐者.网络爬虫 是一种按照一定规则,自动抓取万维网信息的程序或脚本.另外一些不常使用名称还有蚂蚁.自动索引.模拟程序或蠕虫. 随着网络的迅速发展,万维网成为大量信息的载体,如何有效提取并利用这些信息成为一个巨大挑战.搜索引擎 (Search Engine),譬如:传统搜索引擎 AltaVista.Yahoo!.Google.百度.360 搜索.好搜.搜狗.Bing 等作为辅助人们检索信息的工具,已成为用户访问万维网的入口和指南.但是

PHP curl扩展实现数据抓取

PHP版本:5.5.30 服务器:apche 抓取网站地址:http://nc.mofcom.gov.cn/channel/gxdj/jghq/jg_list.shtml 抓取目标:获取当日的价格数据 一.准备工作: 1.打开php.ini配置文件,开启curl功能扩展 extension=php_curl.dll 如果开启之后(记得重启apache服务),仍然不能使用curl的扩展方法,请检查环境变量是否设置. 二.分析所要抓取的页面,数据结构 查看http://nc.mofcom.gov.c

大数据抓取采集框架(摘抄至http://blog.jobbole.com/46673/)

摘抄至http://blog.jobbole.com/46673/ 随着BIG DATA大数据概念逐渐升温,如何搭建一个能够采集海量数据的架构体系摆在大家眼前.如何能够做到所见即所得的无阻拦式采集.如何快速把不规则页面结构化并存储.如何满足越来越多的数据采集还要在有限时间内采集.这篇文章结合我们自身项目经验谈一下. 我们来看一下作为人是怎么获取网页数据的呢? 1.打开浏览器,输入网址url访问页面内容.2.复制页面内容的标题.作者.内容.3.存储到文本文件或者excel. 从技术角度来说整个过程

nodejs抓取数据一(列表抓取)

纯属初学...有很多需要改进的地方,请多多指点... 目标是抓取58同城 这个大分类下的列表数据: http://cd.58.com/caishui/?PGTID=14397169455980.9244072034489363&ClickID=1 简单分析: 1. 按照以下二级分类来获取每个列表的数据, 2. 主要分页: 可以看出,其分页是pn5 这里设置的,那么这个5就是页码了. http://cd.58.com/dailijizh/pn5/?PGTID=1177429071887065549

RML 抓取-放置 运动应用

RML运动应用 抓取物体步骤: 抓取阶段:(工业一般如此) 1 到达目标附近位置(一般是某个轴的方向,如Z轴10 厘米处) 2 设置抓取点 3 再回到目标点附近 放置阶段: 1 达到放置目标点附近位置 2 设置放置目标点 3 再回到放置目标点附近位置 -- This is a threaded script! activateSuctionPad=function(active) if (active) then simSetScriptSimulationParameter(suctionPa

分享一个简单的python+mysql网络数据抓取

最近学习python网络爬虫,所以自己写了一个简单的程序练练手(呵呵..).我使用的环境是python3.6和mysql8.0,抓取目标网站为百度热点(http://top.baidu.com/).我只抓取了实时热点内容,其他栏目应该类似.代码中有两个变量SECONDS_PER_CRAWL和CRAWL_PER_UPDATE_TO_DB,前者为抓取频率,后者为抓取多少次写一次数据库,可自由设置.我抓取的数据内容是热点信息,链接,关注人数和时间.其在内存中存放的结构为dict{tuple(热点信息,

58反抓取简介

0x00 介绍 网络爬虫,常又被称呼为Spider,网络机器人,主要模拟网络交互协议,长时间,大规模的获取目标数据. 普通爬虫会从网站的一个链接开始,不断收集网页资源,同时不断延伸抓取新获取的URL以及相应的资源. 在对抓取目标内容结构分析的基础上,还会有目的性更强的聚焦型爬虫. 爬虫对网站的抓取,最直接的影响就是增加服务器负载,影响正常业务的使用. 但是仅仅限制爬虫的抓取频次是远远不够的. 更重要的是对网站资源的保护,比如房产类信息中的小区名称.户型.建造年代.房型图.视频.面积.总价.单价等

scrapy抓取学院新闻报告

抓取四川大学公共管理学院官网(http://ggglxy.scu.edu.cn)所有的新闻咨询. 实验流程 1.确定抓取目标.2.制定抓取规则.3.'编写/调试'抓取规则.4.获得抓取数据 1.确定抓取目标 我们这次需要抓取的目标为四川大学公共管理学院的所有新闻资讯.于是我们需要知道公管学院官网的布局结构. 微信截图_20170515223045.png 这里我们发现想要抓到全部的新闻信息,不能直接在官网首页进行抓取,需要点击"more"进入到新闻总栏目里面. Paste_Image.