国内6大常见免费数据采集器特点分析

目前,网上比较流行的免费采集器有这么几个:火车头,海纳,ET,三人行,八爪鱼,狂人。这里的免费是相对的,如果是个人进行常规的采集,那么免费版的一般都够用。如果针对于企业用户,一般都要付费了。毕竟做采集器的也是要吃饭的嘛!

好了,让我们来看一下这些免费的采集器各自都有什么特点吧!

1.火车头采集器

火车头应该是国内采集软件成功的典型之一,使用人数包括收费用户数量上应该是最多的。

优点:功能齐全,采集速度比较快,主要针对CMS,短时间可以采集很多,过滤,替换都不错,比较详细;接口比较齐全;支持的扩展比较好用,懂代码的话,可以使用PHP或C#开发任意功能的扩展;附件采集功能完善。

缺点:采集规则的编写对于很多用户来说是个不小的困难,尤其是不懂代码的。运行时比较占用内存和CPU资源,资源回收控制得不好。另外,授权绑定计算机,有时很不方便。

2.海纳

优点:可以抓取网站很多一个关键词文章,似乎适合做网站的专题,特别是文章类、博客类。

缺点:分类功能不完善,手动归类容易弄混。特定接口,采集的内容有限,一次只能采集一条,无法批量采集,需要和网站后台网页对接。安装时,需要海纳的人员上门技术支持,比较麻烦。收费,免费的功能限制太大,形同鸡肋。

3.ET采集器

优点:无人值守,自动更新,用户群主要集中在长期做站潜水站长。软件清晰,必备功能也很齐全,软件免费。

缺点:对论坛和CMS的支持一般。帮助文件较少,上手不容易。

4.三人行采集器

优点:针对各大论坛,搬家,移动,速度快,准确度高。还是针对论坛,适合开论坛的。

缺点:超级复杂,上手难,对CMS支持比较差。

5.狂人采集器

特色:可以让你的新论坛一开始就会有大量的会员。

优点:适合采集discuz论坛。

缺点:过于专一,兼容性不好。

6.八爪鱼采集器

优点:功能齐全,操作简单,不用写规则。特有的云采集,关机也可以在云服务器上运行采集任务。

缺点:新出的产品,资格比较年轻.

总结:追求简单易用,功能较为齐全的,可以选择八爪鱼采集器。如果是个技术型的人,对写规则了如指掌的,追求功能非 常齐全的,可以选择火车头采集器。八爪鱼采集器和火车头采集器都能迅速采集很多的资源,可以应用到多个方面。这里只讲了六大主要的免费采集器,其实还有很多一些其它的采集器,就不一一赘述了。

时间: 2024-08-24 18:44:48

国内6大常见免费数据采集器特点分析的相关文章

国内各大云计算厂商虚拟技术分析

最近在整理一些云计算的材料,在google和百度上搜索了一下国内各大云计算厂商使用的主要技术: 1.华为云:openstack基金会的金牌会员,所有的虚拟化产品几乎都是使用openstack技术,虚拟技术估计是KVM 2.浪潮云海:之前大部分使用的是VMware技术,2014年7月份加入openstack基金会,下一代云海估计会使用openstack. 3.腾讯云:自助开发的云平台技术,大数据分析方面比较成功,依赖hadoop.虚拟化方面主要是KVM. 4.阿里云:自主开发的云平台技术,虚拟化技

运维监控大数据的提取与分析

本文内容整理来自[敏捷运维大讲堂]蒋君伟老师的线上直播分享.分别从以下3个维度来分享:1.云时代监控分析的窘境:2.使用标签标记监控数据的维度:3.监控数据应用场景. 云时代监控分析的窘境 在虚拟化与容器技术广泛应用的情况下,运维对象大规模地增长,监控平台每天存储的指标都以亿计,所以监控数据如今已经成了大数据.传统的监控工具在这种场景下,对于数据的提取分析,已经力不从心,反而成为了运维的负担. 我们用一个典型的互联网档案分析应用举例说明: 这个应用支持容灾与负载均衡,它部署在三个数据中心,并同时

<转>国内一些大公司的开源项目

昨天看阿里的MetaQ文档,感觉对于消息系统的理解,比起大多数文章都要出色得多了,有些分析也非常的有实用性.估计还有很多优秀的项目没被发掘,于是就调研了一下,国内一些大公司的开源项目. 阿里 阿里的开源项目很多,这也跟@淘宝正明的开源态度密不可分.有很多重量级的项目,例如LVS.Tengine,或者很有实践价值的中间件,例如MetaQ(分布式消息系统).dubbo(RPC框架).cobar(数据库中间件),或者是Java世界的工具,例如druid.fastjson.都说国内Java公司的技术架构

2015年最新国内十大应用商店广告报价表

说明:国内十大安卓商店市场刊例根据网络资源收集而成,实际情况可能有稍微的变动,请大家参考.一般根据手机客户端的展示区分为轮播图.热门.随机推荐.分类推荐.相关应用(用户还下载了XXX)等广告位,大家可以根据字面意思来理解,具体投放过程中,可以和相关负责人进行确认和联系.同时,在广告的投放中,分为周末.月初月末和工作日,周末一般指周六周日,工作日一般为周一到周五. 一.360手机助手刊例表 a)PC首页一屏-焦点大图PC-01焦点图3.5万/天 b)PC首页-今日最热软件PC-02推荐位2.9万/

几种常见 容器 比较和分析

几种常见 容器 比较和分析 hashmap, map, vector, list ...hash&n list支持快速的插入和删除,但是查找费时; vector支持快速的查找,但是插入费时. map查找的时间复杂度是对数的,这几乎是最快的,hash也是对数的. 如果我自己写,我也会用二叉检索树,它在大部分情况下可以保证对数复杂度,最坏情况是常数复杂度,而std::map在任何情况下都可以保证对数复杂度,原因是它保证存诸结构是完全二叉检索树,但这会在存诸上牺牲一些时间. STL 中的 map 内部

大数据云时代 游戏分析存在4大误区

最近几年,大数据这个词的火爆以及大数据技术的迅速发展,数据分析和数据挖掘的工作得到越来越多企业的重视,特别是在游戏行业,越来越多关于数 据的分析容和观点也井喷式提出,“数据驱动下的精细化运营”,“玩家群体的定量研究”,“移动游戏数据分析体系”等等概念的提出,可以看出游戏的研发和运 营过程中,对数据分析的需求是无穷无尽的,相应的,对数据分析的讨论也是各抒己见.而盲目过度依赖数据,或者主观的解读数据,带来的损失则是无法估计的. 以下,我将结合自己的工作经历,阐述以下数据指标会骗人和游戏数据分析中的几

Android 应用中十大常见 UX 错误

[核心提示] Android 开发者关系团队每天都会试用无数的 App 或者受到无数的开发者发来的请求评测的 App,在评测如此之多的应用之后,他们总结出了10个最常见的错误. 作为一个长期使用 Android 的用户,我在使用 Android 应用的时候经常遇到各种各样的交互上的问题,并且早就想整理它们写一篇文章了.但是由于懒惰和拖延,这篇文章一直处于草稿的状态.正巧,这期 ADiA 中,Android 开发团队为我们着重强调了当下 Android 应用中很常见的,应该避免的错误. Andro

必贝yo对企业大数据的处理与分析

必贝yo对企业大数据的处理与分析随着两化深度融合的持续推进,全面实现业务管理和生产过程的数字化.自动化和智能化是企业持续保持市场竞争力的关键.在这一过程中数据必将成为企业的核心资产,对数据的处理.分析和运用将极大的增强企业的核心竞争力.但长期以来,由于数据分析手段和工具的缺乏,大量的业务数据在系统中层层积压而得不到利用,不但增加了系统运行和维护的压力,而且不断的侵蚀有限的企业资金投入.如今,随着大数据技术及应用逐渐发展成熟,如何实现对大量数据的处理和分析已经成为企业关注的焦点.对企业而言,由于长

ArcGIS for Android地图控件的5大常见操作

原文地址: ArcGIS for Android地图控件的5大常见操作 - ArcGIS_Mobile的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/arcgis_mobile/article/details/7801467   GIS的开发中,什么时候都少不了地图操作.ArcGIS for Android中,地图组件就是MapView,MapView是基于Android中ViewGroup的一个类(参考),也是ArcGIS Runtime SDK for