网站数据采集软件 NETSpider

NETSpider网站数据采集软件是一款基于.Net平台的开源软件。
软件部分功能是基本Soukey软件进行开发的.这个版本采用VS2010+.NET3.5进行开发的.
NETSpider采摘当前提供的主要功能如下:

1. ? ?多任务多线程数据采集,支持POST方式(待定);
2. ? ?可采集Ajax页面;
3. ? ?支持Cookie,支持手工登录采集数据;
4. ? ?支持采集事务;
5. ? ?支持数据自动及手工导出,导出格式为:文本、Excel、Access、MSSql、Mysql等;
6. ? ?支持在线发布数据;
7. ? ?支持导航网址的采集,导航深度不限;
8. ? ?支持自动翻页;
9. ? ?支持文件下载,可以采集图片、Flash及其他文件;
10. 支持采集结果数据的加工,包括替换、附前缀后缀、截取等操作,支持正则;
11. 采集网址定义不仅支持基本参数定义,也可外接字典数据作为网址参数,进行数据采集;
12. 支持一个任务多实例运行;
13. 提供计划任务,计划任务支持NETSpider采集任务、外部可执行文件任务、数据库存储过程任务(还在开发中);
14. 计划任务执行周期支持每天、每周及自定义运行间隔;最小单位为:半小时;
15. 支持任务触发器,即可在采集任务完成后,自动触发执行其他任务(包括可执行文件或存储过程)。
16. 完善的日志功能:系统日志、任务执行日志、出错日志等等;
17. 系统提供MINI浏览器可用于捕获Cookie或POST数据;

NETSpider采集器并不限制您是否商用此软件,源码完全开放,

===================以下为更新内容===================================

1. NETSpider于2014年10月1日开放

时间: 2024-10-15 18:57:42

网站数据采集软件 NETSpider的相关文章

大型网站技术架构,5网站的高可用架构之高可用网站的软件质量保证

5.6 高可用网站的软件质量保证 在网站运维实践中,除了网络.服务器等硬件故障导致的系统可用性风险外,还有来自软件系统本身的风险. 本节不再赘述传统的软件测试和软件质量保证管理,而是讲一些不同的质量保证手段. 5.6.1 网站发布 网站的发布过程事实上和服务器宕机效果相当,其对系统可用性的影响也和服务器宕机相似. 由于应用的不断发布,用户需要面对的是每周一到两次的宕机故障. 但是,网站发布毕竟是一次提前预知的服务器宕机,所以过程可以更柔和,对用户影响更小.通常使用发布脚本来完成发布,其流程如下图

记一次学习苗泽老师之几款网站服务器软件介绍

1.Apache服务器 (1)Apache Web服务器在各种开源www服务提供工具中特性最全,并且运行速度越快,性能相对稳定,而且扩展功能丰富 (2)Apache在设计时使用了以"进程"为基础的结构.进程要比线程消耗更多的系统开支,这导致Apache在多处理器环境中性能有所下降.因此,在对一个Apache Web站点进行扩容时,通常是增加服务器或扩充集群节点而不是增加处理器. 2.Microsoft IIS 是微软公司的Web服务器产品,具有很多优秀的功能,IIS和Windows S

wxid数据采集软件技术精准爆粉如此牛B的真相

微信wxid采集技术爆粉软件如此牛B的真相.很多企业及商户做微信营销都面临着一个非常关键问题,那就是如何精准加粉,也许你玩过群发软件,玩过了加群好友软件,但是这些都没法满足精准化微信加人需求,一款可以在电脑上加手机号码通讯录好友的软件肯怕你都没听说过吧.人人有站顺势推出全新黑科技产品,微信爆粉软件,全网开售.一台电脑,无限多开加粉,无需微信登陆账号密码,无需扫码即可在软件上直接导粉.手机号码转换wxid软件,IOS协议微信爆粉精准营销系统.如果你是菜鸟,以下功能你可能看不懂.全看完你就懂了.微信

最新闲鱼数据采集软件【2019年4月更新】

闲鱼采集软件可以采集商品标题.成色.用户名.地区.价格.链接等!无需登录,无屏蔽! 2019年3月初旧的接口全部不能用了,新的接口比较稀缺哦: 原文地址:https://www.cnblogs.com/xtfnpgy/p/10778344.html

网站开发软件安装顺序

1.IIS 2.sql 3.vs 安装sql闪退

本人第一个开源代码,NETSpider 网络蜘蛛采集工具

NETSpider网站数据采集软件是一款基于.Net平台的开源软件.软件部分功能是基本Soukey软件进行开发的.这个版本采用VS2010+.NET3.5进行开发的.NETSpider采摘当前提供的主要功能如下: 1. 多任务多线程数据采集,支持POST方式(待定):2. 可采集Ajax页面:3. 支持Cookie,支持手工登录采集数据:4. 支持采集事务:5. 支持数据自动及手工导出,导出格式为:文本.Excel.Access.MSSql.Mysql等:6. 支持在线发布数据:7. 支持导航网

开源爬虫汇总表,83款 网络爬虫开源软件

世界上已经成型的爬虫软件多达上百种,本文对较为知名及常见的开源爬虫软件进行梳理,按开发语言进行汇总,如下表所示.虽然搜索引擎也有爬虫,但本次我汇总的只是爬虫软件,而非大型.复杂的搜索引擎,因为很多兄弟只是想爬取数据,而非运营一个搜索引擎. 开源爬虫汇总表 开发语言 软件名称 软件介绍 许可证 Java Arachnid 微型爬虫框架,含有一个小型HTML解析器 GPL crawlzilla 安装简易,拥有中文分词功能 Apache2 Ex-Crawler 由守护进程执行,使用数据库存储网页信息

爬虫_83款 网络爬虫开源软件

1.http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎 Nutch Nutch 是一个开源Java 实现的搜索引擎.它提供了我们运行自己的搜索引擎所需的全部工具.包括全文搜索和Web爬虫. 尽管Web搜索是漫游Internet的基本要求, 但是现有web搜索引擎的数目却在下降. 并且这很有可能进一步演变成为一个公司垄断了几乎所有的web... 更多Nutch信息 最近更新:[每日一博]Nu

83款 网络爬虫开源软件

1.http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view& 搜索引擎 Nutch Nutch 是一个开源Java 实现的搜索引擎.它提供了我们运行自己的搜索引擎所需的全部工具.包括全文搜索和Web爬虫. 尽管Web搜索是漫游Internet的基本要求, 但是现有web搜索引擎的数目却在下降. 并且这很有可能进一步演变成为一个公司垄断了几乎所有的web... 更多Nutch信息 最近更新:[每日一博]Nu