投储在线新闻采集(http://www.touchu.cn)-Soukey使用说明

1功能

采集网站数据

2定制采集

2.1新建任务

如果要保存采集的数据,执行类型请选择“采集并发布数据”

2.2添加采集网址

网页地址填写采集的起始网址。具体说明如下:

要采集http://www.caihuohuo.cn/Vcase.html中的文章内容,该页面可以通过点击“下一页”进行翻页,于是选中“根据下一页标识自动翻页”,下一页标识填写“下一页”。

由于该网页是文章目录列表,通过链接查看全部内容,我们需要采集每篇文章链接中的全部内容。

分析每篇文章的链接格式,均以http://www.caihuohuo.cn/Varticle/index/id/开始,所以添加导航规则:/Varticle/index/id/。如下图:

2.3添加采集规则

要在导航页面中匹配出关注的内容,通过“起始位置”和“结束位置”进行匹配,“页面采集范围”可以限制起始位置和结束位置的搜索范围。具体规则需要从网页源码中分析。如下图:

2.4发布数据

如果基本设置中的执行类型选择的是“采集并发布数据”,则可以选择把采集结果存放到文件或数据库。如下图:

2.5开始采集

开始采集只能从任务分类的任务列表中选择任务,然后再开始执行,否则会出现异常,这是软件本身的问题。

时间: 2024-11-09 06:00:53

投储在线新闻采集(http://www.touchu.cn)-Soukey使用说明的相关文章

开源新闻采集器(一)内容简介

1.最近闲来无事,想把自己最近一段时间工作的东西整理下. 目标:新闻采集器 1.只需要输入列表网址,采集器将自动采集所有的文章.  2.采集器最后无需写任何采集规则. 3.基于静态爬虫的HTML分页获取 策略(自己捉摸的,准确度不高) 4.基于开源项目的内容提取算法(Html2Article) 5.基于编码的探测的开源项目(NUniversalCharDet) 开源新闻采集器(一)内容简介

在线QueryList采集 可用 (2019)

如果想在线直接采集一点数据   可以使用 在线QueryList采集 这里也可以实现 xpath采集在线测试 这里为你解决: 怎么在线采集数据 不用安装软件 想采集少量数据, 不安装软件怎么实现 想采集一点网上的数据,怎么实现简单 querylist在线使用, 不用安装 小白怎么采集数据 不懂编程怎么采集数据等问题 QueryList采集测试工具 -- 可用(如果不会使用queryList 请查阅文档  很简单) https://www.toolnb.com/tools/querylist.ht

【开源】开发者新闻APP+博客园新闻采集程序+infoq新闻采集程序+新闻Restful服务

这几天车子跟别人撞了,水箱撞稀烂了,要坐一个星期的公车 实在太无聊,就抽时间搞了这么个APP出来,打发公车上的时光 (开发者头条里的新闻专业性太强,公车上实在无法静心研读) 我经常看的也就博客园.infoq.36kr.开源中国的新闻 现在只做了博客园和infoq,接下来打算做36kr和开源中国的新闻,如果大家有什么好建议也可以在评论里提 数据都是准实时的取来的,以后争取做到你去刷就有新闻给你看 以后可能会做:新闻的分享.收藏.标签.分类等功能,当然这要看大家的热情程度啦! 废话少说,先来上图  

thinkphp 新浪新闻采集代码演示

<?php namespace Home\Controller; use Think\Controller; class CollectController extends Controller { //采集新闻列表包括标题,链接,简介并保存 public function index() { $contents = file_get_contents('http://news.sohu.com/guoneixinwen.shtml'); //搜狐国内新闻首页 $contents = mb_co

Python 网络爬虫(新闻采集脚本)

=====================爬虫原理===================== 通过Python访问新闻首页,获取首页所有新闻链接,并存放至URL集合中. 逐一取出集合中的URL,并访问链接获取源码,解析出新的URL链接添加到集合中. 为防止重复访问,设置一个历史访问,用于对新添加的URL进行过滤. 解析DOM树,获取文章相关信息,并将信息存储到Article对象中. 将Article对象中的数据通过pymysql保存到数据库中. 每完成一次数据的存储,计数器增加并打印文章标题,否

互联网金融-票据理财

定义 商业银行将已贴现的各类票据,以约定的利率转让给基金.信托中介,信托中介经过包装设计后,出售给投资者. 优点:起点低.收益高.风险低.期限短. 风险 投资票据型理财产品的风险较小,且收益较高.投资票据型理财产品面临的最大风险是商业汇票到期无法回收票款.引起这一风险的主要原因有三:一是承兑人认为已贴现票据存在瑕疵,不予付款:二是已贴现票据系伪造.变造票据,承兑人不予付款:三是承兑人破产,无力付款.票据理财多以银行信用支持,很安全! 收益 投资门槛低.收益率达6%-8% 投资期限 投资期限大多集

(Android+IOS)正在做一个新闻App,做的差不多了,听听大家的建议 (图)

(Android+IOS)正在做一个新闻App,做的差不多了,听听大家的建议! 新闻采集器做好了,前端展示APP界面感觉还不是很好,还需要改进改进,希望发布(Android和IOS版本)前听听大家的建议! 新闻采集器做好了,前端展示APP界面感觉还不是很好,还需要改进改进,希望发布前听听大家的建议!

开源:我的Android新闻客户端,速度快、体积小、支持离线阅读、操作简便、内容展现形式丰富多样、信息量大、功能全面 等(要代码的留下邮箱)

分享:我的Android新闻客户端,速度快.体积小.支持离线阅读.操作简便.内容展现形式丰富多样.信息量大.功能全面 等(要代码的留下邮箱) 历时30天我为了开发这个新闻客户端APP,以下简称觅闻 http://m.yunxunmi.com/ 由于本人比较愚钝,不太擅长各种开源代码的运用,因此全部从0开始开发,期间开发了: 一个新闻采集器(C++),截止目前为止已经连续运行20多天没出现任何故障,采集接近150个大中型新闻分类网站,采集器下载及介绍网站预计下周免费发布,风格类似我的即时通讯网站 

在线视频节目

法制: 焦点访谈:http://cctv.cntv.cn/lm/jiaodianfangtan/index.shtml 面对面:http://cctv.cntv.cn/lm/mianduimian/index.shtml 共同关注:http://cctv.cntv.cn/lm/gongtongguanzhu/20121214.shtml 法制在线:http://cctv.cntv.cn/lm/fazhizaixian/20121215.shtml 每周质量报告:http://cctv.cntv.