学习使用Et采集的过程和分析

ET采集主要逻辑是做好这三个步骤，然后开始工作

采集配置

基本设置一般不用修改

列表设置：列表网址，可能有些人不知道什么是列表网址，就是你所要采集网址放在一个页面就是列表网址，比如我们常说的栏目，一个论坛的版块：

列表页肯定不是一页，一般是有规律的，就需要设置成自动列表，具体规则参考ET

列表区域选择：一个网页大的去了，为了快速找到你想要采集的页面，需要制定区域，

一定要找唯一属性的，一般是找id 之类的，中间是你区域内容

列表分析规则：对列表进行分析，用标记替换找到我们需要的文章标题，文章网址，文章缩略图，常见的是包含a标签的，必须有单独标记

文章网址合成：根据列表分析得到的网址，合成你所要采集的页面的网址

时间： 2024-11-03 21:54:01

学习使用Et采集的过程和分析的相关文章

Android系统进程间通信（IPC）机制Binder中的Client获得Server远程接口过程源代码分析

文章转载至CSDN社区罗升阳的安卓之旅,原文地址:http://blog.csdn.net/luoshengyang/article/details/6633311 在上一篇文章中,我们分析了Android系统进程间通信机制Binder中的Server在启动过程使用Service Manager的addService接口把自己添加到Service Manager守护过程中接受管理.在这一篇文章中,我们将深入到Binder驱动程序源代码去分析Client是如何通过Service Manager的

Android应用程序绑定服务（bindService）的过程源代码分析

文章转载至CSDN社区罗升阳的安卓之旅,原文地址:http://blog.csdn.net/luoshengyang/article/details/6745181 Android应用程序组件Service与Activity一样,既可以在新的进程中启动,也可以在应用程序进程内部启动:前面我们已经分析了在新的进程中启动Service的过程,本文将要介绍在应用程序内部绑定Service的过程,这是一种在应用程序进程内部启动 Service的方法. 在前面一篇文章Android进程间通信(IPC)机

oracle学习笔记 SQL语句执行过程剖析讲课

oracle学习笔记 SQL语句执行过程剖析讲课这节课通过讲述一条SQL语句进入数据库和其在数据库中的整个的执行过程把数据库里面的体系结构串一下. 让大家再进一步了解oracle数据库里面的各个进程.存储结构以及内存结构的关联关系. 首先来讲整个体系中有客户端.实例和数据库数据库里有三类文件控制文件ctl.数据文件dbf.日志文件log 实例中SGA有六大池子第一大内存区shared pool即共享池第二大内存区buffer cache 第三块是redo log 我们主要讲上面的三

Android应用程序安装过程源代码分析

文章转载至CSDN社区罗升阳的安卓之旅,原文地址:http://blog.csdn.net/luoshengyang/article/details/6766010 Android系统在启动的过程中,会启动一个应用程序管理服务PackageManagerService,这个服务负责扫描系统中特定的目录,找到里面的应用程序文件,即以Apk为后缀的文件,然后对这些文件进解析,得到应用程序的相关信息,完成应用程序的安装过程, 本文将详细分析这个过程. 应用程序管理服务PackageManagerSe

Android应用程序组件Content Provider的启动过程源代码分析

文章转载至CSDN社区罗升阳的安卓之旅,原文地址:http://blog.csdn.net/luoshengyang/article/details/6963418 通过前面的学习,我们知道在Android系统中,Content Provider可以为不同的应用程序访问相同的数据提供统一的入口.Content Provider一般是运行在独立的进程中的,每一个Content Provider在系统中只有一个实例存在,其它应用程序首先要找到这个实例,然后才能访问它的数据.那么,系统中的Conten

Android-Universal-Image-Loader 学习笔记（五）线程池分析

UniveralImageLoader中的线程池一般情况网络访问就需要App创建一个线程来执行(不然可能出现很臭的ANR),但是这也导致了当网络访问比较多的情况下,线程的数目可能指数增多,虽然Android系统理论上说可以创建无数个线程,但是某一时间段,线程数的急剧增加可能导致系统OOM. 在UIL中引入了线程池这种技术来管理线程.合理利用线程池能够带来三个好处. 第一:降低资源消耗.通过重复利用已创建的线程降低线程创建和销毁造成的消耗. 第二:提高响应速度.当任务到达时,任务可以不需要等到线

认识Robotlegs（一）注入过程的分析

提到Robotlegs,很多人都读过一篇叫做<Robotlegs最佳实践>的教程,都知道Robotlegs是一个基于IOC的MVC微框架,其内部的注入机制有三种绑定规则(值绑定.类绑定. 单例绑定),现在我以SwiftSuspenders的视角再来分析一下注入的实现过程. SwiftSuspenders实现注入的过程大致是下面的步骤: 1)创建注入器 2)添加注入规则 3)初始化注入宿主(InjecteeClass) 4)对注入宿主进行注入 (把注入对象注入到宿主内部) 1 /**注入对象*/

Accelerated C++学习笔记7—<使用顺序容器并分析字符串>

第6章使用库算法本章中主要教我们如何使用几个库算法来解决与处理字符串和学生成绩相关的问题. 1.分析字符串使用一个循环来连接两幅字符图案 for(vector<string>::const_iterator it = bottom.begin(); it != bottom.end(); ++it) ret.push_back(*it);</span> 等价于 ret.insert(ret.end(), bottom.begin(), bottom.end());</

MariaDb数据库管理系统学习（一）安装过程图解

MariaDB数据库管理系统是MySQL的一个分支,主要由开源社区在维护,采用GPL授权许可.开发这个分支的原因之一是:甲骨文公司收购了MySQL后,有将MySQL闭源的潜在风险,因此社区采用分支的方式来避开这个风险. MariaDB的目的是完全兼容MySQL,包括API和命令行,使之能轻松成为MySQL的代替品.在存储引擎方面,使用XtraDB(英语:XtraDB)来代替MySQL的InnoDB. MariaDB由MySQL的创始人Michael Widenius(英语:Michael Wid