【JAVA】Java爬虫框架 WebMagic的使用

具体详细信息参见 http://webmagic.io/

PageProcessor的实现：

　　实现PageProcessor接口即可。

　　在里面可以定制自己的爬虫规则

Webmagic的页面抓取过程也就是PageProcessor分为三个部分：

　　1.设置抓取器的参数：如重复次数，重复事件等等

　　2.设置抓取规则：也就是给你一个Html页面你要抓取其中的哪些信息

　　3.从当前的页面找没有访问过的连接，加入到抓取队列，等待抓取

public class GithubRepoPageProcessor implements PageProcessor {

    // 部分一：抓取网站的相关配置，包括编码、抓取间隔、重试次数等
    private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);

    @Override
    // process是定制爬虫逻辑的核心接口，在这里编写抽取逻辑
    public void process(Page page) {
        // 部分二：定义如何抽取页面信息，并保存下来
        page.putField("author", page.getUrl().regex("https://github\\.com/(\\w+)/.*").toString());
        page.putField("name", page.getHtml().xpath("//h1[@class=‘entry-title public‘]/strong/a/text()").toString());
        if (page.getResultItems().get("name") == null) {
            //skip this page
            page.setSkip(true);
        }
        page.putField("readme", page.getHtml().xpath("//div[@id=‘readme‘]/tidyText()"));

        // 部分三：从页面发现后续的url地址来抓取
        page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/\\w+/\\w+)").all());
    }

    @Override
    public Site getSite() {
        return site;
    }

    public static void main(String[] args) {

        Spider.create(new GithubRepoPageProcessor())
                //从"https://github.com/code4craft"开始抓
                .addUrl("https://github.com/code4craft")
                //开启5个线程抓取
                .thread(5)
                //启动爬虫
                .run();
    }
}

Selectable接口是什么：

　　实现Selectable接口就可以完成页面元素的链式抽取

　　page.getHtml()返回的是Html对象，这个Html类实现了Selectable接口，就可以继续抽取

　　也就是可以直接在page.getHtml().xxx().xxx() 这样链式的抽取元素

获取结果：

　　如果抽取完毕得到自己想要的东西的话，就可以用get方法或者toString方法来获取结果

　　get()返回字符串　　

　　toString()返回字符串

　　all()返回所有抽取结果

　　match()返回boolean值，代表是否有匹配结果

保存结果：

　　上面的过程已经可以得到想要的结果了，现在就需要对这些结果做处理

　　选择，是输出出来呢，还是保存到数据库，还是保存到文件中。

　　就用到了Pipeline这个组件

　　这个组件就是负责指定结果的去向

　　比如从控制台输出结果，就是用ConsolePipeline来保存的

　　如果想要把他存放在某个目录，按照以下的代码做就行，非常方便

public static void main(String[] args) {
    Spider.create(new GithubRepoPageProcessor())
            //从"https://github.com/code4craft"开始抓
            .addUrl("https://github.com/code4craft")
            .addPipeline(new JsonFilePipeline("D:\\webmagic\\"))
            //开启5个线程抓取
            .thread(5)
            //启动爬虫
            .run();
}

爬虫的配置：

　　Spider是一个类，这个类是爬虫启动的入口

　　需要给他的create方法传入一个策略 也就是PageProcessor的实现

　　然后配置

　　然后.run()运行

网站的配置：

　　对于站点本身有一些配置信息

　　比如有的站点需要登录，就要设定cookie

　　所以用Site对象类配置一个站点所需的各种属性。

爬虫的监控：

　　查看爬虫的执行状况

　　看有多少页面，已经得到了多少页面

　　通过JMX实现

　　可以使用Jconsole等工具来查看

　　可以很方便的添加一个监控

SpiderMonitor.instance().register(oschinaSpider);
        SpiderMonitor.instance().register(githubSpider);

WebMagic的组件：

　　四个，PageProcessor，Schedule，Downloader，Pipline

　　分别都可以定制

定制Pipline：

　　实现Pipline接口即可

　　已经提供了几个默认的Pipline

定制Scheduler

　　Scheduler是对于URL进行管理的组件

　　可以对URL队列去重

　　现有的Scheduler

　　可以单独定义去重的策略