jsoup爬虫简书首页数据做个小Demo

昨天LZ去面试,遇到一个大牛,被血虐一番,发现自己基础还是很薄弱,对java一些原理掌握的还是不够稳固,比如java反射注解,知道一点就是说不出来,很尴尬… 生命不止,学习不止啊

之前那个项目 QNews 用的是的第三方的数据平台,所以访问次数会有限制,这就很无奈。。。

我的博客地址

每天只能请求100次….但是LZ这个穷屌丝也买不起服务器,所以就上网查,有什么别的方法可以获取数据,意外之间发现了jsoup这个强大的框架,就花了上午时间学习了一下,然后下午做了一个小Demo,功能比较单一,请见谅。

其实一开始的时候是想 爬今日头条的数据,但是发现数据总是为空,我估计是上锁了… 然后就把矛头转向了 简书,哈哈哈…果然简书就是好,数据直接就可以爬到了, 好开心啊!!

先演示一波动态图:

话说这个布局就花了我半个小时…

一些基础的我就不说了,就简单说明一下我的数据是如何爬到的。可以直接去看一下我的源码,写的比较仓促,一些细节没有处理好,多多指教。

1. 相关资料

官方文档

中文文档

2. 添加依赖

compile 'org.jsoup:jsoup:1.9.2'

3. 打开简书首页

在单个部分上 右击,然后点击检查选项(我用的是QQ浏览器,其他未尝试),底部就会跳出网页的源码,并且会跟踪到这个item对应的源码。

从上图可以大概了解到每个<li></li>标签里的内容就是我们每个item的信息。

2. 爬数据

1. 获取 Document 对象

Document document = Jsoup.connect("http://www.jianshu.com/")
                         .timeout(10000)
                         .get();

这里通过建立与服务器的链接,并设置10s的超时连接来获取 Document 对象

2. 获取跟标签的 Elements 对象

Elements noteList = document.select("ul.note-list");
Elements li = noteList.select("li");

找到文章列表模块,发现 <ul class="note-list></ul> 是我们需要信息的跟标签。通过 select 方法查询节点所有信息。

for (Element element : li) {
    ...
}

下面全部都是 li标签的列表,里面的内容大致相似,我们就可以通过循环来遍历里面的信息。

3. 获取每个部分所有信息

因为信息比较多,我就选择比较有代表性的来将一下。

有个非常简单的方式:直接在你需要获取内容的部分右击,点击 检查,就可以直接追踪到要查询的位置。

1. 标题

就拿标题而言,直接在标题右击–>检查,即可,一目了然。然后我把数据截图一下。

String title = element.select("a.title").text()

通过 select 查询节点信息,然后.text 获取里面文本内容。

2. 头像:

String avatar = element.select("a.avatar").select("img").attr("src")

这个就是先找到头像 节点,然后图片节点,最后通过 attr 获取图片 url

3. 首页链接

String authorLink = element.select("a.blue-link").attr("abs:href")

这里注意 href 元素,他存放的就是跳转链接,不过是相对路径,这个时候就需要通过 attr("abs:href") 获取绝对路径。

其他 就 大同小异,其实我知道也就这么多,也是不断尝试通过打印得出来的,还是比较心酸的,比较没学过 js,不过对 js 挺有兴趣的。

3. 封装

剩下的就是将获取到的数据加载到bean对象中

1. 创建 bean 对象

public class JianshuBean {
    private String authorName;          // 作者
    private String authorLink;          // 作者链接
    private String time;                // 更新时间
    private String primaryImg;          // 主图
    private String avatarImg;           // 头像

    private String title;               // 标题
    private String titleLink;           // 标题链接
    private String content;             // 内容
    private String collectionTagLink;   // 专题链接
    private String readNum;             // 阅读量

    private String talkNum;             // 评论
    private String likeNum;             // 喜欢
    private String collectionTag;       // 专题

    // ... get set
}

2. 将获取到的数据添加到集合中

for (Element element : li) {
    JianshuBean bean = new JianshuBean();
    bean.setAuthorName(element.select("div.name").text()); // 作者姓名
    bean.setAuthorLink(element.select("a.blue-link").attr("abs:href")); // 作者首页链接
    bean.setTime(element.select("span.time").attr("data-shared-at"));   // 发表时间
    bean.setPrimaryImg(element.select("img").attr("src"));  // 主图
    bean.setAvatarImg(element.select("a.avatar").select("img").attr("src")); // 头像

    bean.setTitle(element.select("a.title").text());    // 标题
    bean.setTitleLink(element.select("a.title").attr("abs:href")); // 标题链接

    bean.setContent(element.select("p.abstract").text());       // 内容
    bean.setCollectionTagLink(element.select("a.collection-tag").attr("abs:href")); // 专题链接

    String[] text = element.select("div.meta").text().split(" ");
    if (text[0].matches("[0-9]+")) {
        bean.setReadNum(text[0]);
        bean.setTalkNum(text[1]);
        bean.setLikeNum(text[2]);
    } else {
        bean.setCollectionTag(text[0]);
        bean.setReadNum(text[1]);
        bean.setTalkNum(text[2]);
        bean.setLikeNum(text[3]);

    }
    mBeans.add(bean);
}

再来看一下效果:

项目地址

  • 点击头像查看作者信息
  • 点击图片或文字查看文章内容
  • 点击专题查看专题内容
  • 下拉刷新获取最新内容

希望大家多多支持我,谢谢!

我的博客

原文:大专栏  jsoup爬虫简书首页数据做个小Demo

原文地址:https://www.cnblogs.com/dajunjun/p/11657489.html

时间: 2024-10-21 16:57:57

jsoup爬虫简书首页数据做个小Demo的相关文章

Python 2.7_多进程获取简书专题数据(一)

学python几个月了正好练练手,发现问题不断提高,先从专题入手,爬取些数据,一开始对简书网站结构不熟悉,抓取推荐,热门,城市3个导航栏,交流发现推荐和热门是排序不同,url会重复,以及每个专题详情页三个类目最新评论,最新收录, 热门也会重复 做了下调整,代码执行完毕会返回所有专题的urls元组对象,以便下一步进入每个专题页面解析获取其他数据.注:变量focus关注数,和打开专题后最上面显示的专题关注人数会有差异,例如有的专题关注了10175人,在专题列表页会显示成"10.07k",因

[Unity3D]做个小Demo学习Input.touches

[Unity3D]做个小Demo学习Input.touches 学不如做,下面用一个简单的Demo展示的Input.touches各项字段,有图有真相. 本项目已发布到Github,地址在(https://github.com/bitzhuwei/AndroidTouchDemo). 制作Demo 很简单,只需拉一个Text,然后添加一个脚本. 脚本如下. 1 using UnityEngine; 2 using System.Collections; 3 4 public class Disp

基于Angular和Spring WebFlux做个小Demo

前言 随着Spring Boot2.0正式发布,Spring WebFlux正式来到了Spring Boot大家族里面.由于Spring WebFlux可以通过更少的线程去实现更高的并发和使用更少的硬件资源去实现扩展,我对此很感兴趣.同时Angular6也发布了,也想试试自己Angular的功底,便基于Angular和Spring WebFlux做个一个简单礼品管理系统的demo.至于angular和spring boot的集成可以参考该博客Angular和Spring Boot一起做个项目 响

TCP/IP Jnetpcap java数据抓包 小demo

jpcap java用于数据抓包的另一大jar包,由于年久失修(不更新)折腾了一下,就被我遗弃了,改用了Jnetpcap,网上资料比较少,基本只能从官网获取一下资料. 参考资料:Jnetpcap官网  http://www.jnetpcap.com/?q=examples 启动数据捕获,修改下需要捕获的网卡就可 import java.util.ArrayList; import java.util.Date; import java.util.List; import org.jnetpcap

简书全站爬取 mysql异步保存

# 简书网 # 数据保存在mysql中; 将selenium+chromedriver集成到scrapy; 整个网站数据爬取 # 抓取ajax数据 #爬虫文件 # -*- coding: utf-8 -*- import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from jianshu_spider.items import Articl

用pygame,做一个小小小小小........游戏

根据键盘方向键控制"不知火舞"的上下左右移动 其实我对Python能不能做大型游戏,还是执质疑态度.Python属于高级语言,那么不可避免的是,它的运行速度没有C语言快.机器语言到汇编语言,到面向过程再到面向对象,它们在电脑上的执行速度由快到慢,而游戏讲究的就是快!一定要快!所以我觉得,Python,不适用于写大型游戏.有的人不服了,Python语言是有C语言开发的,而C语言是做游戏的最有优势的语言,所以Python也能做? 不可否认的是,Python的确有先天性的优势,然而这些优势并

SuperSpider(简书爬虫JAVA版)

* 建站数据SuperSpider(简书)* 本项目目的:* 为练习web开发提供相关的数据:* 主要数据包括:* 简书热门专题模块信息.对应模块下的热门文章.* 文章的详细信息.作者信息.* 评论区详细信息.评论者信息等...* 最后存储mysql数据库. 想学习爬虫的同学也可以瞧瞧 整个项目跑完花了近十个小时, 足见数据之多, 个人web开发练习用来充当建站数据也是绰绰有余的(手动嘚瑟) 代码注释写的挺详细的,我就直接上代码了. 主要代码: 1 ? 2 3 /** 4 * 此类对简书文章内容

CSDN Android客户端开发(二):详解如何基于Java用Jsoup爬虫HTML数据

本文参考链接详细介绍如何使用Jsoup包抓取HTML数据,是一个纯java工程,并将其打包成jar包.希望了解如何用java语言爬虫网页的可以看下. 杂家前文就又介绍用HTTP访问百度主页得到html的string字符串,但html的文本数据如果不经过处理就是个文本字符串没有任何效果的.所谓的浏览器就是负责将文本的html"翻译"成看到的界面.在前文有介绍,这个csdn的客户端app分首页.业界.移动.研发.程序员.云计算五大类.以业界为例,http://news.csdn.net/ 

python爬虫(以简书为例)

1.主题: 简单爬取简书中的专题''@IT·互联网"中的文章,爬取信息之后通过jieba分词生成词云并且进行分析: 2.实现过程:    第一步:打开简书并进入到@IT-互联网专题 网页链接:https://www.jianshu.com/c/V2CqjW?utm_medium=index-collections&utm_source=desktop 通过观察,我们可以发现网页中的文章并没有分页,而是通过下拉滚动条js生成下一页 我们可以进入开发者工具观察得知,每次拉到网页的最后都会多一