代码地址如下:
http://www.demodashi.com/demo/11643.html

昨天LZ去面试,遇到一个大牛,被血虐一番,发现自己基础还是很薄弱,对java一些原理掌握的还是不够稳固,比如java反射注解,知道一点就是说不出来,很尴尬... 生命不止,学习不止啊

之前那个项目 QNews 用的是的第三方的数据平台,所以访问次数会有限制,这就很无奈。。。

我的博客地址

每天只能请求100次....但是LZ这个穷屌丝也买不起服务器,所以就上网查,有什么别的方法可以获取数据,意外之间发现了jsoup这个强大的框架,就花了上午时间学习了一下,然后下午做了一个小Demo,功能比较单一,请见谅。

其实一开始的时候是想 爬今日头条的数据,但是发现数据总是为空,我估计是上锁了... 然后就把矛头转向了 简书,哈哈哈...果然简书就是好,数据直接就可以爬到了, 好开心啊!!

先演示一波动态图:

话说这个布局就花了我半个小时...

一些基础的我就不说了,就简单说明一下我的数据是如何爬到的。可以直接去看一下我的源码,写的比较仓促,一些细节没有处理好,多多指教。

1. 准备

1. 相关资料

官方文档

中文文档

2. 添加依赖

  1. compile 'org.jsoup:jsoup:1.9.2'

3. 打开简书首页

在单个部分上 右击,然后点击检查选项(我用的是QQ浏览器,其他未尝试),底部就会跳出网页的源码,并且会跟踪到这个item对应的源码。

从上图可以大概了解到每个<li></li>标签里的内容就是我们每个item的信息。

2. 爬数据

1. 获取 Document 对象

  1. Document document = Jsoup.connect("http://www.jianshu.com/")
  2. .timeout(10000)
  3. .get();

这里通过建立与服务器的链接,并设置10s的超时连接来获取 Document 对象

2. 获取跟标签的 Elements 对象

  1. Elements noteList = document.select("ul.note-list");
  2. Elements li = noteList.select("li");

找到文章列表模块,发现 <ul class="note-list></ul> 是我们需要信息的跟标签。通过 select 方法查询节点所有信息。

  1. for (Element element : li) {
  2. ...
  3. }

下面全部都是 li标签的列表,里面的内容大致相似,我们就可以通过循环来遍历里面的信息。

3. 获取每个部分所有信息

因为信息比较多,我就选择比较有代表性的来将一下。

有个非常简单的方式:直接在你需要获取内容的部分右击,点击 检查,就可以直接追踪到要查询的位置。

1. 标题

就拿标题而言,直接在标题右击-->检查,即可,一目了然。然后我把数据截图一下。

  1. String title = element.select("a.title").text()

通过 select 查询节点信息,然后 .text 获取里面文本内容。

2. 头像:

  1. String avatar = element.select("a.avatar").select("img").attr("src")

这个就是先找到头像 节点,然后图片节点,最后通过 attr 获取图片 url

3. 首页链接

  1. String authorLink = element.select("a.blue-link").attr("abs:href")

这里注意 href 元素,他存放的就是跳转链接,不过是相对路径,这个时候就需要通过 attr("abs:href") 获取绝对路径。

其他 就 大同小异,其实我知道也就这么多,也是不断尝试通过打印得出来的,还是比较心酸的,比较没学过 js,不过对 js 挺有兴趣的。

3. 封装

剩下的就是将获取到的数据加载到bean对象中

1. 创建 bean 对象

  1. public class JianshuBean {
  2. private String authorName; // 作者
  3. private String authorLink; // 作者链接
  4. private String time; // 更新时间
  5. private String primaryImg; // 主图
  6. private String avatarImg; // 头像
  7. private String title; // 标题
  8. private String titleLink; // 标题链接
  9. private String content; // 内容
  10. private String collectionTagLink; // 专题链接
  11. private String readNum; // 阅读量
  12. private String talkNum; // 评论
  13. private String likeNum; // 喜欢
  14. private String collectionTag; // 专题
  15. // ... get set
  16. }

2. 将获取到的数据添加到集合中

  1. for (Element element : li) {
  2. JianshuBean bean = new JianshuBean();
  3. bean.setAuthorName(element.select("div.name").text()); // 作者姓名
  4. bean.setAuthorLink(element.select("a.blue-link").attr("abs:href")); // 作者首页链接
  5. bean.setTime(element.select("span.time").attr("data-shared-at")); // 发表时间
  6. bean.setPrimaryImg(element.select("img").attr("src")); // 主图
  7. bean.setAvatarImg(element.select("a.avatar").select("img").attr("src")); // 头像
  8. bean.setTitle(element.select("a.title").text()); // 标题
  9. bean.setTitleLink(element.select("a.title").attr("abs:href")); // 标题链接
  10. bean.setContent(element.select("p.abstract").text()); // 内容
  11. bean.setCollectionTagLink(element.select("a.collection-tag").attr("abs:href")); // 专题链接
  12. String[] text = element.select("div.meta").text().split(" ");
  13. if (text[0].matches("[0-9]+")) {
  14. bean.setReadNum(text[0]);
  15. bean.setTalkNum(text[1]);
  16. bean.setLikeNum(text[2]);
  17. } else {
  18. bean.setCollectionTag(text[0]);
  19. bean.setReadNum(text[1]);
  20. bean.setTalkNum(text[2]);
  21. bean.setLikeNum(text[3]);
  22. }
  23. mBeans.add(bean);
  24. }

再来看一下效果:

项目文件截图:

  • 点击头像查看作者信息
  • 点击图片或文字查看文章内容
  • 点击专题查看专题内容
  • 下拉刷新获取最新内容

希望大家多多支持我,谢谢!

jsoup爬虫简书首页数据做个小Demo

代码地址如下:
http://www.demodashi.com/demo/11643.html

注:本文著作权归作者,由demo大师代发,拒绝转载,转载需要作者授权

jsoup爬虫简书首页数据做个小Demo的更多相关文章

  1. Node爬取简书首页文章

    Node爬取简书首页文章 博主刚学node,打算写个爬虫练练手,这次的爬虫目标是简书的首页文章 流程分析 使用superagent发送http请求到服务端,获取HTML文本 用cheerio解析获得的 ...

  2. Python 2.7_多进程获取简书专题数据(一)

    学python几个月了正好练练手,发现问题不断提高,先从专题入手,爬取些数据,一开始对简书网站结构不熟悉,抓取推荐,热门,城市3个导航栏,交流发现推荐和热门是排序不同,url会重复,以及每个专题详情页 ...

  3. [Unity3D]做个小Demo学习Input.touches

    [Unity3D]做个小Demo学习Input.touches 学不如做,下面用一个简单的Demo展示的Input.touches各项字段,有图有真相. 本项目已发布到Github,地址在(https ...

  4. python爬虫 --- 简书评论

    某些网站的一些数据是通过js加载的 ,所以爬取下来的数据拿不到, 找到评论的地址 .进行请求获取评论数据 #coding=utf-8 import json import requests def r ...

  5. 基于Angular和Spring WebFlux做个小Demo

    前言 随着Spring Boot2.0正式发布,Spring WebFlux正式来到了Spring Boot大家族里面.由于Spring WebFlux可以通过更少的线程去实现更高的并发和使用更少的硬 ...

  6. pyqt5 做的小程序,可以用来UI做个小demo

    #!/usr/bin/python3# -*- coding: utf-8 -*- """ZetCode PyQt5 tutorial This program crea ...

  7. python爬虫学习(8) —— 关于4399的一个小Demo

    堂弟喜欢各种游戏,在没有网络的情况下,上4399显得很无力. 另外,4399广告好多,,而且加载慢.. 怎么办,,写个爬虫吧,,把4399上的"好玩"游戏爬下来. 1. 分析阶段 ...

  8. 简书全站爬取 mysql异步保存

    # 简书网 # 数据保存在mysql中; 将selenium+chromedriver集成到scrapy; 整个网站数据爬取 # 抓取ajax数据 #爬虫文件 # -*- coding: utf-8 ...

  9. Python爬取简书主页信息

    主要学习如何通过抓包工具分析简书的Ajax加载,有时间再写一个Multithread proxy spider提升效率. 1. 关键点: 使用单线程爬取,未登录,爬取简书主页Ajax加载的内容.主要有 ...

随机推荐

  1. hdu5079

    这道题的难点在于思考dp表示什么 首先可以令ans[len]表示白色子矩阵边长最大值大于等于len的方案数则ans[len]-ans[len+1]就是beautifulness为len的方案数 白色子 ...

  2. CSS基本属性—文本属性和背景属性

    一.CSS常用文本属性 [css中的颜色表示方式]   1.直接使用颜色的单词表示:red.green.blue    2.使用颜色的十六进制表示:#ff0000,#00ff00:    六位数,两两 ...

  3. STL模板整理 vector

    一.什么是标准模板库(STL)? 1.C++标准模板库与C++标准库的关系 C++标准模板库其实属于C++标准库的一部分,C++标准模板库主要是定义了标准模板的定义与声明,而这些模板主要都是 类模板, ...

  4. ASP.NET: Setup a MVC5 website with MySQL, Entity Framework 6 Code-First and VS2013

    The new features available in EF6 allow any developer to build a simple DB-powered website with very ...

  5. [thinkphp] 是如何输出一个页面的

    表面上看,TP输出一个页面很简单:$this->display(); 实际上是怎么回事呢?$this->display(); 这个display()方法是定义在ThinkPHP/Libra ...

  6. HDU 1285 确定比赛名次【字典序最小的拓扑排序 + 优先队列】

    确定比赛名次 Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others) Total Submis ...

  7. Problem A: 英雄无敌3(1)【dp/待补】

      Problem A: 英雄无敌3(1) Time Limit: 1 Sec  Memory Limit: 128 MBSubmit: 86  Solved: 16[Submit][Status][ ...

  8. 5、Flask实战第5天:页面跳转和重定向

    GET和POST请求 在网络请求中有许多请求方式,比如GET, POST, DELETE, PUT等,最常用的就是GET和POST GET 只会在服务器上获取资源,不会更改服务器的状态,这种请求方式推 ...

  9. 加快Vue项目的开发速度

    巧用Webpack Webpack是实现我们前端项目工程化的基础,但其实她的用处远不仅仅如此,我们可以通过Webpack来帮我们做一些自动化的事情.首先我们要了解require.context()这个 ...

  10. View Controller Basics学习记录

    1.UIView,UIScreen ,UIWindow的区别? UIScreen是关于设备的尺寸大小.UIWindow是在UIScreen上作画的区域.UIView是在uiwindow上draw视图. ...