网络爬虫之JSOUP
JSOUP中文文档:http://www.open-open.com/jsoup/
推荐博客:http://www.cnblogs.com/jycboy/p/jsoupdoc.html
从一个URL加载一个Document
Document doc = Jsoup.connect("http://example.com")
.data("query", "Java")
.userAgent("Mozilla")
.cookie("auth", "token")
.timeout(3000)
.post();
使用DOM方法来遍历一个文档
File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/"); Element content = doc.getElementById("content");
Elements links = content.getElementsByTag("a");
for (Element link : links) {
String linkHref = link.attr("href");
String linkText = link.text();
}
查找元素
getElementById(String id)
getElementsByTag(String tag)
getElementsByClass(String className)
getElementsByAttribute(String key) (and related methods
元素数据
attr(String key)获取属性attr(String key, String value)设置属性
attributes()获取所有属性
id(), className() and classNames()
text()获取文本内容text(String value) 设置文本内容
html()获取元素内HTMLhtml(String value)设置元素内的HTML内容
使用选择器语法来查找元素
Elements links = doc.select("a[href]"); //带有href属性的a元素
Elements pngs = doc.select("img[src$=.png]");//扩展名为.png的图片
Element masthead = doc.select("div.masthead").first(); //class等于masthead的div标签
Elements resultLinks = doc.select("h3.r > a"); //在h3元素之后的a元素
如何找到优酷网视频的URL的连接地址?
视频的下面 有“ 分享 ”或 “站外引用 ”或是 贴到博客或BBS ,如果有点下,然后复制FALSH地址,在空间里写日志,点插入flash选项,加入flash的地址就可以了。
代码示例:
功能:使用JSoup爬取连接地址
import java.io.IOException;
import java.io.UnsupportedEncodingException;
import java.net.URLEncoder;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements; public class OnlineProductDownload { public void demo1() {
// 从优酷下载包含视频结果的html
Document doc = getHtmlByName("冷然之天秤");
try {
//选择第一个结果
Element element = doc.select("div.s_inform").first();
// 获取播放源,不是优酷本站的返回(优酷可能会跳转到其他网站,如:爱奇艺)
Element playSource = element.select("div.pos_area span").first();
if (playSource.text() != "优酷") {
return;
} //每个li一集(海贼王:第一集、第二集)
Elements li_Elements = element.select("ul.clearfix li");
for (Element li : li_Elements) {
// 获取第几集
Element span = li.getElementsByTag("span").first();
String text = span.text();
// 获取每集详情的url(并不是视频的真实url)
Element a = li.getElementsByTag("a").first();
String href = a.attr("href"); // 根据href获取详情网页文本
doc = getHtmlTextByUrl(href);
//查找实际结果标签
Element sourceLi = doc.select("ul.fn-share-code li").first();
// 根据doc获取播放插件. 如:
// <iframe src='http://player.youku.com/embed/XMzUwNjM1OTA0MA=='></iframe>
Element input = sourceLi.getElementsByTag("input").first();
String value = input.attr("value");
System.out.println(text + value);
}
// http://v.youku.com/v_show/id_XMzUwNjM1OTA0MA==.html
} catch (Exception e) {
e.printStackTrace();
}
} // 功能:使用优酷的搜库来搜索视频,并根据名称获取网页文本 如:海贼王
public Document getHtmlByName(String name) {
if (name.isEmpty() || name.length() <= 0) {
return null;
}
// 拼接URL 优酷搜索形式:http://www.soku.com/search_video/q_海贼王
String url = "http://www.soku.com/search_video/q_";
try {
//url编码:%E6%B5%B7%E8%B4%BC%E7%8E%8B=海贼王
String encodeStr = URLEncoder.encode(name, "utf-8");
url = url + encodeStr;
} catch (UnsupportedEncodingException e1) {
e1.printStackTrace();
}
// 通过url获取html
try {
Document doc = Jsoup.connect(url).get();
return doc;
} catch (IOException e) {
e.printStackTrace();
}
return null;
} // 根据url从网络获取网页文本
public Document getHtmlTextByUrl(String url) {
Document doc = null;
try {
//拼接成完整的路径
String str = "http:";
str = str + url;
doc = Jsoup.connect(str).get();
} catch (IOException e) {
e.printStackTrace();
}
return doc;
} }
网络爬虫之JSOUP的更多相关文章
- 网络爬虫技术Jsoup——爬到一切你想要的(转)
转自:http://blog.csdn.net/ccg_201216323/article/details/53576654 本文由我的微信公众号(bruce常)原创首发, 并同步发表到csdn博客, ...
- 网络爬虫技术Jsoup
Jsoup介绍:Jsoup 是一个 Java 的开源HTML解析器,可直接解析某个URL地址.HTML文本内容 Jsoup主要有以下功能: 1. 从一个URL,文件或字符串中解析HTML 2. 使用D ...
- Android网络爬虫程序(基于Jsoup)
摘要:基于 Jsoup 实现一个 Android 的网络爬虫程序,抓取网页的内容并显示出来.写这个程序的主要目的是抓取海投网的宣讲会信息(公司.时间.地点)并在移动端显示,这样就可以随时随地的浏览在学 ...
- iOS—网络实用技术OC篇&网络爬虫-使用java语言抓取网络数据
网络爬虫-使用java语言抓取网络数据 前提:熟悉java语法(能看懂就行) 准备阶段:从网页中获取html代码 实战阶段:将对应的html代码使用java语言解析出来,最后保存到plist文件 上一 ...
- Atitit 网络爬虫与数据采集器的原理与实践attilax著 v2
Atitit 网络爬虫与数据采集器的原理与实践attilax著 v2 1. 数据采集1 1.1. http lib1 1.2. HTML Parsers,1 1.3. 第8章 web爬取199 1 2 ...
- Java开发、网络爬虫、自然语言处理、数据挖掘简介
一.java开发 (1) 应用开发,即Java SE开发,不属于java的优势所在,所以市场占有率很低,前途也不被看好. (2) web开发,即Java Web开发,主要是基于自有或第三方成熟框架的系 ...
- 开源的49款Java 网络爬虫软件
参考地址 搜索引擎 Nutch Nutch 是一个开源Java 实现的搜索引擎.它提供了我们运行自己的搜索引擎所需的全部工具.包括全文搜索和Web爬虫. Nutch的创始人是Doug Cutting, ...
- iOS开发——网络实用技术OC篇&网络爬虫-使用java语言抓取网络数据
网络爬虫-使用java语言抓取网络数据 前提:熟悉java语法(能看懂就行) 准备阶段:从网页中获取html代码 实战阶段:将对应的html代码使用java语言解析出来,最后保存到plist文件 上一 ...
- crawler4j:轻量级多线程网络爬虫实例
crawler4j是Java实现的开源网络爬虫.提供了简单易用的接口,可以在几分钟内创建一个多线程网络爬虫. 下面实例结合jsoup(中文版API),javacvs 爬取自如租房网(http://sh ...
随机推荐
- [ZOJ3649]Social Net 题解
前言 这道题目珂以说是很毒瘤了. 题解 首先克鲁斯卡尔求最大生成树,输出边权和. 倍增维护四个值: 链上最大值/最小值 链向上/向下最大差值 当然祖先是肯定要维护的. 然后把一条链经LCA分成 ...
- sublime Text3中文字体错位问题解决办法
问题如下: 问题成因: 配置中的默认字体为Consolas,这种字体对中文支持效果不是很好 解决办法: 1.下载 Yahei Consolas Hybrid 字体 2.将下载的Yahei Consol ...
- Spring Boot教程(九)异步方法
创建工程 在pom文件引入相关依赖: <dependency> <groupId>org.springframework.boot</groupId> <ar ...
- 南京网络赛C
分段打表大法好!!! 打表40min,A题1s https://nanti.jisuanke.com/t/41300 #include<bits/stdc++.h> #define int ...
- mysql 5.7分组报错问题 Expression #1 of ORDER BY clause is not in GROUP BY clause 的问题 MySQL
解决方案: select version(),@@sql_mode;SET sql_mode=(SELECT REPLACE(@@sql_mode,'ONLY_FULL_GROUP_BY','')); ...
- 506C Mr. Kitayuta vs. Bamboos
分析 代码 #include<bits/stdc++.h> using namespace std; #define int long long ],h[],now[],cnt[]; in ...
- 十四、RF中SSHLibrary库介绍
A.安装SSHLibrary: pip2 install robotframework-sshlibrary (导入SSHLibrary) B.远程连接linux服务器 1.#连接linux服 ...
- Django学习之Form表单
一.Form介绍 普通方式手写注册功能 使用form组件实现注册功能 二.Form那些事儿 1.常用字段与插件 initial error_messages password radioSelect ...
- TiDB配置HAProxy负载均衡
1.简介 HAProxy是一个C语言编写的免费的负载均衡软件,可以运行于大部分主流的Linux操作系统上. HAProxy提供了L4(TCP)和L7(HTTP)两种负载均衡能力,具备丰富的功能. 2. ...
- mysql源码包安装
一.准备编译环境 # yum -y install ncurses ncurses-devel openssl-devel bison gcc gcc-c++ make cmake # wget ht ...