java爬虫实战
1.下载jxl。jar包,网上多的是
2.编写如下代码:
package com.beyond.url;
import java.io.BufferedReader;
import java.io.File;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import jxl.Workbook;
import jxl.write.DateFormat;
import jxl.write.DateTime;
import jxl.write.Label;
import jxl.write.WritableCellFormat;
import jxl.write.WritableSheet;
import jxl.write.WritableWorkbook;
import jxl.write.WriteException;
import jxl.write.biff.RowsExceededException;
public class TestDemo {
/**
* 获取整个文本内容
* @param urlHtml
* @param Language
* @return
*/
public String getContent(String urlHTML)
{
String temp;
StringBuffer sb=new StringBuffer();
try {
URL ulr=new URL(urlHTML);
BufferedReader b=new BufferedReader(new InputStreamReader(ulr.openStream(),"utf-8"));
while ((temp=b.readLine())!=null) {
sb.append(temp);
}
} catch (Exception e) {
e.printStackTrace();
}
return sb.toString();
}
/**
* A 标签文字获取
* @param content
* @return
*/
public List<String> getTagA_WenZi(String content)
{
String regex = "<a.*?</a>";
Pattern pa = Pattern.compile(regex);
Matcher ma = pa.matcher(content);
List<String> list = new ArrayList<String>();
while (ma.find()) {
list.add(ma.group());
}
return list;
}
/**
* Span标签文字获取
* @param content
* @return
*/
public List<String> getTagSpan_WenZi(String content)
{
String regex = "<span.*?</span>";
Pattern pa = Pattern.compile(regex);
Matcher ma = pa.matcher(content);
List<String> list = new ArrayList<String>();
while (ma.find()) {
list.add(ma.group());
}
return list;
}
/**
* P 标签文字获取
* @param content
* @return
*/
public List<String> getTagP_Wenzi(String content)
{
String regex = "<p.*?</p>";
Pattern pa = Pattern.compile(regex);
Matcher ma = pa.matcher(content);
List<String> list = new ArrayList<String>();
while (ma.find()) {
list.add(ma.group());
}
return list;
}
/**
*
* div 标签获取
*/
public List<String> getTagDiv_Wenzi(String content)
{
String regex = "<div.*?</div>";
Pattern pa = Pattern.compile(regex);
Matcher ma = pa.matcher(content);
List<String> list = new ArrayList<String>();
while (ma.find()) {
list.add(ma.group());
}
return list;
}
/**
* 写入Excel
* @throws IOException
* @throws RowsExceededException
* @throws WriteException
*/
public void WriteToExcel(WritableWorkbook workbook,WritableSheet sheet,int cols,int rows,String Data,Label[] lb) throws IOException, RowsExceededException, WriteException
{
lb[rows]=new Label(cols,rows,Data);
Label labe1=new Label(1,0,"TagName_Of_A_Information");
sheet.addCell(labe1);
Label labe2=new Label(6,0,"TagName_Of_Span_Information");
sheet.addCell(labe2);
//Label label=new Label(cols,rows,Data);
sheet.addCell(lb[rows]);
}
public static void main(String[] args) throws InterruptedException, RowsExceededException, WriteException, IOException {
TestDemo t=new TestDemo();
String content=t.getContent("https://www.oracle.com/sun/index.html");
//System.out.println(content);
List<String> aTagString=t.getTagA_WenZi(content);
List<String> spanTagString=t.getTagSpan_WenZi(content);
List<String> pTagString=t.getTagP_Wenzi(content);
List<String> divTagString=t.getTagP_Wenzi(content);
WritableWorkbook workbook=Workbook.createWorkbook(new File("D:\\Data\\OracleTestDemo.xls"));
WritableSheet sheet=workbook.createSheet("Information", 0);
sheet = workbook.getSheet(0);
System.out.println("a标签摘取");
Label[] ji=new Label[aTagString.size()+spanTagString.size()];
for (int i = 0; i < aTagString.size(); i++) {
String aString=aTagString.get(i).replaceAll("<[^>]*>| |\t|\n|&[\\s\\S]*;{1}","").trim();
if (aString!="") {
t.WriteToExcel(workbook,sheet,1,i+1,aString,ji);
}
}
System.out.println("Span标签摘取");
for (int i = 0; i < spanTagString.size(); i++) {
String aString=spanTagString.get(i).replaceAll("<[^>]*>| |\t|\n|&[\\s\\S]*;{1}","").trim();
if (aString!=null) {
//System.out.println(aString);
t.WriteToExcel(workbook,sheet,6,i+1,aString,ji);
}
}
System.out.println("P标签摘取");
for (int i = 0; i < pTagString.size(); i++) {
String aString=pTagString.get(i).replaceAll("<[^>]*>| |\t|\n|&[\\s\\S]*;{1}","").trim();
if (aString!=null) {
//System.out.println(aString);
t.WriteToExcel(workbook,sheet,10,i+1,aString,ji);
}
}
System.out.println("Div标签摘取");
for (int i = 0; i < divTagString.size(); i++) {
String aString=divTagString.get(i).replaceAll("<[^>]*>| |\t|\n|&[\\s\\S]*;{1}","").trim();
if (aString!=null) {
//System.out.println(aString);
t.WriteToExcel(workbook,sheet,10,i+1,aString,ji);
}
}
//开始写入和关闭文件
workbook.write();
workbook.close();
System.out.println("写入完毕");
}
}
java爬虫实战的更多相关文章
- java爬虫中jsoup的使用
jsoup可以用来解析HTML的内容,其功能非常强大,它可以向javascript那样直接从网页中提取有用的信息 例如1: 从html字符串中解析数据 //直接从字符串中获取 public stati ...
- Java基础-爬虫实战之爬去校花网网站内容
Java基础-爬虫实战之爬去校花网网站内容 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 爬虫这个实现点我压根就没有把它当做重点,也没打算做网络爬虫工程师,说起爬虫我更喜欢用Pyt ...
- Java爬虫系列之实战:爬取酷狗音乐网 TOP500 的歌曲(附源码)
在前面分享的两篇随笔中分别介绍了HttpClient和Jsoup以及简单的代码案例: Java爬虫系列二:使用HttpClient抓取页面HTML Java爬虫系列三:使用Jsoup解析HTML 今天 ...
- Java爬虫项目实战(一)
目的: 通过网络爬虫爬取中国最小粒度的区域维度信息,包括省(Province) .市(City).县(County).镇(town).村委会(village) 主网站链接: http://www.st ...
- Pyhton爬虫实战 - 抓取BOSS直聘职位描述 和 数据清洗
Pyhton爬虫实战 - 抓取BOSS直聘职位描述 和 数据清洗 零.致谢 感谢BOSS直聘相对权威的招聘信息,使本人有了这次比较有意思的研究之旅. 由于爬虫持续爬取 www.zhipin.com 网 ...
- Pyhton爬虫实战
Pyhton爬虫实战 零.致谢 感谢BOSS直聘相对权威的招聘信息,使本人有了这次比较有意思的研究之旅. 由于爬虫持续爬取 www.zhipin.com 网站,以致产生的服务器压力,本人深感歉意,并没 ...
- 学校实训作业:Java爬虫(WebMagic框架)的简单操作
项目名称:java爬虫 项目技术选型:Java.Maven.Mysql.WebMagic.Jsp.Servlet 项目实施方式:以认知java爬虫框架WebMagic开发为主,用所学java知识完成指 ...
- PYTHON爬虫实战_垃圾佬闲鱼爬虫转转爬虫数据整合自用二手急速响应捡垃圾平台_3(附源码持续更新)
说明 文章首发于HURUWO的博客小站,本平台做同步备份发布. 如有浏览或访问异常图片加载失败或者相关疑问可前往原博客下评论浏览. 原文链接 PYTHON爬虫实战_垃圾佬闲鱼爬虫转转爬虫数据整合自用二 ...
- webmagic的设计机制及原理-如何开发一个Java爬虫
之前就有网友在博客里留言,觉得webmagic的实现比较有意思,想要借此研究一下爬虫.最近终于集中精力,花了三天时间,终于写完了这篇文章.之前垂直爬虫写了一年多,webmagic框架写了一个多月,这方 ...
随机推荐
- MySQL 加锁处理分析 转
MySQL 加锁处理分析 转 http://hedengcheng.com/?p=771 十二 13th, 2013 发表评论 | Trackback 1 背景 1 1.1 M ...
- mysql-mmm高可用配置说明
http://www.cnblogs.com/gomysql/p/3671896.html 实战配置 http://www.cnblogs.com/chenmh/p/5744227.html 半同步配 ...
- WCF学习心得------(六)数据协定
--前言 最近各种事忙的把之前的WCF学习给耽误了一些,今天抽时间把之前的学习内容给总结了一下,因为知识点比较细碎没有做太多的练习示例,只是对其中关键的知识点做了总结,希望可以对大家有所帮助. 第六章 ...
- CCS float vs clear
有人已经写过了.(*^__^*) 嘻嘻…… 为啥我不能写, ( ‵o′)凸 float 首先,HTML的布局是流布局.其元素是分为行内元素和块级元素的. 所谓行内元素就是接着写不会发生换行的元素如&l ...
- java数组操作
@Bizlet("数据对象扩展运算逻辑")public class DataObjectExt { private DataObjectExt(){ //工具类不能实例化 } /* ...
- 【jmeter】基于InfluxDB&Grafana的JMeter实时性能测试数据的监控和展示
本文主要讲述如何利用JMeter监听器Backend Listener,配合使用InfluxDB+Grafana展示实时性能测试数据 关于JMeter实时测试数据 JMeter从2.11版本开始,命令 ...
- 解决RPM包相互依赖的有效方法
出自:http://blog.csdn.net/kai27ks/article/details/7473683 前言:常用RPM的朋友们都知道,RPM简单易用,但是它的依赖关系是最头疼的!有时候比方说 ...
- Linux IO调度器相关算法介绍(转)
IO调度器(IO Scheduler)是操作系统用来决定块设备上IO操作提交顺序的方法.存在的目的有两个,一是提高IO吞吐量,二是降低IO响应时间.然而IO吞吐量和IO响应时间往往是矛盾的,为了尽量平 ...
- 最简单的ioc容器代码(低仿Spring )
Spring 的一大核心就是IOC,控制反转(依赖注入). 对象交由容器去控制,降低耦合性. Spring 的ioc实现原理其实很简单,容器启动后读取并解析配置文件,根据配置文件中<bean&g ...
- WebAPI 安全性 使用TOKEN+签名验证(下)
//根据请求类型拼接参数 NameValueCollection form = HttpContext.Current.Request.QueryString; string data = strin ...