jsoup简单的爬取网页数据
/**
* Project Name:JavaTest
* File Name:BankOfChinaExchangeRate.java
* Package Name:com.lee.javatest
* Date:2016年7月22日下午1:34:09
* Copyright (c) 2016年7月22日, Pwenlee All Rights Reserved.
*
*/ package com.lee.javatest; import java.io.Serializable;
import java.math.BigDecimal;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.Date;
import java.util.List; import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.HttpStatus;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.params.CoreConnectionPNames;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements; /**
* ClassName:BankOfChinaExchangeRate <br/>
* Function: 中行外汇牌价. <br/>
* Date: 2016年7月22日 下午1:34:09 <br/>
* @author PwenLee
* @version
* @see
*/
public class BankOfChinaExchangeRate implements Serializable{ private static final Integer DEAFULT_PAGESIZE = 20; private static final long serialVersionUID = -913877619191789389L; /**
* 货币名称 中文简体
*/
private String currency; /**
* 现汇买入价
*/
private BigDecimal buyingRate; /**
* 现钞买入价
*/
private BigDecimal cashBuyingRate; /**
* 现汇卖出价
*/
private BigDecimal sellingRate; /**
* 现钞卖出价
*/
private BigDecimal cashSellingRate; /**
* 外管局中间价
*/
private BigDecimal SAFEMiddleRate; /**
* 中行折算价
*/
private BigDecimal bankConvertRate; /**
* 发布时间
*/
private String dateTime; public String getCurrency() {
return currency;
} public void setCurrency(String currency) {
this.currency = currency;
} public BigDecimal getBuyingRate() {
return buyingRate;
} public void setBuyingRate(BigDecimal buyingRate) {
this.buyingRate = buyingRate;
} public BigDecimal getCashBuyingRate() {
return cashBuyingRate;
} public void setCashBuyingRate(BigDecimal cashBuyingRate) {
this.cashBuyingRate = cashBuyingRate;
} public BigDecimal getSellingRate() {
return sellingRate;
} public void setSellingRate(BigDecimal sellingRate) {
this.sellingRate = sellingRate;
} public BigDecimal getCashSellingRate() {
return cashSellingRate;
} public void setCashSellingRate(BigDecimal cashSellingRate) {
this.cashSellingRate = cashSellingRate;
} public BigDecimal getSAFEMiddleRate() {
return SAFEMiddleRate;
} public void setSAFEMiddleRate(BigDecimal sAFEMiddleRate) {
SAFEMiddleRate = sAFEMiddleRate;
} public BigDecimal getBankConvertRate() {
return bankConvertRate;
} public void setBankConvertRate(BigDecimal bankConvertRate) {
this.bankConvertRate = bankConvertRate;
} public String getDateTime() {
return dateTime;
} public void setDateTime(String dateTime) {
this.dateTime = dateTime;
} /**
*
* BankOfChinaExchangeRate:
* date:日期 例入“2016-07-22”
* time:时间 例如“05:30:00”
* BankOfChinaCurrencyCode 枚举类
* @author PwenLee
* @param startDate
* @param endDate
* @param currencyCode
* @return BankOfChinaExchangeRate
*/
public BankOfChinaExchangeRate (String date, String time, BankOfChinaCurrencyCode currencyCode){
List<String> context = getExchangeRate(date, time, currencyCode);
this.currency = context.get(0);
this.buyingRate = new BigDecimal(context.get(1));
this.cashBuyingRate = new BigDecimal(context.get(2));
this.sellingRate = new BigDecimal(context.get(3));
this.cashSellingRate = new BigDecimal(context.get(4));
this.SAFEMiddleRate = new BigDecimal(context.get(5));
this.bankConvertRate = new BigDecimal(context.get(6));
this.dateTime = context.get(7) + " " + context.get(8);
} /**
* 取当天凌晨05:30:00的数据
*/
public BankOfChinaExchangeRate(){
SimpleDateFormat sdf=new SimpleDateFormat("yyyy-MM-dd");
Date date=new Date();
String nowDate=sdf.format(date);
List<String> context = getExchangeRate(nowDate, "05:30:00", BankOfChinaCurrencyCode.USD);
this.currency = context.get(0);
this.buyingRate = new BigDecimal(context.get(1));
this.cashBuyingRate = new BigDecimal(context.get(2));
this.sellingRate = new BigDecimal(context.get(3));
this.cashSellingRate = new BigDecimal(context.get(4));
this.SAFEMiddleRate = new BigDecimal(context.get(5));
this.bankConvertRate = new BigDecimal(context.get(6));
this.dateTime = context.get(7) + " " + context.get(8);
} /**
* 模拟请求url,返回html源码
* @author PwenLee
* @param url
* @return
*/
private static String GetHtml(String url) {
String html = null;
HttpClient httpClient = new DefaultHttpClient();
httpClient.getParams().setParameter(CoreConnectionPNames.CONNECTION_TIMEOUT, 20000);
HttpGet httpGet = new HttpGet(url);
try {
HttpResponse httpResponse = httpClient.execute(httpGet);
int resStatu = httpResponse.getStatusLine().getStatusCode();
if (resStatu == HttpStatus.SC_OK) {
HttpEntity entity = httpResponse.getEntity();
if (entity != null) {
html = EntityUtils.toString(entity, "utf-8");
}
}
} catch (Exception e) {
//TODO 打成logger
System.out.println("Connect " + url + " error");
e.printStackTrace();
} finally {
httpClient.getConnectionManager().shutdown();
}
return html;
} private List<String> getExchangeRate(String date, String time, BankOfChinaCurrencyCode currencyCode){ Integer totalPage = totalPage(date, time, currencyCode);
List<String> contextList = new ArrayList<String>();
if(totalPage <= 0){
//TODO logger
return contextList;
} String context = "";
for(int i=totalPage;i>=0;i--){
String url = "http://srh.bankofchina.com/search/whpj/search.jsp?erectDate="+date+"¬hing="+date+"&pjname="+currencyCode.getCode()+"&page="+i;
String html = GetHtml(url);
Document doc = Jsoup.parse(html);
Elements linkElements = doc.getElementsByClass("BOC_main");
Elements datas = linkElements.get(0).getElementsByTag("tr");
for (Element ele : datas) {
if(ele.text().indexOf(time) != -1){
context = ele.text();
break;
}
}
if(context != ""){ //TODO 换成StringUtils.isNotBlank
break;
}
} if(context == "") {//TODO 换成StringUtils.isBlank
//TODO logger
return contextList;
}else{
contextList = Arrays.asList(context.split(" "));
}
return contextList;
} public static Integer totalPage(){
Integer totalPage = 0;
try{
SimpleDateFormat sdf=new SimpleDateFormat("yyyy-MM-dd");
Date date=new Date();
String nowDate=sdf.format(date);
String url = "http://srh.bankofchina.com/search/whpj/search.jsp?erectDate="+nowDate+"¬hing="+nowDate+"&pjname="+BankOfChinaCurrencyCode.USD.getCode();
String html = GetHtml(url);
//截取网页总条数变量
String stringTemp = html.substring(html.indexOf("m_nRecordCount = "));
//获取变量的值
String totalcount = stringTemp.substring(stringTemp.indexOf("m_nRecordCount = ")+"m_nRecordCount = ".length(),stringTemp.indexOf(";"));
Integer totalnum = Integer.valueOf(totalcount);
if(totalnum % DEAFULT_PAGESIZE == 0){
totalPage = totalnum/DEAFULT_PAGESIZE;
}else{
totalPage = totalnum/DEAFULT_PAGESIZE+1;
}
}catch(Exception e){
//TODO 打成logger
}
return totalPage;
} public static Integer totalPage(String date, String time, BankOfChinaCurrencyCode currencyCode){
Integer totalPage = 0;
try{
String url = "http://srh.bankofchina.com/search/whpj/search.jsp?erectDate="+date+"¬hing="+date+"&pjname="+currencyCode.getCode();
String html = GetHtml(url);
//截取网页总条数变量
String stringTemp = html.substring(html.indexOf("m_nRecordCount = "));
//获取变量的值
String totalcount = stringTemp.substring(stringTemp.indexOf("m_nRecordCount = ")+"m_nRecordCount = ".length(),stringTemp.indexOf(";"));
Integer totalnum = Integer.valueOf(totalcount);
if(totalnum % DEAFULT_PAGESIZE == 0){
totalPage = totalnum/DEAFULT_PAGESIZE;
}else{
totalPage = totalnum/DEAFULT_PAGESIZE+1;
}
}catch(Exception e){
//TODO 打成logger
}
return totalPage;
} @Override
public String toString() {
return "BankOfChinaExchangeRate [currency=" + currency
+ ", buyingRate=" + buyingRate + ", cashBuyingRate="
+ cashBuyingRate + ", sellingRate=" + sellingRate
+ ", cashSellingRate=" + cashSellingRate + ", SAFEMiddleRate="
+ SAFEMiddleRate + ", bankConvertRate=" + bankConvertRate
+ ", dateTime=" + dateTime + "]";
} }
jsoup简单的爬取网页数据的更多相关文章
- 使用webdriver+urllib爬取网页数据(模拟登陆,过验证码)
urilib是python的标准库,当我们使用Python爬取网页数据时,往往用的是urllib模块,通过调用urllib模块的urlopen(url)方法返回网页对象,并使用read()方法获得ur ...
- python之爬取网页数据总结(一)
今天尝试使用python,爬取网页数据.因为python是新安装好的,所以要正常运行爬取数据的代码需要提前安装插件.分别为requests Beautifulsoup4 lxml 三个插件 ...
- python爬虫——爬取网页数据和解析数据
1.网络爬虫的基本概念 网络爬虫(又称网络蜘蛛,机器人),就是模拟客户端发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序.只要浏览器能够做的事情,原则上,爬虫都能够做到. 2 ...
- 使用 Python 爬取网页数据
1. 使用 urllib.request 获取网页 urllib 是 Python 內建的 HTTP 库, 使用 urllib 可以只需要很简单的步骤就能高效采集数据; 配合 Beautiful 等 ...
- 使用XPath爬取网页数据
我们以我的博客为例,来爬取我所有写过的博客的标题. 首先,打开我的博客页面,右键“检查”开始进行网页分析.我们选中博客标题,再次右键“检查”即可找到标题相应的位置,我们继续点击右键,选择Copy,再点 ...
- 03:requests与BeautifulSoup结合爬取网页数据应用
1.1 爬虫相关模块命令回顾 1.requests模块 1. pip install requests 2. response = requests.get('http://www.baidu.com ...
- 使用puppeteer爬取网页数据实践小结
简单介绍Puppeteer Puppeteer是一个Node库,它通过DevTools协议提供高级API来控制Chrome或Chromium.Puppeteer默认以无头方式运行,但可以配置为有头方式 ...
- Selenium+Tesseract-OCR智能识别验证码爬取网页数据
1.项目需求描述 通过订单号获取某系统内订单的详细数据,不需要账号密码的登录验证,但有图片验证码的动态识别,将获取到的数据存到数据库. 2.整体思路 1.通过Selenium技术,无窗口模式打开浏览器 ...
- 【推荐】oc解析HTML数据的类库(爬取网页数据)
TFhpple是一个用于解析html数据的第三方库,本人感觉功能还算可以,只不过在使用前必须配置项目. 配置 1.导入libxml2.tbd 2.设置编译路径 使用 这里使用一个例子来说明 http: ...
随机推荐
- Android editview 设置只能输入数字、字母和汉字
Android editview 设置只能输入数字.字母和汉字 当处理密码.昵称等特殊情况的时候,往往需要对输入内容加以限制.对于单纯的一种输入法限制可以对键盘和editview熟悉进行控制,而对于多 ...
- install skype4.3 in ubuntu15.04
Canonical Partners repository finally adds support for Ubuntu 15.04. Here’s how to enable the reposi ...
- RHEL5.8配置NFS服务
机器配置:4C+16GB 操作系统:RedHat Enterprise Linux 5.8 NFS基础 NFS(Network File System)是Linux系统之间使用最为广泛的文件共享协议, ...
- poj1083
The famous ACM (Advanced Computer Maker) Company has rented a floor of a building whose shape is in ...
- MVC与DWZ整合中部分问题的解决
1.错误提示距离太远 2.正确与错误时返回JSON(即:如何不出现打开新页显示JSON字串) 3.打开新页后“数据加载中,请稍候”关不掉 4.如何正常的分页,同时如果有查询结果时分页也要有效 5.关闭 ...
- [后端人员耍前端系列]AngularJs篇:使用AngularJs打造一个简易权限系统
一.引言 上一篇博文已经向大家介绍了AngularJS核心的一些知识点,在这篇博文将介绍如何把AngularJs应用到实际项目中.本篇博文将使用AngularJS来打造一个简易的权限管理系统.下面不多 ...
- 让ZenCoding提升编码速度
日前写了一篇关于VS神级插件Web Essentials的系列博客,其中在HTML&CSS操作技巧一节简单提到了ZenCoding,今天来详细说一下这个东西. 摘要 Zen Coding是一种 ...
- PPT嵌入字体的方法
使用ppt的时候,很多时候会使用一些特殊字体,在其他计算机上无法正常显示.这个时候就需要导出PPT的时候进行字体嵌入. 1.1 常规方法 所谓常规方法,是指那些字体的许可协议允许随意分发,我们才能导出 ...
- 一个App完成入门篇(四)- 完成反馈页面
上一节中我们学会了如何通过点击不同按钮切换页面,这节专注于完成反馈页面的功能以及细节动画. 导入项目 添加新组件 同步新组件 完成页面布局 输入时加动画效果 弹出日期选择 直接引用UI页面 将要学习的 ...
- 用手机访问本地环境的利器ngrok
我们在调试移动端页面,尤其是调试微信页面的时候,会遇到这样的情况,手机连着公司的wifi,开发环境(台式机)插着公司的网线,我们要用手机来访问开发环境下的页面.这个时候,如果网线和wifi是在同一个网 ...