HttpClient的使用-爬虫学习1
HttpClient的使用-爬虫学习(一)
Apache真是伟大,为我们提供了HttpClient.jar,这个HttpClient是客户端的http通信实现库,这个类库的作用是接受和发送http报文,引进这个类库,我们对于http的操作会变得简单一些,事不宜迟,赶快介绍。
在将这个HttpClient之前,我们必须弄清两个概念:URL和URI
URI(Universal Resource Identify),通用资源标识符,而URL(Uniform Resource Locator),统一资源定位符,两个有什么区别,其实就是范围大小的问题,URI是包含URL的,URI由访问资源的命名机制、存放资源的主机名、资源自身的路径组成,而URL由协议、资源的主机IP地址、主机资源的具体地址组成,有他们两个的组成我们可以清楚的看出,其实URL就是我们平时输入浏览器的地址,如“http://www.hao123.com”,URL是URI的具体表现形式而已,URI是包含URL的。
下面正式学习HttpClient:
我讲解的这个HttpClient版本是4.0以上的,如果要运行我的代码的话就要引用4.0以上的jar包。
1.创建一个客户端,使用HttpClient,用它来处理与http相关的操作,我们可以理解为创建一个浏览器那样:
HttpClient httpClient = new DefaultHttpClient();
2.创建一个HttpGet类,相当于与在浏览器中打开一个URL,该类的构造接受一个String类型的参数,就是我们要输入的URL了:
HttpGet httpGet = new HttpGet("http://www.hao123.com");
3.通过HttpClient的execute方法,参数为HttpGet类型的参数,相当于打进网址后回车,这个我们可以得到HttpResponse,这个是代表请求后对应的响应:
HttpResponse response = httpClient.execute(httpGet);
4.通过这个response我们可以拿到一个HttpEntity类的实体,这个实体里面有着Http报文的许多信息,当然包括我们想要的内容:
HttpEntity entity = response.getEntity();
5.通过entity这个实体,我们可以调用它的getContent方法,拿到的就是网页的内容,但这个内容是InputStream,不过有了InputStearm,什么都好办了:
InputStream instream = entity.getContent();
下面我们来看看一个完整的抓取www.hao123.com内容的实例:
@Test
public void testGet() throws Exception {
HttpClient httpClient = new DefaultHttpClient();
HttpGet httpGet = new HttpGet("http://www.hao123.com");
HttpResponse response = httpClient.execute(httpGet);
HttpEntity entity = response.getEntity();
if (entity != null) {
InputStream instream = entity.getContent();
int l;
byte[] tmp = new byte[2048];
while ((l = instream.read(tmp)) != -1) {
System.out.println(new String(tmp, 0, l, "utf-8"));
}
}
}
下面具体一点来介绍:
1.Http请求
HttpClient支持所有定义在Http/1.1版本中的的方法:get、post、head、put、delete、trace和options,对应每个方法都有一个类:HttpGet、HttpPost、HttpHead、HttpPut、HttpDelete、HttpTrace和HttpOptions
上面这些方法类中,除了可以有String参数的构造方法外,还有一个URI参数的构造方法,通过这个uri就发出请求,这个URI类其实我们jdk自带的,但是Apache真是为我们着想,提供了URIUtils类帮助我们,有兴趣可以去了解一下。
2.Http响应
HttpResponse是HttpClient提供给我们的响应类,响应是服务器发给客户端的报文,报文中包含了各种信息,通过下列方法我们可以拿到这些信息:
getProtocolVersion():返回报文的协议版本
getStatusLine():返回响应报文的第一行内容
getStatusLine().getStatusCode():返回报文的状态码
示例:
@Test
public void testResponseMethod() {
//模拟一个响应
HttpResponse response = new BasicHttpResponse(HttpVersion.HTTP_1_1, HttpStatus.SC_OK, "OK");
System.out.println("协议版本:" + response.getProtocolVersion());
System.out.println("协议信息:" + response.getStatusLine());
System.out.println("协议状态码:" + response.getStatusLine().getStatusCode());
}
3.Http报文头部:
一个http报文头部可以包含很多信息,如内容的长度、内容的类型等等各种各样的信息。HttpResponse有着很多方法处理头部的信息:
addHeader(String name, String value):增加一个头部信息,一个key,一个value
getFirstHeader(String name):拿到第一个header
getLastHeader(String name):拿到最后一个header
getHeads(String name):拿到一个head数组
headerIterator(String name):拿到一个数组的迭代器
不仅如此,通过HeaderElementIterator我们还可以迭代出里面value的信息,看示例:
@Test
public void testHeadMethod() {
HttpResponse response = new BasicHttpResponse(HttpVersion.HTTP_1_1, HttpStatus.SC_OK, "OK");
response.addHeader("cookie", "c1=a;path=/;domain=localhost");
response.addHeader("cookie", "c2=b;path=/guo;domain=localhost:8080");
response.addHeader("cookie", "path=/ray;domain=localhost:3306");
System.out.println(response.getFirstHeader("cookie"));
System.out.println(response.getLastHeader("cookie"));
System.out.println("---------------------------------------------"); Header[] heads = response.getHeaders("cookie");
for(Header head : heads)
System.out.println(head);
System.out.println("---------------------------------------------"); HeaderIterator it = response.headerIterator();
while(it.hasNext())
System.out.println(it.next());
System.out.println("---------------------------------------------"); HeaderElementIterator hei = new BasicHeaderElementIterator(response.headerIterator());
while(hei.hasNext()) {
HeaderElement element = hei.nextElement();
System.out.println(element.getName() + "=" + element.getValue());
NameValuePair[] params = element.getParameters();
for(NameValuePair name : params)
System.out.println(name);
}
}
4.Http实体
实体是响应请求成功发送到客户端时创建的,通过Entity我们可以拿到很多信息,看看下面的方法:
getContent():这个拿到响应的内容,前面我们就用过了
getContentType():拿到content的类型信息
getContentLength():拿到content的长度
通过EntityUtils类我们可以更加方法的拿到一些信息,看下面:
@Test
public void testEntityMethod() throws Exception {
StringEntity entity = new StringEntity("username=xujianguo", "utf-8");
System.out.println(entity.getContentType());
System.out.println(entity.getContentLength());
System.out.println(EntityUtils.toString(entity));
}
5.Http状态码
状态码 | 描述 |
200 | 请求成功 |
201 | 请求完成,结果是创建了新资源 |
202 | 请求被接受,但处理还没完成 |
204 | 服务器已经完成了请求,但是没有返回新的信息 |
300 | 存在多个可用的被请求资源 |
301 | 请求道的资源都会分配一个永久的url |
302 | 请求道的资源放在一个不同的url中临时保存 |
304 | 请求的资源未更新 |
400 | 非法请求 |
401 | 未授权 |
403 | 禁止 |
404 | 找不到页面 |
HttpClient的使用-爬虫学习1的更多相关文章
- HttpClient的使用-爬虫学习(一)
Apache真是伟大,为我们提供了HttpClient.jar,这个HttpClient是客户端的http通信实现库,这个类库的作用是接受和发送http报文,引进这个类库,我们对于http的操作会变得 ...
- 半途而废的Java爬虫学习经历
最近在面试,发现Java爬虫对于小数据量数据的爬取的应用还是比较广,抽空周末学习一手,留下学习笔记 Java网络爬虫 简单介绍 爬虫我相信大家都应该知道什么,有什么用,主要的用途就是通过程序自动的去获 ...
- python爬虫学习(1) —— 从urllib说起
0. 前言 如果你从来没有接触过爬虫,刚开始的时候可能会有些许吃力 因为我不会从头到尾把所有知识点都说一遍,很多文章主要是记录我自己写的一些爬虫 所以建议先学习一下cuiqingcai大神的 Pyth ...
- python爬虫学习 —— 总目录
开篇 作为一个C党,接触python之后学习了爬虫. 和AC算法题的快感类似,从网络上爬取各种数据也很有意思. 准备写一系列文章,整理一下学习历程,也给后来者提供一点便利. 我是目录 听说你叫爬虫 - ...
- 爬虫学习之基于Scrapy的爬虫自动登录
###概述 在前面两篇(爬虫学习之基于Scrapy的网络爬虫和爬虫学习之简单的网络爬虫)文章中我们通过两个实际的案例,采用不同的方式进行了内容提取.我们对网络爬虫有了一个比较初级的认识,只要发起请求获 ...
- 爬虫学习之基于Scrapy的网络爬虫
###概述 在上一篇文章<爬虫学习之一个简单的网络爬虫>中我们对爬虫的概念有了一个初步的认识,并且通过Python的一些第三方库很方便的提取了我们想要的内容,但是通常面对工作当作复杂的需求 ...
- Python爬虫学习:三、爬虫的基本操作流程
本文是博主原创随笔,转载时请注明出处Maple2cat|Python爬虫学习:三.爬虫的基本操作与流程 一般我们使用Python爬虫都是希望实现一套完整的功能,如下: 1.爬虫目标数据.信息: 2.将 ...
- Python爬虫学习:四、headers和data的获取
之前在学习爬虫时,偶尔会遇到一些问题是有些网站需要登录后才能爬取内容,有的网站会识别是否是由浏览器发出的请求. 一.headers的获取 就以博客园的首页为例:http://www.cnblogs.c ...
- Python爬虫学习:二、爬虫的初步尝试
我使用的编辑器是IDLE,版本为Python2.7.11,Windows平台. 本文是博主原创随笔,转载时请注明出处Maple2cat|Python爬虫学习:二.爬虫的初步尝试 1.尝试抓取指定网页 ...
随机推荐
- sqlplus登录问题
问题1.sqlplus login -- SP2-0750: You may need to set ORACLE_HOME to your Oracle software directory 在/e ...
- POJ 1664 把苹果
把苹果 Time Limit: 1000MS Memory Limit: 10000K Total Submissions: 25785 Accepted: 16403 Descript ...
- 浅谈javascript中的call()和apply()方法
话说在js中,每个函数都包含两个非继承而来的放方法,apply()和call(),使得我们能在特定的作用域中调用函数. 官方定义: 语法: fun.call(thisArg[, arg1[ ...
- 关于JavaScript中计算精度丢失的问题
摘要: 由于计算机是用二进制来存储和处理数字,不能精确表示浮点数,而JavaScript中没有相应的封装类来处理浮点数运算,直接计算会导致运算精度丢失. 为了避免产生精度差异,把需要计算的数字升级(乘 ...
- DP 水的问题
假设的自然数N的K随机二进制表示是不相邻的两个相邻的数字.那么我们说这个数字是K好一些. 乞讨L地点K十六进制数K的相当数量的数. 例如K = 4.L = 2什么时候.整个K好一些11.13.20.2 ...
- 【高德地图API】从零开始学高德JS API(五)路线规划——驾车|公交|步行
原文:[高德地图API]从零开始学高德JS API(五)路线规划——驾车|公交|步行 先来看两个问题:路线规划与导航有什么区别?步行导航与驾车导航有什么区别? 回答: 1.路线规划,指的是为用户提供3 ...
- unicode编码和中国的相互转换
如果你的原始文件1.properties(该文件的编码中国).要转换unicode的 在cmd通过进入你在哪里在这种类型的文件夹: native2ascii -encoding gb2312 1.pr ...
- [ 单例、代理 & 通知 ]
PS:手写单例.代理方法实现 & 通知的简单使用! [ 单例模式,代理设计模式,观察者模式! ] 设计模式(Design pattern)是一套被反复使用.多数人知晓的.经过分类编目的.代码设 ...
- 透过【百度地图API】分析双闭包问题
原文:透过[百度地图API]分析双闭包问题 摘要: 有位API爱好者问到,昨天的教程里为什么不使用for循环?他使用for循环后,也发现代码无效.这是什么原因? ------------------- ...
- 在Mac电脑上为Dash制作docSet文档
Dash是mac上的一款查看API的工具,里面能够直接下载大部分的API文档,可是有时候我们假设想把自己手里已有的文档也集成到Dash中,就须要我们自己动手了,事实上Dash官方也有教程怎样制作doc ...