HttpClient基础教程

1、HttpClient相关的重要资料

官方网站：http://hc.apache.org/

API：http://hc.apache.org/httpcomponents-client-4.3.x/httpclient/apidocs/index.html

tutorial: http://hc.apache.org/httpcomponents-client-4.3.x/tutorial/html/index.html  【PDF版本】http://hc.apache.org/httpcomponents-client-4.3.x/tutorial/pdf/httpclient-tutorial.pdf

2、HttpClient有2个版本

org.apache.http.impl.client.HttpClients 与 org.apache.commons.httpclient.HttpClient

目前后者已被废弃，apache已不再支持。

一般而言，使用HttpClient均需导入httpclient.jar与httpclient-core.jar2个包。

3、使用HttpClient进行网络处理的基本步骤

（1）通过get的方式获取到Response对象。

[java] view
plaincopy

1. CloseableHttpClient httpClient = HttpClients.createDefault();
2. HttpGet httpGet = new HttpGet("http://www.baidu.com/");
3. CloseableHttpResponse response = httpClient.execute(httpGet);

注意，必需要加上http://的前缀，否则会报：Target host is null异常。

（2）获取Response对象的Entity。

[java] view
plaincopy

1. HttpEntity entity = response.getEntity();

注：HttpClient将Response的正文及Request的POST/PUT方法中的正文均封装成一个HttpEntity对象。可以通过entity.getContenType()，entity.getContentLength()等方法获取到正文的相关信息。但最重要的方法是通过getContent()获取到InputStream对象。

（3）通过Entity获取到InputStream对象，然后对返回内容进行处理。

[java] view
plaincopy

1. is = entity.getContent();
2. sc = new Scanner(is);
3. // String filename = path.substring(path.lastIndexOf('/')+1);
4. String filename = "2.txt";
5. os = new PrintWriter(filename);
6. while (sc.hasNext()) {
7. os.write(sc.nextLine());
8. }

使用HtppClient下载一个网页的完整代码如下：

[java] view
plaincopy

1. package com.ljh.test;
2. import java.io.IOException;
3. import java.io.InputStream;
4. import java.io.PrintWriter;
5. import java.io.Writer;
6. import java.util.Scanner;
7. import org.apache.http.HttpEntity;
8. import org.apache.http.HttpStatus;
9. import org.apache.http.client.ClientProtocolException;
10. import org.apache.http.client.methods.CloseableHttpResponse;
11. import org.apache.http.client.methods.HttpGet;
12. import org.apache.http.impl.client.CloseableHttpClient;
13. import org.apache.http.impl.client.HttpClients;
14. public class DownloadWebPage{
15. public static void downloadPagebyGetMethod() throws IOException {
16. // 1、通过HttpGet获取到response对象
17. CloseableHttpClient httpClient = HttpClients.createDefault();
18. HttpGet httpGet = new HttpGet("http://www.baidu.com/");
19. CloseableHttpResponse response = httpClient.execute(httpGet);
20. InputStream is = null;
21. Scanner sc = null;
22. Writer os = null;
23. if (response.getStatusLine().getStatusCode() == HttpStatus.SC_OK) {
24. try {
25. // 2、获取response的entity。
26. HttpEntity entity = response.getEntity();
27. // 3、获取到InputStream对象，并对内容进行处理
28. is = entity.getContent();
29. sc = new Scanner(is);
30. // String filename = path.substring(path.lastIndexOf('/')+1);
31. String filename = "2.txt";
32. os = new PrintWriter(filename);
33. while (sc.hasNext()) {
34. os.write(sc.nextLine());
35. }
36. } catch (ClientProtocolException e) {
37. e.printStackTrace();
38. } finally {
39. if (sc != null) {
40. sc.close();
41. }
42. if (is != null) {
43. is.close();
44. }
45. if (os != null) {
46. os.close();
47. }
48. if (response != null) {
49. response.close();
50. }
51. }
52. }
53. }
54. public static void main(String[] args) {
55. try {
56. downloadPagebyGetMethod();
57. } catch (IOException e) {
58. e.printStackTrace();
59. }
60. }
61. }

注意：直接将HttpGet改为HttpPost，返回的结果有误，百度返回302状态，即重定向，新浪返回拒绝访问。怀疑大多网站均不允许POST方法直接访问网站。