HttpClient学习系列 -- 学习总结

jar包：

HttpClient 4.x版本

简要介绍

HttpComponents 包括 HttpCore包和HttpClient包

HttpClient：Http的执行http请求

DefaultHttpClient：httpClient默认实现

HttpGet、HttpPost：Get、Post方法执行类

HttpResponse：执行返回的Response，含http的header和执行结果实体Entity

HttpEntity：Http返回结果实体，不含Header内容

HttpParam：连接参数，配合连接池使用

PoolingClientConnectionManager：连接池

基础Get方法

1. // 默认的client类。
2. HttpClient client = new DefaultHttpClient();
3. // 设置为get取连接的方式.
4. HttpGet get = new HttpGet(url);
5. // 得到返回的response.
6. HttpResponse response = client.execute(get);
7. // 得到返回的client里面的实体对象信息.
8. HttpEntity entity = response.getEntity();
9. if (entity != null) {
10. System.out.println( entity.getContentEncoding());
11. System.out.println( entity.getContentType());
12. // 得到返回的主体内容.
13. InputStream instream = entity.getContent();
14. BufferedReader reader = new BufferedReader(new InputStreamReader(instream, encoding));
15. System.out.println(reader.readLine());
16. // EntityUtils 处理HttpEntity的工具类
17. // System.out.println(EntityUtils.toString(entity));
18. }
19. // 关闭连接.
20. client.getConnectionManager().shutdown();

基础Post方法

1. DefaultHttpClient httpclient = new DefaultHttpClient();
2. HttpPost httpost = new HttpPost(url);
3. // 添加参数
4. List<NameValuePair> formparams = new ArrayList<NameValuePair>();
5. formparams.add(new BasicNameValuePair("p", "1"));
6. formparams.add(new BasicNameValuePair("t", "2"));
7. formparams.add(new BasicNameValuePair("e", "3"));
8. UrlEncodedFormEntity urlEntity =  new UrlEncodedFormEntity(formparams, "UTF-8");
9. httpost.setEntity(urlEntity);
10. HttpResponse response = httpclient.execute(httpost);
11. HttpEntity entity = response.getEntity();
12. System.out.println("Login form get: " + response.getStatusLine() + entity.getContent());
13. //  dump(entity, encoding);
14. System.out.println("Post logon cookies:");
15. List<Cookie> cookies = httpclient.getCookieStore().getCookies();
16. for (int i = 0; i < cookies.size(); i++) {
17. System.out.println("- " + cookies.get(i).toString());
18. }
19. // 关闭请求
20. httpclient.getConnectionManager().shutdown();

保留Session，保留用户+密码状态

Demo1，只支持单线程

1. DefaultHttpClient httpclient = new DefaultHttpClient(
2. new ThreadSafeClientConnManager());
3. HttpPost httpost = new HttpPost(url);
4. // 添加参数
5. List<NameValuePair> formparams = new ArrayList<NameValuePair>();
6. formparams.add(new BasicNameValuePair("p", "1"));
7. formparams.add(new BasicNameValuePair("t", "2"));
8. formparams.add(new BasicNameValuePair("e", "3"));
9. // 设置请求的编码格式
10. httpost.setEntity(new UrlEncodedFormEntity(formparams, Consts.UTF_8));
11. // 登录一遍
12. httpclient.execute(httpost);
13. // 然后再第二次请求普通的url即可。
14. httpost = new HttpPost(url2);
15. BasicResponseHandler responseHandler = new BasicResponseHandler();
16. System.out.println(httpclient.execute(httpost, responseHandler));
17. httpclient.getConnectionManager().shutdown();
18. return "";

Demo2：第二次请求带上第一次请求的Cookie

用于在用户+密码等候后，后续根据第一次请求的URL获取的Cookie，把这些Cookie添加到第二次请求的Cookie中

1. DefaultHttpClient httpclient = new DefaultHttpClient();
2. HttpPost httpost = new HttpPost(url);
3. // 添加参数
4. List<NameValuePair> formparams = new ArrayList<NameValuePair>();
5. formparams.add(new BasicNameValuePair("uname", name));
6. formparams.add(new BasicNameValuePair("pass", "e0c10f451217b93f76c2654b2b729b85"));
7. formparams.add(new BasicNameValuePair("auto_login","0"));
8. formparams.add(new BasicNameValuePair("a","1"));
9. formparams.add(new BasicNameValuePair("backurl","1"));
10. UrlEncodedFormEntity urlEntity =  new UrlEncodedFormEntity(formparams, "UTF-8");
11. httpost.setEntity(urlEntity);
12. HttpContext localContext = new BasicHttpContext();
13. HttpResponse response = httpclient.execute(httpost,localContext);
14. HttpEntity entity = response.getEntity();
15. // 打印获取值
16. System.out.println(Arrays.toString(response.getAllHeaders()));
17. System.out.println(EntityUtils.toString(entity));
18. // 第二次请求，使用上一次请求的Cookie
19. DefaultHttpClient httpclient2 = new DefaultHttpClient();
20. HttpPost httpost2 = new HttpPost("http://my.ifeng.com/?_c=index&_a=my");
21. // 获取上一次请求的Cookie
22. CookieStore cookieStore2 = httpclient2.getCookieStore();
23. // 下一次的Cookie的值，将使用上一次请求
24. CookieStore cookieStore = httpclient.getCookieStore();
25. List<Cookie> list = cookieStore.getCookies();
26. for(Cookie o : list){
27. System.out.println(o.getName() + " = " + o.getValue() + " 12");;
28. cookieStore2.addCookie(o);
29. }
30. HttpResponse response2 = httpclient2.execute(httpost2);
31. HttpEntity entity2 = response2.getEntity();
32. System.out.println(Arrays.toString(response2.getAllHeaders()));
33. System.out.println(EntityUtils.toString(entity2));

获取访问上下文：

1. HttpClient httpclient = new DefaultHttpClient();
2. // 设置为get取连接的方式.
3. HttpGet get = new HttpGet(url);
4. HttpContext localContext = new BasicHttpContext();
5. // 得到返回的response.第二个参数，是上下文，很好的一个参数！
6. httpclient.execute(get, localContext);
7. // 从上下文中得到HttpConnection对象
8. HttpConnection con = (HttpConnection) localContext
9. .getAttribute(ExecutionContext.HTTP_CONNECTION);
10. System.out.println("socket超时时间：" + con.getSocketTimeout());
11. // 从上下文中得到HttpHost对象
12. HttpHost target = (HttpHost) localContext
13. .getAttribute(ExecutionContext.HTTP_TARGET_HOST);
14. System.out.println("最终请求的目标:" + target.getHostName() + ":"
15. + target.getPort());
16. // 从上下文中得到代理相关信息.
17. HttpHost proxy = (HttpHost) localContext
18. .getAttribute(ExecutionContext.HTTP_PROXY_HOST);
19. if (proxy != null)
20. System.out.println("代理主机的目标:" + proxy.getHostName() + ":"
21. + proxy.getPort());
22. System.out.println("是否发送完毕:"
23. + localContext.getAttribute(ExecutionContext.HTTP_REQ_SENT));
24. // 从上下文中得到HttpRequest对象
25. HttpRequest request = (HttpRequest) localContext
26. .getAttribute(ExecutionContext.HTTP_REQUEST);
27. System.out.println("请求的版本:" + request.getProtocolVersion());
28. Header[] headers = request.getAllHeaders();
29. System.out.println("请求的头信息: ");
30. for (Header h : headers) {
31. System.out.println(h.getName() + "--" + h.getValue());
32. }
33. System.out.println("请求的链接:" + request.getRequestLine().getUri());
34. // 从上下文中得到HttpResponse对象
35. HttpResponse response = (HttpResponse) localContext
36. .getAttribute(ExecutionContext.HTTP_RESPONSE);
37. HttpEntity entity = response.getEntity();
38. if (entity != null) {
39. System.out.println("返回结果内容编码是：" + entity.getContentEncoding());
40. System.out.println("返回结果内容类型是：" + entity.getContentType());
41. }

连接池和代理：

每次使用最后一句new DefaultHttpClient(cm, httpParams);获取新的HttpClient

里面还有一条如何设置代理

1. // HttpParams
2. HttpParams httpParams  = new BasicHttpParams();
3. // HttpConnectionParams 设置连接参数
4. // 设置连接超时时间
5. HttpConnectionParams.setConnectionTimeout(httpParams, 30000);
6. // 设置读取超时时间
7. HttpConnectionParams.setSoTimeout(httpParams, 60000);
8. SchemeRegistry schemeRegistry = new SchemeRegistry();
9. schemeRegistry.register(
10. new Scheme("http", 80, PlainSocketFactory.getSocketFactory()));
11. //      schemeRegistry.register(
12. //               new Scheme("https", 443, SSLSocketFactory.getSocketFactory()));
13. PoolingClientConnectionManager cm = new PoolingClientConnectionManager(schemeRegistry);
14. // 设置最大连接数
15. cm.setMaxTotal(200);
16. // 设置每个路由默认最大连接数
17. cm.setDefaultMaxPerRoute(20);
18. //      // 设置代理和代理最大路由
19. //      HttpHost localhost = new HttpHost("locahost", 80);
20. //      cm.setMaxPerRoute(new HttpRoute(localhost), 50);
21. // 设置代理，
22. HttpHost proxy = new HttpHost("10.36.24.3", 60001);
23. httpParams.setParameter(ConnRoutePNames.DEFAULT_PROXY,  proxy);
24. HttpClient httpClient = new DefaultHttpClient(cm, httpParams);

自动重连

如果某次请求请求失败，可以自动重连

1. DefaultHttpClient httpClient = new DefaultHttpClient();
2. // 可以自动重连
3. HttpRequestRetryHandler requestRetryHandler2 = new HttpRequestRetryHandler() {
4. // 自定义的恢复策略
5. public synchronized boolean retryRequest(IOException exception, int executionCount, HttpContext context) {
6. // 设置恢复策略，在发生异常时候将自动重试3次
7. if (executionCount > 3) {
8. // 超过最大次数则不需要重试
9. return false;
10. }
11. if (exception instanceof NoHttpResponseException) {
12. // 服务停掉则重新尝试连接
13. return true;
14. }
15. if (exception instanceof SSLHandshakeException) {
16. // SSL异常不需要重试
17. return false;
18. }
19. HttpRequest request = (HttpRequest) context.getAttribute(ExecutionContext.HTTP_REQUEST);
20. boolean idempotent = (request instanceof HttpEntityEnclosingRequest);
21. if (!idempotent) {
22. // 请求内容相同则重试
23. return true;
24. }
25. return false;
26. }
27. };
28. httpClient.setHttpRequestRetryHandler(requestRetryHandler2);

使用自定义ResponseHandler处理返回的请求

1. HttpClient httpClient = new DefaultHttpClient();
2. HttpGet get = new HttpGet(url);
3. // 定义一个类处理URL返回的结果
4. ResponseHandler<byte[]> handler = new ResponseHandler<byte[]>() {
5. public byte[] handleResponse(HttpResponse response)
6. throws ClientProtocolException, IOException {
7. HttpEntity entity = response.getEntity();
8. if (entity != null) {
9. return EntityUtils.toByteArray(entity);
10. } else {
11. return null;
12. }
13. }
14. };
15. // 不同于 httpClient.execute(request)，返回值是HttpResponse；返回值右ResponseHandler决定
16. byte[] charts = httpClient.execute(get, handler);
17. FileOutputStream out = new FileOutputStream(fileName);
18. out.write(charts);
19. out.close();
20. httpClient.getConnectionManager().shutdown();

参考文献

• HttpClient官网   api 下载
• HttpClient官方pdf
• httpclient4.2.2的几个常用方法，登录之后访问页面问题，下载文件