一、设置请求头消息 User-Agent模拟浏览器

　　1.当使用第一节的代码 来 访问推酷的时候，会返回给我们如下信息：

网页内容：<!DOCTYPE html>

<html>

    <head>

          <meta http-equiv="Content-Type" content="text/html; charset=utf-8">

    </head>

    <body>

        <p>系统检测亲不是真人行为，因系统资源限制，我们只能拒绝你的请求。如果你有疑问，可以通过微博 http://weibo.com/tuicool2012/ 联系我们。</p>

    </body>

</html>

　　这是因为网站做了限制，限制别人爬。解决方式可以设置请求头消息 User-Agent模拟浏览器。代码如下：

/**

     * 抓取网页信息使用 get请求

     * @param args

     * @throws IOException

     * @throws ClientProtocolException

     */

    public static void main(String[] args) throws ClientProtocolException, IOException {

        // 创建httpClient实例

        CloseableHttpClient httpClient = HttpClients.createDefault();

        // 创建httpGet实例

        HttpGet httpGet = new HttpGet("http://www.tuicool.com");

        httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0");

        CloseableHttpResponse response = httpClient.execute(httpGet);

        if(response != null){

            HttpEntity entity = response.getEntity();   // 获取网页内容

            String result = EntityUtils.toString(entity, "UTF-8");

            System.out.println("网页内容：" + result);

        }

        if(response != null){

            response.close();

        }

        if(httpClient != null){

            httpClient.close();

        }

    }

　　给HttpGet方法设置头消息，即可模拟浏览器访问。

二、获取响应内容Content-Type　　

　　使用  entity.getContentType().getValue()  来获取Content-Type，代码如下：

public static void main(String[] args) throws ClientProtocolException, IOException {

        // 创建httpClient实例

        CloseableHttpClient httpClient = HttpClients.createDefault();

        // 创建httpGet实例

        HttpGet httpGet = new HttpGet("http://www.tuicool.com");

        httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0");

        CloseableHttpResponse response = httpClient.execute(httpGet);

        if(response != null){

            HttpEntity entity = response.getEntity();   // 获取网页内容

            System.out.println("Content-Type:" + entity.getContentType().getValue());   // 获取Content-Type

        }

        if(response != null){

            response.close();

        }

        if(httpClient != null){

            httpClient.close();

        }

    }

三、获取响应状态

　　200 -- 正常

　　403 -- 拒绝

　　500 -- 服务器报错

　　400 -- 未找到页面

　　使用 response.getStatusLine().getStatusCode() 获取响应状态，代码如下：

public static void main(String[] args) throws ClientProtocolException, IOException {

        // 创建httpClient实例

        CloseableHttpClient httpClient = HttpClients.createDefault();

        // 创建httpGet实例

        HttpGet httpGet = new HttpGet("http://www.tuicool.com");

        httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0");

        CloseableHttpResponse response = httpClient.execute(httpGet);

        if(response != null){

            int state = response.getStatusLine().getStatusCode();

            System.out.println("响应状态：" + state);

        }

        if(response != null){

            response.close();

        }

        if(httpClient != null){

            httpClient.close();

        }

    }

四、HttpClient学习地址

　　开源博客系统-HttpClient

HttpClient（二）-- 模拟浏览器抓取网页的更多相关文章

  1. Python开发爬虫之动态网页抓取篇：爬取博客评论数据——通过Selenium模拟浏览器抓取

    区别于上篇动态网页抓取,这里介绍另一种方法,即使用浏览器渲染引擎.直接用浏览器在显示网页时解析 HTML.应用 CSS 样式并执行 JavaScript 的语句. 这个方法在爬虫过程中会打开一个浏览器 ...

  2. Selenium模拟浏览器抓取淘宝美食信息

    前言: 无意中在网上发现了静觅大神(崔老师),又无意中发现自己硬盘里有静觅大神录制的视频,于是乎看了其中一个,可以说是非常牛逼了,让我这个用urllib,requests用了那么久的小白,体会到sel ...

  3. 使用selenium模拟浏览器抓取淘宝信息

    通过Selenium模拟浏览器抓取淘宝商品美食信息,并存储到MongoDB数据库中. from selenium import webdriver from selenium.common.excep ...

  4. 3.使用Selenium模拟浏览器抓取淘宝商品美食信息

    # 使用selenium+phantomJS模拟浏览器爬取淘宝商品信息 # 思路: # 第一步:利用selenium驱动浏览器,搜索商品信息,得到商品列表 # 第二步:分析商品页数,驱动浏览器翻页,并 ...

  5. Python爬虫学习==>第十二章：使用 Selenium 模拟浏览器抓取淘宝商品美食信息

    学习目的: selenium目前版本已经到了3代目,你想加薪,就跟面试官扯这个,你赢了,工资就到位了,加上一个脚本的应用,结局你懂的 正式步骤 需求背景:抓取淘宝美食 Step1:流程分析 搜索关键字 ...

  6. 使用Selenium模拟浏览器抓取淘宝商品美食信息

    代码: import re from selenium import webdriver from selenium.webdriver.common.by import By from seleni ...

  7. 16-使用Selenium模拟浏览器抓取淘宝商品美食信息

    淘宝由于含有很多请求参数和加密参数,如果直接分析ajax会非常繁琐,selenium自动化测试工具可以驱动浏览器自动完成一些操作,如模拟点击.输入.下拉等,这样我们只需要关心操作而不需要关心后台发生了 ...

  8. linux中使用wget模拟爬虫抓取网页

    如何在linux上或者是mac上简单使用爬虫或者是网页下载工具呢,常规的我们肯定是要去下载一个软件下来使用啦,可怜的这两个系统总是找不到相应的工具,这时wget出来帮助你啦!!!wget本身是拿来下载 ...

  9. 使用Selenium模拟浏览器抓取斗鱼直播间信息

    获取斗鱼直播间每个房间的名称.观看人数.tag.主播名字 代码: import time from multiprocessing import Pool from selenium import w ...

随机推荐

  1. 怎么解决JSP中出现乱码的问题

    首先我们先了解一下问题的原因.一般情况在在每个JSP页的头部都有这样一条语句: 这条语句决定了此页面使用GB2312编码形式,而在数据库中一般用的是iso-8859-1字符集存储数据. 而Java程序 ...

  2. Java中的this和super

    在Java中有两个非常特殊的变量:this和super,这两个变量在使用前都是不需要声明的.this变量使用在一个成员函数的内部,指向当前对象,当前对象指的是调用当前正在执行方法的那个对象.super ...

  3. T-SQL 错误状态

    MS Windows Error Messages Code Error Message 0 操作成功完成. 1 功能错误. 2 系统找不到指定的文件. 3 系统找不到指定的路径. 4 系统无法打开文 ...

  4. 3、QT分析之消息事件机制

    原文地址:http://blog.163.com/net_worm/blog/static/127702419201001432028526/ 上回我们分析到QPushButton的初始化,知道了Wi ...

  5. C语言简明数据类型指南

    一.常用的数据类型 char:字符在计算机的存储器中以字符编码的形式保存,字符编码是一个数字,因此在计算机看来,A与数字65完全一样(65是A的ASCII码). int:如果要保存一个整数,通常可以使 ...

  6. WebService系列一：WebService简介

    原文链接:http://www.cnblogs.com/xdp-gacl/p/4259109.html 一.WebService是什么 WebService是一种跨编程语言和跨操作系统平台的远程调用技 ...

  7. R语言数据框小技巧

    当我们想要把数据框的行或者列按照指定的顺序排列时,可以通过行名称或者列名称快速排列 data <- data.frame(matrix(1:9, ncol=3)) rownames(data) ...

  8. Spock集成入门

    本文基于SpringBoot 在pom.xml添加Spock依赖 <!-- test --> <dependency> <groupId>org.codehaus. ...

  9. java提取url里的域名

    使用java标准类库java.net.URL java.net.URL url = new java.net.URL("http://blog.csdn.net/xxx.png") ...

  10. Caffe 学习：Eltwise层

    Eltwise层的操作有三个: 1. PROD(product):按元素乘积 2. SUM:按元素求和(默认操作) 3. MAX:保存元素大者