Java网络爬虫

一、前言

　　首先我们把准备工作做好：IDEA 2019.1、JDK1.8、Maven3.5

　　Jsoup的Maven依赖：

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.11.3</version>
</dependency>

　　以及可能用到的Splider工具集合：

        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpcore</artifactId>
            <version>4.4.4</version>
        </dependency>
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-core</artifactId>
            <version>0.7.3</version>
        </dependency>
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-extension</artifactId>
            <version>0.7.3</version>
        </dependency>  

　　以及程序员必备的Google的Guava包

        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>27.0.1-jre</version>
        </dependency>

　　基本工具就到这里了，后面需要什么在加什么就行了。

二、操作

　　我这里就以2种（HTML、JSON）格式作为讲解内容。其他的格式（JS、XML等格式就不做更多说明了，毕竟操作都差不多）

• JSON格式

　　首先，这里我推荐一个JSON在线解析的网站（https://www.json.cn/），毕竟后面很多都要去查结构。

　　然后我们得了解一下使用JsonPath解析Json的语法。

操作	说明
$	查询根元素。这将启动所有路径表达式。
@	当前节点由过滤谓词处理。
*	通配符，必要时可用任何地方的名称或数字。
..	深层扫描。 必要时在任何地方可以使用名称。
.	点，表示子节点
['' (, '')]	括号表示子项
[ (, )]	数组索引或索引
[start:end]	数组切片操作
[?()]	过滤表达式。 表达式必须求值为一个布尔值。

　　　在官方网站上有更加详细的解说（https://github.com/json-path/JsonPath），这里就不作更多解释了，如果觉得英文麻烦可以百度下JsonPath语法。就会很多相关的博客解释。

　　   这里为了方便给出一点点的解释：

　　好！前期知识预备工作不多废话了，更多请自行百度。

　　具体题材自己定，如果使用某些公司的网站作为题材，搞不好要被发律师函，作者就把一些核心代码以及核心思路写出来就行了。

　　首先想要爬取一个网站的信息必定要有一下几步：

　　　　1. 能够获取到的URL（Response只要能获取想要的数据即可）。

　　　　2. 能够使用程序链接上，有的网页只能用POST，还要设置必要的参数。

　　　　3. 通过自己熟悉的解析方式解析数据，封装数据。

　　一般来说一个页面的描述都是2种类型（列表页，详情页）

　　我们就要分3步走：

　　　　1. 获取列表页的列表信息，其他不重要的信息基本可以抛弃。

　　　　2. 获取列表信息后可以获取完整的URL或者部分URL(部分的话自己拼接下，一般来说大多数前缀都相同)。

　　　　3. 获取详情页的信息。

　　在这个过程中比较繁杂，需要多用浏览器F12或者其他抓包工具，很多网站的内容并不会直接放在页面中，有的是使用JSON作为信息传输，有的是使用XML有的是使用JS

　　第一步：获取打开链接获取内容

public List<String> getDateFromUrl(String url) throws Exception {
        List<String> list = new ArrayList<>();
        int page = 1, count = 1;
/**
 * 遍历每一页
 */
        while(page <= count) {
            Map<String,String> map = new HashMap<>();
/**
 * 设置传输的参数，如果没有不用设置
 */

            String json = http(url).method(Connection.Method.POST).data(map).execute().body();
            if(page == 1){
                count = Integer.parseInt(JsonPath.parse(json).read("$.body.sns.count", String.class));
                if(count % 20 == 0){
                    count /= 20;
                }else{
                    count = count / 20 + 1;
                }
            }
            page++;
            JsonPath.parse(json).read("$.body.sns.list.*", JSONArray.class)
                    .stream()
                    .map(JSON::toJSONString)
                    .forEach(list::add);
        }
        return list;
    }    

　　第二步：解析数据。

public MyData crawlerDetailPage(String itemBody, Map<String, Object> params) throws Exception {
        DocumentContext parse = JsonPath.parse(itemBody);
        String pageUrl = "https://www.XXX.com/XXX/" + parse.read("$.resourceid", String.class) + ".html"; //拼接URL
        String duplicateKey = CommonUtils.md5IdUrl(pageUrl);
        if(duplicateKeyDao.containsKey(duplicateKey)){
           return null;
        }
        MyDatamyData= new MyData();
        String fromUrl = params.get("link").toString();// 获取父地址
        String commentcount = parse.read("$.commentcount", String.class);// 评论数
        String id = parse.read("$.id", String.class);// id
        Calendar calendar = Calendar.getInstance();
        calendar.setTime(new Date());
        String time = parse.read("$.publishtime", String.class);// 获取时间
        if(time.contains("年")){
            time = time.replace("年",":").replace("月",":").replace("日","");
        }else{
            time = calendar.get(Calendar.YEAR) + ":" + time.replace("月",":").replace("日","");
        }
        String picUrl = parse.read("$.image.url", String.class);// 封面图的URL
        JSONArray read = parse.read("$.list.*", JSONArray.class);
        if(read.size() > 0){
            Object obj = read.get(0);
            String videPicUrl = JsonPath.parse(obj).read("$.image.url", String.class);// 视频封面URL
            String videoUrl = JsonPath.parse(obj).read("$.videourl.sdinfo.url", String.class);// 获取视频URL
            String playcount = JsonPath.parse(obj).read("$.playcount", String.class);// 播放量
            myData.setPlayCount(Long.parseLong(playcount));
            myData.setCommentCount(Integer.parseInt(playcount));
            myData.setPageLink(videoUrl);
            myData.setVideoDynamicCover(videPicUrl);
        }
        String videoId = parse.read("$.id", String.class);// 视频ID
        String title = parse.read("$.title", String.class);// 标题
        String username = parse.read("$.user.name", String.class);// 用户名
        String praisecount = parse.read("$.praisecount", String.class);// 点赞数
        /**
         * 封装数据
         */
        return myData;
    }

　　针对JSON的入门，基本到这里也就差不多了

• HTML格式

　　其实原理和上面一样，只不过这个是使用Jsoup进行解析，上面是使用JsonPath进行解析。

    public List<String> crawlerListPage(String url) throws Exception {
        List<String> result = new ArrayList<>();
        String body = http(url).execute().parse().html();
        return Jsoup.parse(body).select(/*CSS的各种选择器，只要保证绝对定位进行*/)
                .stream()
                .map(Element::toString)
                .collect(Collectors.toList());
    }

    public MyData crawlerDetailPage(String itemBody) throws Exception {
        Document parse = Jsoup.parse(itemBody);
        String pageUrl = "http:" + parse.select("CSS选择器").attr("href");// 获取文章链接
        String title = parse.select("CSS选择器").text();// 获取文章Tile
        String username = parse.select("CSS选择器").text();// 获取用户名
        String like = parse.select("CSS选择器").text();// 获取点赞数
        String id = parse.select("CSS选择器").attr("href");// 用户ID
        String body = http(pageUrl).execute().body();
        String time = Jsoup.parse(body).select("#content > div.gXB_R8JPG9i5-WDsZpN3C > div._30-dgPMBo3ct-NBvSsFmkq > p > span").text().replace("发布于", "");
        String picUrl = "http:" + Jsoup.parse(body).select("#app > div > div.q-container > div:nth-child(4) > div > img").attr("src");// 封面链接
        String content = Jsoup.parse(body).select("#textContBox").text();// 内容
        MyData my = new MyData();
        /*封装数据*/
        return my;
    }