java爬虫查找四川大学所有学院的网站的网址中的通知和新闻——以计算机学院为例

1. 需求：查找四川大学所有学院的网站的网址中的通知和新闻——以计算机学院为例
2. 流程图

　　3. 具体步骤

　　　　　　(1) 学院的主页为：http://cs.scu.edu.cn/ 获取该页面的所有内容（本文只获取新闻的具体内容，通知的只需要更改下正则表达式)　

　　　　　　

 /**
      * 获取要抓取页面的所有内容
      * @param url 网页地址
      * @return
      */
     public static String sendGet(String url) {

         BufferedReader in = null;
         String result = "";
         // 通过HttpClientBuilder创建HttpClient
         HttpClientBuilder httpClientBuilder = HttpClientBuilder.create();
         CloseableHttpClient client = httpClientBuilder.build();

         HttpGet httpGet = new HttpGet(url);
         // 设置请求和传输超时时间
         RequestConfig requestConfig = RequestConfig.custom()
                 .setConnectTimeout(5000).build();
         httpGet.setConfig(requestConfig);

         System.out.println(httpGet.getRequestLine());

         try {
             HttpResponse httpResponse = client.execute(httpGet);

             int statusCode = httpResponse.getStatusLine().getStatusCode();

             // 响应状态
             System.out.println("status:" + statusCode);
             if (statusCode == HttpStatus.SC_OK) {
                 // 获取响应的消息实体
                 HttpEntity entity = httpResponse.getEntity();

                 // 判断实体是否为空
                 if (entity != null) {
                     System.out.println("contentEncoding:"
                             + entity.getContentLength());

                     in = new BufferedReader(new InputStreamReader(
                             entity.getContent(), "GBK"));

                     String line;
                     while ((line = in.readLine()) != null) {
                         // 遍历抓取到的每一行并将其存储到result里面
                         result += line;
                     }
                 }
             }
         } catch (Exception e) {

             e.printStackTrace();
         } finally {
             try {
                 client.close();
                 if (in != null) {
                     in.close();
                 }
             } catch (Exception e2) {
                 e2.printStackTrace();
             }
         }
         return result;
     }

　　　　(2) 使用正则表达式提取通知页面和新闻页面的地址

　　　　　　指向新闻页的地址源码为：<MAP name=Map3><AREA shape=RECT target=_blank coords=498,27,539,37 href="/cs/xyxw/H9501index_1.htm">

　　　　　　所以正则表达式为:coords=498,27,539,37 href=\"(.+?)\">

　　　　　　

　　　　　　指向通知页的地址源码为：<MAP name=Map6><AREA shape=RECT target=_blank coords=498,11,538,23 href="/cs/xytz/H9502index_1.htm"></MAP>

　　　　　  所以正则表达式可以为:coords=498,11,538,23 href=\"(.+?)\">

　　　　　　

 　　/**
      * 查找主页中的新闻和通知的URL
      * @param context  主页内容
      * @param type  查找类型
      * @return
      */
     public static String getURL(String context, int type) {

         Pattern pattern;
         Matcher matcher;

         if (type == 0) {// 当type=0时，查找新闻
             // 创建Pattern对象
             pattern = Pattern.compile("coords=498,27,539,37 href=\"(.+?)\">");
             // 创建Matcher对象，并匹配
             matcher = pattern.matcher(context);

             if (matcher.find()) {// 查看是否找到，找到返回
                 return "http://cs.scu.edu.cn" + matcher.group(1);
             }
         } else if (type == 1) {// 当type=1时，查找通知
             pattern = Pattern.compile("coords=498,11,538,23 href=\"(.+?)\">");
             matcher = pattern.matcher(context);
             if (matcher.find()) {
                 return "http://cs.scu.edu.cn" + matcher.group(1);
             }
         } else {
             return "输入的type不正确";
         }
         return null;
     }

　　　　

　　　　得到新闻和通知地址：

　　　　a) 新闻页面地址为 http://cs.scu.edu.cn/cs/xyxw/H9501index_1.htm

　　　　b) 通知页面地址为 http://cs.scu.edu.cn/cs/xytz/H9502index_1.htm

　　　(3)获取所有新闻的URL:（以新闻为例）

　　　　

　　　　新闻的具体内容的地址在源码中的表示:

　　　　　　　　　　<A href=/cs/xyxw/webinfo/2016/06/1466645005004306.htm target=_blank>计算机学院（软件学院）第三届第六次双代会圆满举行</A></TD></TD><TD><DIV align=right><FONT size=2>[2016-06-30]

　　　　　　所以正则匹配表达式为:<A href=/cs/xyxw/webinfo(.+?) target=_blank>

　　　　

     /**
      * 查询具体新闻所在页面的所有URL
      * @param url
      * @return
      */
     public static List<String> getRealURL(String url) {

         // 存储URL地址
         List<String> list = new ArrayList<>();
         // 获取的主页内容
         String context = sendGet(url);
         System.out.println(context);
         // 匹配新闻地址的正则表达式
         Pattern pattern = Pattern
                 .compile("<A href=/cs/xyxw/webinfo(.+?) target=_blank>");
         Matcher matcher = pattern.matcher(context);

         // 匹配url中的数字2(2表示页数，可以通过观察地址得出) :
         //    http://cs.scu.edu.cn/cs/xyxw/H9501index_2.htm
         //  http://cs.scu.edu.cn/cs/xyxw/H9501index_3.htm
         Pattern patternNext = Pattern.compile("index_(.+?).htm");
         Matcher matcherNext = patternNext.matcher(url);

         int i = 0;
         if (matcherNext.find()) {
             System.out.println(matcherNext.group(1));
             // 设置i为当前页数
             i = Integer.parseInt(matcherNext.group(1));
         }

         boolean isFind = matcher.find();

         while (isFind) {
             while (isFind) {// 遍历当前页的所有新闻的URL
                 // 将获取的URL存储到list中
                 list.add("http://cs.scu.edu.cn/cs/xyxw/webinfo"
                         + matcher.group(1));
                 isFind = matcher.find();
             }

             i++;
             // 下一页地址
             String nextUrl = "http://cs.scu.edu.cn/cs/xyxw/H9501index_" + i    + ".htm";
             context = sendGet(nextUrl);
             // 匹配新页面
             matcher = pattern.matcher(context);
             isFind = matcher.find();
         }
         return list;
     }

　　　　　　得到结果:

　　　　(4)获取具体新闻页的信息：

　　　　　　a)使用封装类:

　　　　　　

 package com.huang.domain;

 import java.util.Date;

 public class Message {

     private String type; //类型是新闻还是通知

     private String title; //信息标题

     private Date date;    //信息发布时间

     private String pic; //相关图片

     private String context;    //具体信息内容

     public String getPic() {
         return pic;
     }
     public void setPic(String pic) {
         this.pic = pic;
     }

     public String getTitle() {
         return title;
     }
     public void setTitle(String title) {
         this.title = title;
     }
     public String getContext() {
         return context;
     }
     public void setContext(String context) {
         this.context = context;
     }
     public Date getDate() {
         return date;
     }
     public void setDate(Date date) {
         this.date = date;
     }
     public String getType() {
         return type;
     }
     public void setType(String type) {
         this.type = type;
     }
     @Override
     public String toString() {
         return "Message [title=" + title + ", date=" + date + ", pic=" + pic
                 + ", context=" + context + "]";
     }
 }

　　　　(b)获取新闻具体页的信息：

　　　　

　　　　　　　　

 　　/**
      * 获取所有新闻页和通知页具体信息
      * @param listUrl
      * @return
      */
     public static List<Message> getAllInformation(List<String> listUrl) {

         Pattern pattern;
         Matcher matcher;
         // 存储查到的每条新闻
         List<Message> list = new ArrayList<>();

         // 根据前面获取的所有页面的url,遍历所有的信息主页，获取相关信息
         for (String url : listUrl) {

             Message message = new Message();
             // 获取当页信息的全部信息
             String context = sendGet(url);
             // 获取标题
             pattern = Pattern.compile("<DIV align=center> (.+?)</DIV>");
             matcher = pattern.matcher(context);
             if (matcher.find()) {// 设置标题
                 message.setTitle(matcher.group(1));
             }
             // 获取日期
             pattern = Pattern.compile("</SPAN> ([0-9].+?)<SPAN class=hangjc "
                     + "style=\"LINE-HEIGHT: 30px\" valign=\"bottom\">");
             matcher = pattern.matcher(context);
             if (matcher.find()) {// 设置日期
                 SimpleDateFormat format = new SimpleDateFormat(
                         "yyyy-MM-dd HH:mm");//设置日期格式
                 try {
                     //将字符串转换成date类型
                     Date date = format.parse(matcher.group(1));
                     message.setDate(date);
                 } catch (ParseException e) {
                     System.out.println("日期格式不正确");
                     e.printStackTrace();
                 }
             }
             //获取图片
             pattern = Pattern.compile("align=center src=\"(.+?).jpg\"");
             matcher = pattern.matcher(context);
             if (matcher.find()) {//设置图片
                 message.setPic("http://cs.scu.edu.cn/" + matcher.group(1)
                         + ".jpg");
             }
             //获取内容
             pattern = Pattern.compile("<DIV id=BodyLabel>.+?</DIV>");
             matcher = pattern.matcher(context);
             if (matcher.find()) {//设置内容
                 String result = matcher.group(0);
                 //过滤一些内容中的标签
                 result = result.replaceAll("&nbsp;", " ");
                 result = result.replaceAll("<br>", "\r\n");
                 result = result.replaceAll("<.*?>", "");
                 message.setContext(result);
             }
             //将查询到的新闻添加到list中
             list.add(message);
         }
         return list;
     }

　　　　

　　　　（5）测试代码:

     public static void main(String[] args) {
         //获取计算机学院主页中的所有信息
         String context = Spider.sendGet("http://cs.scu.edu.cn/");
         System.out.println(context);
         //获取新闻所在页的地址
         String newsUrl = Spider.getURL(context, 0);
         //查找每个新闻的地址
         List<String> listUrl = Spider.getRealURL(newsUrl);
         System.out.println(listUrl);
         //查到出每个新闻的内容
         List<Message> messages = Spider.getAllInformation(listUrl);

         System.out.println(messages);

     }

　　(java正则知识可以参考：http://www.runoob.com/java/java-regular-expressions.html)