基于Java的数据采集（二）

在上一篇文章《基于Java的数据采集（一）》：http://www.cnblogs.com/lichenwei/p/3904715.html

提到了如何如何读取网页源代码，并通过group正则 动态抓取我们所需要的网页数据

现在来写下关于数据的存储，思路很简单，只需要在我们每次读取一个数据的时候，把数据存放在临时变量，然后插入数据库即可。

《基于Java数据采集入库（三）》：http://www.cnblogs.com/lichenwei/p/3907007.html

《基于Java数据采集入库（终结篇）》：http://www.cnblogs.com/lichenwei/p/3910492.html

先来建一个表：

DoMysql.java(数据库连接类，并提供插入数据的方法)

 package com.lcw.curl;

 import java.sql.Connection;
 import java.sql.DriverManager;
 import java.sql.SQLException;
 import java.sql.Statement;

 public class DoMySql {

     //定义MySql驱动,数据库地址,数据库用户名 密码, 执行语句和数据库连接
     public String driver = "com.mysql.jdbc.Driver";
     public String url = "jdbc:mysql://127.0.0.1:3306/football";
     public String user = "root";
     public String password = "";
     public Statement stmt = null;
     public Connection conn = null;

     //创建一个插入数据的方法
     public void datatoMySql(String insertSQl) {

         try {
             try {
                 Class.forName(driver).newInstance();
             } catch (Exception e) {
                              e.printStackTrace();
             }
             //创建连接
             conn = DriverManager.getConnection(url, user, password);
             //创建一个 Statement 对象来将 SQL 语句发送到数据库
             stmt = conn.createStatement();
         } catch (SQLException e) {
             e.printStackTrace();
         }
         try {
             //执行SQL 插入语句
             stmt.executeUpdate(insertSQl);
         } catch (SQLException e) {
             e.printStackTrace();
         }
         try {
             stmt.close();
             conn.close();
         } catch (SQLException e) {
             e.printStackTrace();
         }
     }

 }

GetData.java(过滤数据类)

 package com.lcw.curl;

 import java.util.regex.Matcher;
 import java.util.regex.Pattern;

 public class GetData {

     /**
      *
      * @param regex 正则表达式
      * @param content 所要匹配的内容
      * @return
      */
     public String getData(String regex,String content){
         Pattern pattern=Pattern.compile(regex, Pattern.CASE_INSENSITIVE);//设定正则表达式，不区分大小写
         Matcher matcher=pattern.matcher(content);
         if(matcher.find()){
             return matcher.group();
         }else{
             return "";
         }
     }

 }

CurlMain.java主程序类：

 package com.lcw.curl;

 import java.io.BufferedReader;
 import java.io.InputStreamReader;
 import java.net.URL;

 public class CurlMain {

     /**
      * @param args
      */
     public static void main(String[] args) {

         try {
             String address = "http://www.footballresults.org/league.php?league=EngDiv1";
             URL url = new URL(address);
             InputStreamReader inputStreamReader = new InputStreamReader(url
                     .openStream(), "utf-8");// 打开地址，以UTF-8编码的形式返回字节并转为字符
             BufferedReader bufferedReader = new BufferedReader(
                     inputStreamReader);// 从字符输入流中读取文本，缓冲各个字符，从而提供字符、数组和行的高效读取。

             GetData data = new GetData();
             DoMySql mySql = new DoMySql();
             String content = "";// 用来接受每次读取的行字符
             int flag = 0;// 标志,队伍信息刚好在日期信息后面,则正则相同，用于分离数据
             String dateRegex = "\\d{1,2}\\.\\d{1,2}\\.\\d{4}";// 日期匹配正则表达式
             String teamRegex = ">[^<>]*</a>";// 队伍匹配正则表达式
             String scoreRegex = ">(\\d{1,2}-\\d{1,2})</TD>";// 比分正则表达式
             String tempDate="";
             String teama="";
             String teamb="";
             String score="";
             int i = 0;// 记录信息条数
             String sql = "";

             while ((content = bufferedReader.readLine()) != null) {// 每次读取一行数据
                 // 获取比赛日期信息
                 String dateInfo = data.getData(dateRegex, content);
                 if (!dateInfo.equals("")) {
                     System.out.println("日期:" + dateInfo);
                     tempDate=dateInfo;
                     flag++;
                 }
                 // 获取队伍信息，需先读到日期信息让标志符自增
                 String teamInfo = data.getData(teamRegex, content);
                 if (!teamInfo.equals("") && flag == 1) {
                     teama = teamInfo.substring(1, teamInfo
                             .indexOf("</a>"));
                     System.out.println("主队:" + teama);
                     flag++;
                 } else if (!teamInfo.equals("") && flag == 2) {
                     teamb = teamInfo.substring(1, teamInfo
                             .indexOf("</a>"));
                     System.out.println("客队:" + teamb);
                     flag = 0;
                 }
                 // 获取比分信息
                 String scoreInfo = data.getData(scoreRegex, content);
                 if (!scoreInfo.equals("")) {
                     score = scoreInfo.substring(1, scoreInfo
                             .indexOf("</TD>"));
                     System.out.println("比分:" + score);
                     System.out.println();
                     i++;
                     sql = "insert into football(`date`,`teama`,`teamb`,`score`) values('"
                             + tempDate
                             + "','"
                             + teama
                             + "','"
                             + teamb
                             + "','"
                             + score + "')";
                     System.out.println(sql);
                     mySql.datatoMySql(sql);
                 }

             }
             bufferedReader.close();
             System.out.println("一共收集到了" + i + "条信息");
         } catch (Exception e) {
             e.printStackTrace();
         }

     }

 }

看下运行效果图：

下一篇文章：《基于Java的数据采集（三）》：http://www.cnblogs.com/lichenwei/p/3905370.html