24-hadoop-hiveserver2&jdbc-正则数据导入

hive 可以 类似jdbc链接, 但启动的必须是hiveserver2, 才可以使用

hiveserver2

默认监听 10000 端口

1, 启动:

nohup $HIVE_HOME/bin/hiveserver2 1>/dev/null 2>&1 &

重定向输出, 不干扰shell界面

nohup 　用户退出, 也可以继续执行

或者

$HIVE_HOME/bin/hive --service hiveserver2 1>/dev/null 2>&1 &

2, 使用 Beeline 进行连接

beelin

使用beeline链接, 和普通的hive是一样的, 只不过是远程的方式连接的, 操作命令几乎相同

!connect jdbc:hive2://192.168.208.109:10000 username password // org.apache.hive.jdbc.HIveDrvier

因为密码为空, 所以不需要写

!connect jdbc:hive2://localhost:10000 root // org.apache.hive.jdbc.HIveDrvier

可以直接链接

beelin -u jdbc:hive2://.. -n root

3, 退出

!quit

JDBC链接

java链接:

1, 导入jar包:

${HIVE_HOME}/lib下的所有包

2, 导入hadoop的包, 否则报错

导入的包为:

${HADOOP_HOME}/share/hadoop/common/*

package com.wenbronk.hive;

import java.sql.*;

/**
 *
 */
public class JDBCMain {

    private static String driverName = "org.apache.hive.jdbc.HiveDriver";

    public static void main(String[] args) throws SQLException {
        try {
            Class.forName(driverName);
            Connection con = DriverManager.getConnection("jdbc:hive2://192.168.208.109:10000/default", "root", "");

            String sql = "select * from people";
            PreparedStatement state = con.prepareStatement(sql);

            ResultSet res = state.executeQuery();

            while (res.next()) {
                System.out.println(res.getString() + "\t" + res.getString());
            }

        } catch (ClassNotFoundException e) {
            e.printStackTrace();
            System.exit();
        }finally {
            //close
        }
    }
}

官网的例子坑太多了, python的链接没有实际操作, 改天试下并修改!!!!

python 链接

需要先安装包

pip install pyhs2

然后链接:

import pyhs2

with pyhs2.connect(host='localhost',
                   port=,
                   authMechanism="PLAIN",
                   user='root',
                   password='',
                   database='default') as conn:
    with conn.cursor() as cur:
        #Show databases
        print cur.getDatabases()

        #Execute query
        cur.execute("select * from table")

        #Return column info from query
        print cur.getSchema()

        #Fetch table results
        for i in cur.fetch():
            print i

使用正则导入不规则数据

使用regexBuddy, 来正确匹配正则表达式

匹配nignx日志;

系列来自尚学堂极限班