编写Hive的UDF(查询平台数据同时向mysql添加数据)
注:图片如果损坏,点击文章链接:https://www.toutiao.com/i6812629187518530052/
可能会有一些截图中会有错误提示,是因为本地的包一直包下载有问题,截完图已经下载好了。
创建包结构
创建一个基础信息类
所有输出到mysql数据库中的自定义MR任务的自定义key均需要实现该抽象类
代码内容,主要是实现org.apache.hadoop.io.WritableComparable类,其它不需要写
创建平台信息类
创建全局配置常数类
后面慢慢添加内容
继续完成PlatformInfoKey,添加构造函数
常数类添加信息
根据给定的参数值,构建多个不同维度的平台维度对象
完成参数验证
然后构建平台信息
添加write和readFields方法
创建compareTo方法
添加get/set、hashCode、toString、equals方法,自动生成就可以
创建信息业务接口和实现类
完成接口
添加实现类
创建一个jdbc的管理器
常数类添加数据库配置
JdbcManager添加jdbc连接
关闭数据库连接
继续完成BaseInfoConverterImpl,添加默认构造函数
添加一个缓存数据类型
继续完成BaseInfoConverterImpl,添加方法创建cache key
创建获取ID的方法
继续编写
添加下面的代码
补全里面的sql语句
添加两个参数
完成getConnection()
完成executeSql
设置参数
添加关闭方法
创建一个UDF,模拟数据库平台数据记录
添加内容
添加evaluate方法
创建一个测试类
创建数据库
create database report
DROP TABLE IF EXISTS `platform`;
CREATE TABLE `platform` (
`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键id',
`platform_name` varchar(45) DEFAULT NULL COMMENT '平台名称',
`platform_version` varchar(10) DEFAULT NULL COMMENT '平台版本',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPACT COMMENT='平台信息表';
Sql语句
String querySql = "SELECT `id` FROM `platform` WHERE `platform_name` = ? AND `platform_version` = ? order by `id`";
String insertSql = "INSERT INTO `platform`(`platform_name`, `platform_version`) VALUES(?, ?)";
修改配置:
连接本地数据库
运行结果
数据库中
本地测试成功开始打包项目放进集群进行测试
把打包好的jar包改名为hive_udf3.jar放到集群里
进入MySQL中创建report数据库
create database report;
创建表platform
进入hive
把jar包添加到hive当中
可以用list jar 和 delete jar 分别显示jar和删除jar
创建临时函数
create temporary function convert_bl as 'com.xlgl.wzy.hive.udf.PlatformConverterUDF';
我们可以用show_functions查看函数
我们查看已有表的数据
select ename,convert_bl(ename,0) lower_name from emp;
这里报了一个异常
这个问题可能是出在maven给的版本和hive的版本不一样导致可以替换成自己的版本
然后重新打成jar包运行一下
再查询一下
select ename,convert_bl(ename,0) lower_name from emp;
可以在mysql中查看数据
编写Hive的UDF(查询平台数据同时向mysql添加数据)的更多相关文章
- mybatis+oracle添加一条数据并返回所添加数据的主键问题
最近做mybatis+oracle项目的时候解决添加一条数据并返回所添加数据的主键问题 controller层 @RequestMapping("/addplan") public ...
- 解决在mysql表中删除自增id数据后,再添加数据时,id不会自增1的问题
https://blog.csdn.net/shaojunbo24/article/details/50036859 问题:mysql表中删除自增id数据后,再添加数据时,id不会紧接.比如:自增id ...
- Android之ListView动态添加数据(SQLiteOpenHelper类添加数据)
一.SQLiteOpenHelper类: 这次我们通过sqlite来动态添加数据,接下来我们创建一个openHelper.java,在前面sqlite博客中我们已经详细的讲了SQLite的创建及使用等 ...
- myecilpse +TOMCAT+web:jsp向mysql添加数据,查询在jsp页面显示
<%@ page language="java" import="java.util.*" import="com.mysql.jdbc.Dri ...
- mysql 添加数据如果数据存在就更新ON DUPLICATE KEY UPDATE和REPLACE INTO
#下面建立game表,设置name值为唯一索引. CREATE TABLE `game` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar( ...
- 用PHP向mysql添加数据
<?php $name=$_POST['name']; $gender = $_POST['gender']; $age=$_POST['age']; #连接到数据库 $link = mysql ...
- 使用Sqoop从MySQL导入数据到Hive和HBase 及近期感悟
使用Sqoop从MySQL导入数据到Hive和HBase 及近期感悟 Sqoop 大数据 Hive HBase ETL 使用Sqoop从MySQL导入数据到Hive和HBase 及近期感悟 基础环境 ...
- 教程 | 使用Sqoop从MySQL导入数据到Hive和HBase
基础环境 sqoop:sqoop-1.4.5+cdh5.3.6+78, hive:hive-0.13.1+cdh5.3.6+397, hbase:hbase-0.98.6+cdh5.3.6+115 S ...
- 22.把hive表中数据导入到mysql中
先通过可视化工具链接mysql,在链接的时候用sqoop 用户登录 在数据库userdb下新建表 保存,输入表名upflow 现在我们需要把hive里面的数据通过sqoop导入到mysql里面 sqo ...
随机推荐
- Quartz使用AutoFac依赖注入问题小结
theme: channing-cyan highlight: a11y-dark 背景 最近在做一个需求,就是在Job中捕捉异常,然后通过邮件或者消息的方式推送给指定人员,在需求实现的过程中遇到的一 ...
- 项目开发中,真的有必要定义VO,BO,PO,DO,DTO这些吗?
存在即是合理的,业务复杂,人员协同性要求高的场景下,这些规范性的东西不按着来虽然不会出错,程序照样跑,但是遵守规范会让程序更具扩展性和可读性,都是前辈血淋淋的宝贵经验,为什么不用? 随着现在后端编程标 ...
- Python绘制折线图
一.Python绘制折线图 1.1.Python绘制折线图对应代码如下图所示 import matplotlib.pyplot as pltimport numpy as np from pylab ...
- [BUUCTF]PWN8——jarvisoj_level0
[BUUCTF]PWN8--jarvisoj_level0 题目网址:https://buuoj.cn/challenges#jarvisoj_level0 步骤: 例行检查,64位,开启了NX保护 ...
- Windwos堆管理体系以及溢出利用
<0day安全>学习笔记,主要讨论WIndows2000~WIndowsSP1平台的堆管理策略. 0X01 堆与栈的区别 栈空间是在程序设计时已经规定好怎么使用,使用多少内存空间.典型的栈 ...
- 显示大纲数字(Project)
<Project2016 企业项目管理实践>张会斌 董方好 编著 话说摘要任务,给人的感觉,就像Word里的大纲级别,可我也知道,好多同学不习惯用大纲级别,而是偏爱用编号级别,最常见的也就 ...
- 解放生产力「GitHub 热点速览 v.21.51」
作者:HelloGitHub-小鱼干 解放生产力一直都是我们共同追求的目标,能在摸鱼的空闲把赚了.而大部分好用的工具便能很好地解放我们的生产力,比如本周特推 RedisJSON 不用对 JSON 做哈 ...
- 『学了就忘』Linux日志管理 — 91、日志服务rsyslogd说明
目录 1.日志文件格式 2.rsyslogd服务的配置文件 (1)rsyslog.conf文件内容 (2)rsyslog.conf配文件内容说明 (3)定义自己的日志 1.日志文件格式 只要是由日志服 ...
- JAVA实现map集合转Xml格式
import java.util.Iterator; import java.util.SortedMap; import java.util.TreeMap; public class MainTe ...
- 总结Vue 第四天:vue-cli(Vue2.0 新手入门 — 从环境搭建到发布)
总结Vue 第四天:vue-cli(Vue2.0 新手入门 - 从环境搭建到发布) 一.Vue CLI----(Vue2.0 新手入门 - 从环境搭建到发布): ■ CLI是Command-Lin ...