现在做的项目是个大数据报表系统,刚开始的时候,负责做Java方面的接口(项目前端为独立的Java web 系统,后端也是Java web的系统,前后端系统通过接口传输数据),后来领导觉得大家需要多元化发展,要全面发展.就让大数据组的同事,给我们报表组的同事培训了下大数据方面的知识,主要是hive的.就这样就开启了新的篇章,虽然比较腹议,自此大数据离线数据计算的工作就交给我们报表组了,我们还是欣然的接受了,我自己还是相当想向大数据方面发展的. 自此,开启了大数据开发的篇章. -----------…

折腾了这么久,hbase终于装好了 ------------------------- 上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 在安装之前,查了一下资料,关于hbase与hadoop兼容性的. 最开始看hadoop的时候,在好像慕课网上看的,hadoop全家桶之间的兼容性问题(以前被java web的各种jar包坑坏了的Java菜鸟,心理有点小阴影…

Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hbase安装及简单操作 现在到hive了. hive安装比较简单. 下载个包,解压,配置hive-site.xml.hive-env.sh 就好了. 1.下载hive包 官网:http://mirror.bit.edu.cn/apache/hive/hive-2.3.3/ 2.解压到hadoop目录 -bin.tar.gz #解…

接上篇:Hadoop3集群搭建之——虚拟机安装 下篇:Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 上篇已经安装好了虚拟机了,现在开始配置环境,安装hadoop 注:hadoop集群最少需要三台机,因为hdfs副本数最少为3,单机不算 我搭了三台机 1.创建hadoop用户,hadoopgroup组 groupadd -g hadoopgroup # 创建用户组 useradd -d /opt/hado…

上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 Hadoop3集群搭建之——hive添加自定义函数UDF Hadoop3集群搭建之——hive添加自定义函数UDTF 上篇中,udtf函数,只有为一行输入,一行输出.udtf是可以一行输入,多行输出的. 简述下需求: 输入开始时间,结束时间,返回每个小时的…

上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 Hadoop3集群搭建之——hive添加自定义函数UDF 其他配置请参照上篇:Hadoop3集群搭建之——hive添加自定义函数UDF 简述下需求: 系统userid格式如下: 前三位代表国家 接下来三位代表省 再接下来三位代表市 剩下的所以代表 商店 (…

上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 下篇: Hadoop3集群搭建之——hive添加自定义函数UDTF hive 提供的函数,总是不能很贴切的满足我们程序的需要,这时候就需要自定义hive的函数了 hive 函数,大概分为三种: udf : 一行输入,一行输出 udtf : 一行输入,多行输…

上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 下篇: Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 安装好的的虚拟机,发现时间不一致,相差还比较大,对于hadoop集群来说,是需要时间同步的. 这个时候,就需要一个ntp服务了. 1.在各个节点上安装ntp yum install ntp 2.在各个节点上设置时区为 亚洲上海 timedatectl set-timezone Asia/Sh…

Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS  Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 hadoop的编译和安装是直接在一台机器上搞得,姑且nn1机器. 全程切换到root用户下操作 1.hadoop的一些资源在这里:https://www.lanzous.com/b849710/   密码:9vui [hadoop@nn1 zk_op]$ su - roo…

之前在hadoop-2.7.3 基础上搭建hbase 详情请见:https://www.cnblogs.com/aronyao/p/hadoop.html 基础条件:先配置完成zookeeper 准备软件包:zookeeper-3.4.10.tar.gz,hbase-1.3.1-bin.tar.gz(已测试兼容) # hadoop-1 192.168.1.101 NameNode DataNode$ hadoop-2 192.168.1.102 DataNode$ hadoop-3 192.16…