reference: http://kafka.apache.org/quickstart  http://dblab.xmu.edu.cn/blog/1096-2/ hadoop@iZuf68496ttdogcxs22w6sZ:/usr/local$ sudo tar zvxf /home/hadoop/kafka_2.10-0.10.1.0.tgz  -C  /usr/local/ hadoop@iZuf68496ttdogcxs22w6sZ:/usr/local$ sudo mv kafk…

multi-borker function like cluster technology First we make a config file for each of the brokers (on Windows use the copy command instead > cp config/server.properties config/server-1.properties> cp config/server.properties config/server-2.properti…

reference : http://dblab.xmu.edu.cn/blog/install-mysql/ http://wiki.ubuntu.org.cn/MySQL #install mysql package: hadoop@iZuf68496ttdogcxs22w6sZ:~$ sudo apt-get install mysql-server mysql-client #start mysql service root@iZuf68496ttdogcxs22w6sZ:/etc/my…

reference: http://dblab.xmu.edu.cn/blog/131/    https://github.com/dmajkic/redis   https://blog.csdn.net/eroswang/article/details/7080412 hadoop@iZuf68496ttdogcxs22w6sZ:/usr/local$ sudo tar zvxf /home/hadoop/redis-3.2.7.tar.gz -C ./[sudo] password fo…

在这里,非常感谢下面的著名大牛们,一路的帮助和学习,给予了我很大的动力! 有了Hadoop,再次有了Spark,一次又一次,一晚又一晚的努力相伴! HBase简介(很好的梳理资料) 1. 博客主页:http://jiajun.iteye.com/ 2.博客主页:http://www.cnblogs.com/ggjucheng/ 3.博客主页:http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ 4.博客主页:http:/…

reference: http://kafka.apache.org/quickstart need to solve issue ISSUE 1: [2019-01-29 15:59:39,272] ERROR Failed to commit offsets for WorkerSourceTask{id=local-file-source-0} (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter:109) [2019-01…

reference : http://dblab.xmu.edu.cn/blog/install-hive/ http://dblab.xmu.edu.cn/blog/hive-in-practice/ hadoop@iZuf68496ttdogcxs22w6sZ:/usr/local$ sudo tar -zvxf /home/hadoop/apache-hive-1.2.1-bin.tar.gz -C /usr/local/ hadoop@iZuf68496ttdogcxs22w6sZ:/u…

reference:http://dblab.xmu.edu.cn/blog/868-2/ root@iZuf68496ttdogcxs22w6sZ:~# mv mongodb-linux-x86_64-ubuntu1604-3.2.7.tgz /usr/local/root@iZuf68496ttdogcxs22w6sZ:~# su hadoop hadoop@iZuf68496ttdogcxs22w6sZ:/usr/local$ sudo tar zxf mongodb-linux-x86_…

reference: http://dblab.xmu.edu.cn/blog/install-hbase/ reference: http://dblab.xmu.edu.cn/blog/2139-2/ wget sudo wget http://archive.apache.org/dist/hbase/1.1.5/hbase-1.1.5-bin.tar.gzsudo tar zvxf hbase-1.1.5-bin.tar.gzsudo mv hbase-1.1.5 hbasesudo c…

配置 hadoop+yarn+hbase+storm+kafka+spark+zookeeper 高可用集群,同时安装相关组建:JDK,MySQL,Hive,Flume 文章目录 环境介绍 节点介绍 集群介绍 软件版本介绍 前期准备 相关配置 新建用户 centos 添加sudo权限 更改用户名 主机名与IP映射 显示当前文件的绝对路径 ssh免密登录 关闭防火墙 两个批处理脚本 批分发指令脚本(xcall.sh) 批同步脚本(xsync.sh):类似于 scp 指令 集群环境搭建 安装JDK…