版本elk均为6.3+centos7.0 准备工作 官网下载elk6.3的linux环境的压缩包,sftp上传 下载对应的head插件sftp上传到指定目录 tar.gz文件解压 tar -zxvf filename -C dirname zip文件 安装zip软件 unzip filename -d dirname 1.root用户不能启动elasticsearch   参考:http://www.cnblogs.com/ding2016/p/6879584.html https://www.…

环境搭建-CentOS集群搭建 写在前面 最近有许多小伙伴问我,大数据的hadoop分布式集群该如何去搭建.所以,想着,就写一篇博客,帮助到更多刚入门大数据的人.本博客会一步一步带你实现一个Hadoop的搭建.跟着博客上面的步骤,很详细的.你很快就会有一个自己的hadoop集群啦. 我是在自己的windows机器上使用virtualBox来虚拟三台机器,作为实验的环境. 实验环境 Windows 宿主机:Windows 10 (其余也是可以的) VirtualBox 版本:VirtualBox…

现在做的项目是个大数据报表系统,刚开始的时候,负责做Java方面的接口(项目前端为独立的Java web 系统,后端也是Java web的系统,前后端系统通过接口传输数据),后来领导觉得大家需要多元化发展,要全面发展.就让大数据组的同事,给我们报表组的同事培训了下大数据方面的知识,主要是hive的.就这样就开启了新的篇章,虽然比较腹议,自此大数据离线数据计算的工作就交给我们报表组了,我们还是欣然的接受了,我自己还是相当想向大数据方面发展的. 自此,开启了大数据开发的篇章. -----------…

Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS  Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 hadoop的编译和安装是直接在一台机器上搞得,姑且nn1机器. 全程切换到root用户下操作 1.hadoop的一些资源在这里:https://www.lanzous.com/b849710/   密码:9vui [hadoop@nn1 zk_op]$ su - roo…

折腾了这么久,hbase终于装好了 ------------------------- 上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 在安装之前,查了一下资料,关于hbase与hadoop兼容性的. 最开始看hadoop的时候,在好像慕课网上看的,hadoop全家桶之间的兼容性问题(以前被java web的各种jar包坑坏了的Java菜鸟,心理有点小阴影…

Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hbase安装及简单操作 现在到hive了. hive安装比较简单. 下载个包,解压,配置hive-site.xml.hive-env.sh 就好了. 1.下载hive包 官网:http://mirror.bit.edu.cn/apache/hive/hive-2.3.3/ 2.解压到hadoop目录 -bin.tar.gz #解…

1. 首先要ssh免密登录 redis集群,3台虚拟机,6个节点,每台机器2个节点一主一从. 192.168.132.154 c0192.168.132.156 c1192.168.132.155 c2 下载并解压文件,请到官网下载.文末有网盘下载地址. tar -zxvf redis-5.0.4.tar.gz 安装或更新C语言环境 yum install gcc-c++安装Redis,默认安装在当前目录下,可以使用PREFIX参数更改安装位置make install PREFIX=/home/…

bigdesk是elasticsearch的一个集群监控工具,可以通过它来查看es集群的各种状态,如:cpu.内存使用情况,索引数据.搜索情况,http连接数等. 项目git地址: https://github.com/lukas-vlcek/bigdesk.和head一样,它也是个独立的网页程序,使用方式和head一样. 插件安装运行: 1.bin/plugin -install lukas-vlcek/bigdesk 2.运行ES 3.打开http://localhost:9200/_plu…

之前在hadoop-2.7.3 基础上搭建hbase 详情请见:https://www.cnblogs.com/aronyao/p/hadoop.html 基础条件:先配置完成zookeeper 准备软件包:zookeeper-3.4.10.tar.gz,hbase-1.3.1-bin.tar.gz(已测试兼容) # hadoop-1 192.168.1.101 NameNode DataNode$ hadoop-2 192.168.1.102 DataNode$ hadoop-3 192.16…

前期准备 下载Zookeeper 3.4.5 若无特殊说明,则以下操作均在master节点上进行 1. 解压Zookeeper #直接解压Zookeeper压缩包 tar -zxvf zookeeper-3.4.5.tar.gz -C /hadoop/app 2. 修改Zookeeper中conf下的配置文件 修改zoo_sample.cfg文件 用mv zoo_sample.cfg zoo.cfg将zoo_sample.cfg重命名为zoo.cfg 修改Zookeeper保存数据的本地目录:…