环境搭建-CentOS集群搭建 写在前面 最近有许多小伙伴问我,大数据的hadoop分布式集群该如何去搭建.所以,想着,就写一篇博客,帮助到更多刚入门大数据的人.本博客会一步一步带你实现一个Hadoop的搭建.跟着博客上面的步骤,很详细的.你很快就会有一个自己的hadoop集群啦. 我是在自己的windows机器上使用virtualBox来虚拟三台机器,作为实验的环境. 实验环境 Windows 宿主机:Windows 10 (其余也是可以的) VirtualBox 版本:VirtualBox…

环境搭建-Hadoop集群搭建 写在前面,前面我们快速搭建好了centos的集群环境,接下来,我们就来开始hadoop的集群的搭建工作 实验环境 Hadoop版本:CDH 5.7.0 这里,我想说一下,我们我没有选择官方版本,是因为,cdh版本已经解决好了各个组件之间的依赖.因为,后面,我们还会使用更多hadoop家族里面的组件.cdh版本目前也是国内成产环境中使用最多的一个版本. 环境所需要的安装包我可以在我的百度云分享中获取到: 链接:http://pan.baidu.com/s/1c24g…

Linux环境下Hadoop集群搭建 前言: 最近来到了武汉大学,在这里开始了我的研究生生涯.昨天通过学长们的耐心培训,了解了Hadoop,Hdfs,Hive,Hbase,MangoDB等等相关的知识.虽然只是简单的介绍了相关的概念,但对于我来说像是打开了一个新的大门.当然,巧妇难为无米之炊,要想能够使用这些技术,首先要能够把相应的环境搭建起来.因此,在这里我将自己搭建Hadoop集群环境的步骤记录下来,以防止自己以后会忘记. 搭建前所需要的准备: 1.JDK(在这里我使用的是jdk1.8.0_…

一.安装redis 1.安装gcc环境 yum install gcc-c++ 2.下载源码包并解压 wget http://download.redis.io/releases/redis-3.2.4.tar.gz tar -zxvf redis-.tar.gz cd redis- 3.安装ruby2.4.1并编译(一定要安装大于2.2.2的ruby,要不然redis在make的时候会报错) wget http://ftp.ruby-lang.org/pub/ruby/2.4/ruby-2.4…

druid.io 是一个比较重型的数据库查询系统,分为5种节点 . 在此就不对数据库进行介绍了,如果有疑问请参考白皮书: http://pan.baidu.com/s/1eSFlIJS 单台机器的集群搭建   首先说一下通用的集群搭建,基于 0.9.1.1 下载地址  http://pan.baidu.com/s/1hrJBjlq: 修改 conf/druid/_common 内的 common.runtime.properties,参考如下配置:   #   # Licensed to Met…

最近陆陆续续有不少园友加我好友咨询 redis 集群搭建的问题,我觉得之前写的这篇 <基于Docker的Redis集群搭建> 文章一定是有问题了,所以我花了几分钟浏览之前的文章总结了下面几个问题: redis 数量太少,只创建了 3 个实例: 由于只有 3 个实例,所以全部只能是主节点,无法体现集群主从关系: 如何搭建主从集群?如何分配从节点? 基于之前的文章,我想快速的过一下这几个问题,本文基于 Docker + Redis 5.0.5 版本,通过 cluster 方式创建一个 6 个 re…

版本elk均为6.3+centos7.0 准备工作 官网下载elk6.3的linux环境的压缩包,sftp上传 下载对应的head插件sftp上传到指定目录 tar.gz文件解压 tar -zxvf filename -C dirname zip文件 安装zip软件 unzip filename -d dirname 1.root用户不能启动elasticsearch   参考:http://www.cnblogs.com/ding2016/p/6879584.html https://www.…

1. 首先要ssh免密登录 redis集群,3台虚拟机,6个节点,每台机器2个节点一主一从. 192.168.132.154 c0192.168.132.156 c1192.168.132.155 c2 下载并解压文件,请到官网下载.文末有网盘下载地址. tar -zxvf redis-5.0.4.tar.gz 安装或更新C语言环境 yum install gcc-c++安装Redis,默认安装在当前目录下,可以使用PREFIX参数更改安装位置make install PREFIX=/home/…

关键字:分布式 背景         随着互联网技术的高速发展,企业对计算机系统的技术.存储能力要求越来越高,最简单的证明就是出现了一些诸如:高并发.海量存储这样的词汇.在这样的背景 下,单纯依靠少量高性能主机来完成计算任务已经不能满足企业的要求,企业的IT架构逐步从集中式向分布式过渡,所谓的分布式是指:把一个计算任务分解成若干个计算单元,并且分派到若干不同的计算机中取执行,然后汇总计算结果的过程! 概念         ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Go…

#确保安装nginx,stream模块默认不安装的,需要手动添加参数:–with-stream, nginx1.9或以上版本 #nginx.conf文件中,添加以下内容(只供参考),这个不能放在http模块里面,否则会报错 stream { # 添加socket转发的代理 upstream client_a { hash $remote_addr consistent; # 转发的目的地址和端口 server ip1:6577 weight=5 max_fails=3 fail_timeout=…