简介 Zookeeper下载 官网地址:点我直达 百度云盘:点我直达 踩坑录 官网下载一定要下载带bin的 要不然zookeeper起不起来,找不到加载类,原来从版本3.5.5开始,带有bin名称的包才是我们想要的下载可以直接使用的里面有编译后的二进制的包,而之前的普通的tar.gz的包里面是只是源码的包无法直接使用. 好想吐槽下啊,Zookeeper的包的变动,源码的包就不能向其他的安装包一样加个src的标识吗?见名知意多好,以避免误下载. 单机Zookeeper 创建目录及解压 进入解压目录…

ActiveMQ拓展连接 此例简单介绍基于Docker的activemq安装与集群搭建 一 :安装 1.获取activemq镜像 docker pull webcenter/activemq 2.启动容器 docker run --name activemq -p 61616:61616 -e ACTIVEMQ_ADMIN_LOGIN=admin -e ACTIVEMQ_ADMIN_PASSWORD=123 --restart=always -d activemq:latest 二 :集群搭建…

今天主要来看一下Redis的安装以及集群搭建(我也是第一次搭建). 环境:CentOS 7.1,redis-5.0.7 一.单机安装 1.将Redis安装包放置服务器并解压 2.进入redis安装目录(笔者的是/usr/soft/redis-5.0.7)执行make && make install命令,安装完成后出现下图的场景,则说明安装成功 3.在redis安装目录创建两个文件夹etc(用于存放redis.conf),bin(存放相应的命令脚本) 将redis.conf移到etc目录中,…

RabbitMQ安装.集群搭建.概念解析 基本概念 为什么会产生MQ 1.解耦:采用异步方式实现业务需求达到解耦的目的. 2.缓冲流量,削峰填谷: 问:为什么会有流量冲击? 答:采用"直接调用",会有一个缺点,下游消息接收方无法控制到达自己的流量,如果调用方不进行限速,很有可能把下游压垮. 举个例子,秒杀业务: 上游发起下单操作,下游完成秒杀业务逻辑(库存检查,库存冻结,余额检查,余额冻结,订单生成,余额扣减,库存扣减,生成流水,余额解冻,库存解冻) 上游下单业务简单,每秒发起了100…

一.redis概述 1.1.目前redis支持的cluster特性: 1):节点自动发现. 2):slave->master 选举,集群容错. 3):Hot resharding:在线分片. 4):进群管理:cluster xxx. 5):基于配置(nodes-port.conf)的集群管理. 6):ASK 转向/MOVED 转向机制. 1.2.redis cluster 架构 1)redis-cluster架构图 架构细节: (1)所有的redis节点彼此互联(PING-PONG机制),内部使…

RabbitMQ安装 1 安装erlang 下载地址:http://www.erlang.org/downloads 博主这里采用的是otp_src_19.1.tar.gz (200MB+) [root@hidden util]# tar zxvf otp_src_19.1.tar.gz [root@hidden util]# cd otp_src_19.1 [root@hidden otp_src_19.1]# ./configure --prefix=/opt/erlang [root@hi…

此处以centos系统下zookeeper安装为例,详细步骤可参考官网文档:zookeeper教程 一.单节点部署 1.下载zookeeper wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz 2.解压下载下来的压缩文件 tar -zxvf zookeeper-.tar.gz 3.进入解压缩文件夹的conf目录,新建zoo.cfg配置文件(zookeeper启动时默认…

为了更好的阅读体验,欢迎访问 原文阅读链接 简介 首先引用 Elasticsearch (下文简称 ES)官网的一段描述: Elasticsearch 是一个分布式.RESTful 风格的搜索和数据分析引擎,能够解决不断涌现出的各种用例. 作为 Elastic Stack 的核心,它集中存储您的数据,帮助您发现意料之中以及意料之外的情况. 本文主要介绍 Elasticsearch 集群的搭建.通过在一台服务器上创建 3 个 ES 实例来创建一个建议的 ES 集群. Elasticsearch/E…

RabbitMQ 一.背景 命令行工具: http://www.rabbitmq.com/man/rabbitmqctl.1.man.html 介绍入门文章: http://blog.csdn.net/anzhsoft/article/details/19563091 内容比较清晰: http://www.diggerplus.org/archives/3110 Exchange.Queue producer把消息发送到Exchange(带上route key),consumer声明queue(…

rabbitmq的安装: CentOS上面部署: 首先修改hosts文件 修改hosts文件vi /etc/hosts1.1.1.1 hostname 2.2.2.2 hostname 3.3.3.3 hostname erlang的安装环境:rpm -i http://mirror.bjtu.edu.cn/fedora-epel/6/x86_64/epel-release-6-8.noarch.rpmyum install erlang安装rabbitMQ(RPM链接可以从http://www…

安装环境: jdk1.7 zookeeper-3.4.10.tar.gz VM虚拟机redhat6.5-x64:192.168.1.200  192.168.1.201  192.168.1.202 Xshell4 部署方案: 主机IP 集群通信端口 消息端口 节点目录 192.168.1.200 2888:3888 2181 /usr/local/zookeeper 192.168.1.201 2888:3888 2181 /usr/local/zookeeper 192.168.1.202…

安装环境: jdk1.7 apache-activemq-5.11.1-bin.tar.gz VM虚拟机redhat6.5-x64:192.168.1.200 Xshell4 部署方案: 主机IP 集群通信端口 消息端口 控制台端口 节点目录 192.168.1.200 62621 51511 8161 /usr/local/activemq-cluster/node1/ 192.168.1.200 62622 51512 8162 /usr/local/activemq-cluster/nod…

一.Elasticsearch单机安装 1.将es安装包传到服务器上 这是安装包 这里我是用的是WinSCP上传工具,上传到/home/plugins文件下. 进入Xshell,验证一下是否上传成功. 2.创建es目录 mkdir -p /usr/local/es(es1,es2,es3暂时不要安装,确保第一步es下面目录是空的,由于已经安装过,这三个文件留着了) 2.解压文件至 es 目录 tar -zxvf /home/plugins/elasticsearch-2.4.5.tar.gz -…

折腾了这么久,hbase终于装好了 ------------------------- 上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 在安装之前,查了一下资料,关于hbase与hadoop兼容性的. 最开始看hadoop的时候,在好像慕课网上看的,hadoop全家桶之间的兼容性问题(以前被java web的各种jar包坑坏了的Java菜鸟,心理有点小阴影…

Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hbase安装及简单操作 现在到hive了. hive安装比较简单. 下载个包,解压,配置hive-site.xml.hive-env.sh 就好了. 1.下载hive包 官网:http://mirror.bit.edu.cn/apache/hive/hive-2.3.3/ 2.解压到hadoop目录 -bin.tar.gz #解…

现在做的项目是个大数据报表系统,刚开始的时候,负责做Java方面的接口(项目前端为独立的Java web 系统,后端也是Java web的系统,前后端系统通过接口传输数据),后来领导觉得大家需要多元化发展,要全面发展.就让大数据组的同事,给我们报表组的同事培训了下大数据方面的知识,主要是hive的.就这样就开启了新的篇章,虽然比较腹议,自此大数据离线数据计算的工作就交给我们报表组了,我们还是欣然的接受了,我自己还是相当想向大数据方面发展的. 自此,开启了大数据开发的篇章. -----------…

上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 Hadoop3集群搭建之——hive添加自定义函数UDF Hadoop3集群搭建之——hive添加自定义函数UDTF 上篇中,udtf函数,只有为一行输入,一行输出.udtf是可以一行输入,多行输出的. 简述下需求: 输入开始时间,结束时间,返回每个小时的…

上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 Hadoop3集群搭建之——hive添加自定义函数UDF 其他配置请参照上篇:Hadoop3集群搭建之——hive添加自定义函数UDF 简述下需求: 系统userid格式如下: 前三位代表国家 接下来三位代表省 再接下来三位代表市 剩下的所以代表 商店 (…

上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 下篇: Hadoop3集群搭建之——hive添加自定义函数UDTF hive 提供的函数,总是不能很贴切的满足我们程序的需要,这时候就需要自定义hive的函数了 hive 函数,大概分为三种: udf : 一行输入,一行输出 udtf : 一行输入,多行输…

上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 下篇: Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 安装好的的虚拟机,发现时间不一致,相差还比较大,对于hadoop集群来说,是需要时间同步的. 这个时候,就需要一个ntp服务了. 1.在各个节点上安装ntp yum install ntp 2.在各个节点上设置时区为 亚洲上海 timedatectl set-timezone Asia/Sh…

第一章.zookeeper概述 一.zookeeper 简介 zookeeper 是一个开源的分布式应用程序协调服务器,是 Hadoop 的重要组件. zooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务器,是 Google 的Chubby 一个开源的实现,是 Hadoop 和 Hbase 的重要组件.它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护.域名服务.分布式同步.集群管理等.ZooKeeper的目标就是封装复杂易出错的关键服务,将简单易用的接口和性能高…

本文将介绍四台机器搭建rabbitmq集群: rabbitmq IP和主机名(每台机器已安装RabbitMQ 3.5.6, Erlang 18.1) 192.168.87.73 localhost73 192.168.87.74 localhost74 192.168.87.75 localhost75 192.168.87.76 localhost76 将上述IP和主机名添加到hosts文件( vim /etc/hosts) Rabbitmq的集群是依赖于erlang的集群来工作的,所以必须先…

Zookeeper在ubuntu下安装及集群搭建,关于集群搭建,网上很多文章 可以参考:https://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/index.html 总结几点: a.  zookeeper启动依赖与java环境. b. zookeeper 启动文件是在其bin目录下zkServer.sh,启动方法:zkServer.sh start c.  查看zookeeper 启动状态 zkServer.sh stat…

下载安装包http://mosquitto.org/files/source/ 安装依赖yum install -y gcc gcc-c++ libstdc++-develyum install -y openssl-develyum install -y c-ares-develyum install -y uuid-develyum install -y libuuid-develyum install -y wgetyum install -y cmakeyum install -y bu…

转载自:https://cloud.tencent.com/developer/article/1010539 1.Ceph 介绍 Ceph 是一个开源的分布式存储系统,包括对象存储.块设备.文件系统.它具有高可靠性.安装方便.管理简便.能够轻松管理海量数据.Ceph 存储集群具备了企业级存储的能力,它通过组织大量节点,节点之间靠相互通讯来复制数据.并动态地重分布数据,从而达到高可用分布式存储功能.Ceph 经过七年的发展,现在越来越完善,吸引了更多的参与者,相信以后会更加流行. 2.环境.软件…

Oracle 11G RAC数据库安装(八) 概述:写下本文档的初衷和动力,来源于上篇的<oracle基本操作手册>.oracle基本操作手册是作者研一假期对oracle基础知识学习的汇总.然后形成体系的总结,一则进行回顾复习,另则便于查询使用.本图文文档亦源于此.阅读Oracle RAC安装与使用教程前,笔者先对这篇文章整体构思和形成进行梳理.由于阅读者知识储备层次不同,我将从Oracle RAC安装前的准备与规划开始进行整体介绍安装部署Oracle RAC.始于唐博士指导,对数据库集群进行…

Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!) 一.JDK的安装 安装位置都在同一位置(/usr/tools/jdk1.8.0_73) jdk的安装在克隆三台机器的时候可以提前安装,通过scp使安装文件和环境配置(/etc/profile)都拷贝过去,并使三台机 器都通过(source /etc/profile)命令使之生效 下载JDK(本次安装使用的版本是jdk1.8.0_73) 解压JDK : tar -zxvf /usr/tools/jdk-7u72-linux-x64…

Hadoop集群搭建安装过程(二)(配置SSH免密登录)(图文详解---尽情点击!!!) 一.配置ssh无密码访问 ®生成公钥密钥对 1.在每个节点上分别执行: ssh-keygen -t rsa(一直按回车直到生成结束) 执行结束之后每个节点上的/root/.ssh/目录下生成了两个文件 id_rsa 和 id_rsa.pub 其中前者为私钥,后者为公钥 2.在主节点上执行: cp id_rsa.pub authorized_keys ®将子节点的公钥拷贝到主节点并添加进authorized_…

Hadoop集群搭建(一)(上篇中讲到了Linux虚拟机的安装) 一.安装所需插件(以hadoop2.6.4为例,如果需要可以到官方网站进行下载:http://hadoop.apache.org) hadoop2.6.4插件.已经装好的虚拟机(CentOS,这个百度一下自行安装).虚拟机安装后将其克隆成三个即可. 二.安装过程 1.配置服务器 1个主节点:sunshine(192.168.83.133),2个(从)子节点:sunshineMin(192.168.83.134), sunshine…

1:Vmware虚拟软件里面安装好Ubuntu操作系统之后使用ifconfig命令查看一下ip; 2:使用Xsheel软件远程链接自己的虚拟机,方便操作.输入自己ubuntu操作系统的账号密码之后就链接成功了: 3:修改主机的名称vi /etc/hostname和域名和主机映射对应的关系 vi /etc/hosts,改过之后即生效,自己可以ping一下,我这里ip对应master,比如ping master之后发现可以ping通即可: 4:修改过主机名称和主机名与ip对应的关系之后:开始上传jd…