HBase混布MapReduce集群学习记录

一.准备工作 1.1 部署环境集群规模大概260多台,TSC10机型,机型参数如下: > 1个8核CPU(E5-2620v4) > 64G内存 > HBA,12*4T SATA,1*240G SSD, > 2*10G网口 1.2 机器分配 HBase和Hadoop的主结点共用,子结点也共用. 角色机型数量 HBase Master&Hadoop Namenode B6 2 HBase RegionServer&Hadoop Datanode TSC10 265…

tomcat集群学习记录1--初识apache http server

起因平时开发的时候我都是用eclipse把代码部署到本地tomcat的,当然只会去跑1台tomcat啦... 偶尔有时候解决问题需要去公司测试环境找日志.连上公司测试环境以后发现竟然有2台weblogic服务器..日志有时候会刷在服务器a,有时候会刷在服务器b...瞬间感觉高大上...于是想自己也研究研究...所以就有了这篇文章.... 尝试Nginx 我刚开始研究的是nginx...因为大四来公司面试架构师和我聊天的时候就提到它blablabla...反正我也听不懂...只是知道有这么1个东…

Elasticsearch学习总结 (Centos7下Elasticsearch集群部署记录)

一. ElasticSearch简单介绍 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎. ElasticSearch不但包括了全文搜索功能,还可以进行以下工作:-> 分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索.-> 实时分析的分布式搜索引擎.-> 可以扩展到上百…

使用Cloudera Manager搭建MapReduce集群及MapReduce HA

使用Cloudera Manager搭建MapReduce集群及MapReduce HA 作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.通过CM部署MapReduce On YARN 1>.进入安装服务向导 2>.选择咱们要安装的服务MR 3>.为MR分配角色 4>.配置MapReduce存储数据的目录 5>.等待MapReduce部署完成 6>.MapReduce服务成功加入到现有集群 7>.查看CM管理界面,多出来了一个MapRe…

k8s集群问题记录

k8s集群问题记录 k8s学习方案问题解决思路主要学习路径: rancher(k8s)->rke->helm->kubectl->k8s(k8s中文api) 常见问题总结: 怎么解决简单就怎么解决例如 rancher的安装使用helm安装有问题,官网有bug就使用docker的方式安装一样简便,只是个客户端没必要死扣对于由于环境问题引起的问题的排查 ./rke up 启动过程中提示有备份,这时候思路应该是路径或者环境变量中有残留文件导致失败大框架学习思路从周边应用入手由…

ElasticSearch 5学习(7)——分布式集群学习分享2

前面主要学习了ElasticSearch分布式集群的存储过程中集群.节点和分片的知识(ElasticSearch 5学习(6)--分布式集群学习分享1),下面主要分享应对故障的一些实践. 应对故障前面说了很多关于复制分片可以应对节点失效,很好保证集群的安全性,下面我们可以尝试杀掉第一个节点的进程,我们的集群变化成如下(所有的操作都是ElasticSearch自动处理): 我们杀掉的节点是一个主节点.一个集群必须要有一个主节点才能使其功能正常,所以集群做的第一件事就是各节点选举了一个新的主节点:…

ElasticSearch 5学习(6)——分布式集群学习分享1

在使用中我们把文档存入ElasticSearch,但是如果能够了解ElasticSearch内部是如何存储的,将会对我们学习ElasticSearch有很清晰的认识.本文中的所使用的ElasticSearch集群环境,可以通过查看ElasticSearch 5学习(3)--单台服务器部署多个节点搭建学习. ElasticSearch用于构建高可用和可扩展的系统.扩展的方式可以是购买更好的服务器(纵向扩展(vertical scale or scaling up))或者购买更多的服务器(横向扩展(…

RocketMQ集群部署记录

RocketMQ集群部署记录 #引用 https://cloud.tencent.com/developer/article/1147765 一.RocketMQ基础知识介绍 Apache RocketMQ是阿里开源的一款高性能.高吞吐量.队列模型的消息中间件的分布式消息中间件.RocketMQ具有以下特点: 上图是一个典型的消息中间件收发消息的模型,RocketMQ也是这样的设计,简单说来 RocketMQ具有以下特点: 1)是一个队列模型的消息中间件,具有高性能.高可靠…

Centos6下zookeeper集群部署记录

ZooKeeper是一个开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等. Zookeeper设计目的最终一致性:client不论连接到那个Server,展示给它的都是同一个视图. 可靠性:具有简单.健壮.良好的性能.如果消息m被到一台服务器接收,那么消息m将被所有服务器接收. 实时性:Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息,或者服务器失效的信息.但由于网络延时等原因,Zookeeper不能保证…

Redis集群学习笔记

Redis集群学习笔记前言最近有个需求,就是将一个Redis集群中数据转移到某个单机Redis上. 迁移Redis数据的话,如果是单机Redis,有两种方式: a. 执行redis-cli shutdown命令,触发写RDB和AOF写磁盘操作,然后将RDB文件和AOF文件都拷贝到新服务器上,然后运行服务器即可. b. 如果不想暂停服务,可以用工具,比如Redis Dump:也可以采用Redis提供的Master Slave方式同步数据. 但是,如果是Redis集群的话,每个Redis实例上面…

HBase HA的分布式集群部署（适合3、5节点）

本博文的主要内容有: .HBase的分布模式(3.5节点)安装 .HBase的分布模式(3.5节点)的启动 .HBase HA的分布式集群的安装 .HBase HA的分布式集群的启动 .HBase HA的切换 HBase HA分布式集群搭建———集群架构 HBase HA分布式集群搭建———安装步骤 HBase的分布模式(3.5节点)安装 1.分别对djt11.djt12.djt13.djt14.djt15的启动进程恢复到没有任何启动进程的状态. [hadoop@djt11 had…

HBase的多节点集群详细启动步骤（3或5节点）（分为Zookeeper自带还是外装）

HBase的多节点集群详细启动步骤(3或5节点)分为: 1.HBASE_MANAGES_ZK的默认值是false(zookeeper外装)(推荐) 2.HBASE_MANAGES_ZK的默认值是true(zookeeper自带) 1.HBASE_MANAGES_ZK的默认值是false(推荐) 伪分布模式下,如(weekend110) hbase-env.sh配置文档中的HBASE_MANAGES_ZK的默认值是true,它表示HBase使用自身自带的Zookeeper实例.但是,该实例只能为单…

Linux下搭建tomcat集群全记录

(转) Linux下搭建tomcat集群全记录 2011-10-12 10:23 6133人阅读评论(1) 收藏举报 tomcatlinuxapacheinterceptorsession集群 1.预期目标本文将讲述如何在Linux下搭建tomcat集群,以及搭建过程中可能的遇到的问题和解决方法.为简单起见,本文演示搭建的集群只有两个tomact节点外加一个apache组成,三者将安装在同一机器上: apache: 安装路径:/usr/local/apache2 端口:90 tomcat…

HBase 2.1.3 集群 web 报错InvalidProtocolBufferException 解决方法

搭建好HBase 集群后,各种后台进程都正常,搭建手册参考: Hbase 2.1.3 集群搭建手册https://www.cndba.cn/dave/article/3322 但是通过web访问,却报如下错误: 2019-03-05 23:13:49,508 WARN [qtp1911600942-82] servlet.ServletHandler: /master-status java.lang.IllegalArgumentException: org.apache.hbase.thir…

Hadoop-2.7.2集群的搭建——集群学习日记

前言因为比赛的限制是使用Hadoop2.7.2,估在此文章下面的也是使用Hadoop2.7.2,具体下载地址为Hadoop2.7.2 开始的准备目前在我的实验室上有三台Linux主机,因为需要参加一个关于spark数据分析的比赛,所以眼见那几台服务器没有人用,我们团队就拿来配置成集群.具体打算配置如下的集群主机名 IP地址(内网) SparkMaster 10.21.32.106 SparkWorker1 10.21.32.109 SparkWorker2 10.21.32.112 首先进…

Hbase 0.92.1集群数据迁移到新集群

老集群 hbase(main):001:0> status 4 servers, 0 dead, 0.0000 average load hbase(main):002:0> list TABLE class_stats geocode_cache_ta_us stats_validation vendor_delta_poi_530_3048 vendor_source_poi_10066 vendor_source_poi_530 vendor_source_poi_history ven…

HBase+Phoenix整合入门--集群搭建

环境:CentOS 6.6 64位 hbase 1.1.15 phoenix-4.7.0-HBase-1.1 一.前置环境: 已经安装配置好Hadoop 2.6和jdk 1.7 二.安装hbase 1.下载.解压 # wget http://archive.apache.org/dist/hbase/1.1.5/hbase-1.1.5-bin.tar.gz# tar -zxvf hbase--bin.tar.gz -C /usr/local/ # cd /usr/local/ # mv…

配置ssh免密码登录——集群学习日记

度过了难熬的考试月时期之后,最近和小伙伴一起参加的的比赛进入了紧张的准备时期.在进行工作的时候,发现有很多基础的知识点,自己不是很清楚以及了解,所以在想,要不就边学习的时候边写下学习日记,以供自己后来不懂的时候查看,同时以希望自己的一些所得能帮助到其他人.共勉之~ 前言 Secure Shell(缩写为SSH),是一项创建在应用层和传输层基础上的安全协议,为计算机上的Shell(壳层)提供安全的传输和使用环境.传统的网络服务程序,如rsh.FTP.POP和Telnet其本质上都是不安全的:因为它…

hbase 0.98.1集群安装

本文将基于hbase 0.98.1解说其在linux集群上的安装方法,并对一些重要的设置项进行解释,本文原文链接:http://blog.csdn.net/bluishglc/article/details/24593597,转载请注明出处. 1. 安装与配置 1.1. 前置条件确保已经安装了hadoop并保证hadoop运行正常.关于hbase与hadoop的版本号依赖关系,请參考: https://hbase.apache.org/book/configuration.html#hado…

YCSB测试HBase远程完全分布式集群

写在前面本文只讲一个很简单的问题,YCSB对HBase集群的测试.虽然网上有很多介绍YCSB测试HBase的文章,但都是针对本地HBase伪分布式集群的.大家都知道,稍微正式一些的压测都会要求测试客户端与目标集群分离部署,而且伪分布式集群通常不会在生产环境下使用,本身也没有太大的压测意义.本文会着重介绍一下压测远程HBase完全分布式集群的不同之处. 正文 YCSB是Yahoo开源的性能测试工具,支持很多种类的NoSQL数据库测试,这里既包括了经典的HBase/Cassandra/MongoD…

HBase体系架构和集群安装

大家好,今天分享的是HBase体系架构和HBase集群安装.承接上两篇文章<HBase简介>和<HBase数据模型>,点击回顾这2篇文章,有助于更好地理解本文. 一.HBase体系架构 Hbase体系架构图 1.1. Client • 包含访问HBase的接口并维护cache来加快对HBase的访问 1.2.…

redis集群学习

转载: http://arganzheng.life/redis-cluster.html Redis3.0版本加入了cluster功能,解决了Redis单点无法横向扩展的问题. 分布式系统要解决的不外乎以下两个问题: sharding/partition 以提高系统的吞吐率 replication 以提供系统的高可用然后因为sharding了,所以就有一个哈希或者路由的事情要处理.引入的问题包括: 数据分布方式:取模, 范围映射,一致性哈希, etc. 客户端哈希还是服务端转发路由,如果…

GlusterFS分布式存储集群部署记录-相关补充

接着上一篇Centos7下GlusterFS分布式存储集群环境部署记录文档,继续做一些补充记录,希望能加深对GlusterFS存储操作的理解和熟悉度. ========================清理glusterfs存储环境========================= 由上面可知,该glusterfs存储集群有四个节点: [root@GlusterFS-master ~]# cat /etc/hosts ....... 192.168.10.239 GlusterFS-master…

Centos6.9下RabbitMQ集群部署记录

之前简单介绍了CentOS下单机部署RabbltMQ环境的操作记录,下面详细说下RabbitMQ集群知识,RabbitMQ是用erlang开发的,集群非常方便,因为erlang天生就是一门分布式语言,但其本身并不支持负载均衡. Rabbit集群模式大概分为以下三种:单一模式.普通模式.镜像模式,其中:1)单一模式:最简单的情况,非集群模式,没什么好说的.2)普通模式:默认的集群模式.-> 对于Queue来说,消息实体只存在于其中一个节点,A.B两个节点仅有相同的元数据,即队列结构.-> 当消息…

centos6下ActiveMQ+Zookeeper消息中间件集群部署记录

由于最近一个项目并发请求压力比较大,所以考虑改进架构,引入消息中间件集群作为一个缓冲消息队列,具体需求:1)将大量的WebService请求报文发送到mq集群之中,并保持消息先后顺序2)保证每个消息的可靠性3)维护MQ服务器的可扩展性综合考虑,决定使用Apache的activemq,activemq是Apache出品,最流行的,能力强劲的开源消息总线.本项目使用的是activemq5.11,activemq5.11要求jdk6+,本次使用jdk7,并引入activemq服务器.准备三台服务器:…

Centos下Apache+Tomcat集群--搭建记录

一.目的利用apache的mod_jk模块,实现tomcat集群服务器的负载均衡以及会话复制,这里用到了<Cluster>. 二.环境 1.基础:3台主机,系统Centos6.5,4G内存,50G硬盘. yum源已更换为阿里源(如何更换可参考博客的另外一篇文章CDN) 2.软件:development tools,jdk-7u9-linux-x64.rpm;源码编译软件apr-util-1.5.4.tar.gz,apr-1.5.2.tar.gz,tomcat-connectors-1.2.4…

HBase的单节点集群详细启动步骤（分为Zookeeper自带还是外装）

伪分布模式下,如(weekend110)hbase-env.sh配置文档中的HBASE_MANAGES_ZK的默认值是true,它表示HBase使用自身自带的Zookeeper实例.但是,该实例只能为单机或伪分布模式下的HBase提供服务. 若是分布式模式,则需要配置自己的Zookeeper集群.如(HadoopMaster.HadoopSlave1.HadoopSlave2)hbase-env.sh配置文档中的HBASE_MANAGES_ZK的默认值是true,它表示,分布式模式里,在启动HB…