hbase集群常用维护命令

一. zk集群 1. 查看当前服务的角色 leader/follower echo stat|nc 127.0.0.1 2181 2. 启动ZK服务: sh bin/zkServer.sh start 3. 查看ZK服务状态: sh bin/zkServer.sh status 4. 停止ZK服务: sh bin/zkServer.sh stop 5. 重启ZK服务: sh bin/zkServer.sh restart 二 hadoop 集群 hbase是基于hadoop的,所以hbase服…

6.K8s集群升级、etcd备份和恢复、资源对象及其yaml文件使用总结、常用维护命令

1.K8s集群升级集群升级有一定的风险,需充分测试验证后实施集群升级需要停止服务,可以采用逐个节点滚动升级的方式 1.1 准备新版本二进制文件查看现在的版本 root@k8-master1:~# /usr/local/bin/kube-apiserver --version Kubernetes v1.21.0 1.1.1 从github上下载需要版本的二进制安装包,比如 1.21.5 root@k8-deploy:~/k8s-update/kubernetes-v1.21.5## ll…

Hadoop集群常用的shell命令

Hadoop集群常用的shell命令 Hadoop集群常用的shell命令查看Hadoop版本 hadoop -version 启动HDFS start-dfs.sh 启动YARN start-yarn.sh 查看4台服务器的进程 jps 启动HDFS和YARN的web管理界面 http://你的ip:50070/ http://你的ip:8088/ 在HDFS上创建一个文件夹/test/input hadoop fs -mkdir -p /test/input 查看创建的文件夹 hadoop…

HBase集群部署与基础命令

HBase 集群部署安装 hbase 之前需要先搭建好 hadoop 集群和 zookeeper 集群.hadoop 集群搭建可以参考:https://www.cnblogs.com/javammc/p/16545146.html 下载安装包 http://archive.apache.org/dist/hbase/1.3.1/ 解压到安装目录 tar -zxvf hbase-1.3.1-bin.tar.gz 我解压到了/opt/lagou/servers/hbase-1.3.1 目录. 修改…

[How to]HBase集群备份方法

1.简介当HBase数据库中存在非常重要的业务数据的时候为了保护数据的可以对数据进行备份处理.对于HBase来说从备份操作来看可分为离线备份和在线备份. 2. 前准备在测试环境上准备有哦两套HBase集群,资源有限原因他们共享一个hdfs集群和zookeeper,通过配置不同node路径和数据路径来区别开. 其中xufeng-1上的集群中没有任何数据,xufeng-3集群上存在一些表和数据: 3.离线备份离线备份顾名思义,在做备份的时候需要将集群停止,然后将集群在hdfs上的数据文件夹完整…

大数据中HBase集群搭建与配置

hbase是分布式列式存储数据库,前提条件是需要搭建hadoop集群,需要Zookeeper集群提供znode锁机制,hadoop集群已经搭建,参考 Hadoop集群搭建 ,该文主要介绍Zookeeper与hbase的部署与配置,常见hbase shell命令选件版本选择: 选举机制:Zookeeper-3.4.12,部署3台,50.51.52 分布式列式数据库:HBase-1.4.9,主机50,从机51.52.53 安装配置Zookeeper集群这里可以选择不安装Zookeeper,而使用…

开启hadoop和Hbase集群的lzo压缩功能（转）

原文链接:开启hadoop和Hbase集群的lzo压缩功能问题导读: 1.如何启动hadoop.hbase集群的压缩功能? 2.lzo的作用是什么? 3.hadoop配置文件需要做哪些修改? 首先我们明白一个概念: LZO 是致力于解压速度的一种数据压缩算法,LZO 是 Lempel-Ziv-Oberhumer 的缩写. 安装前: # yum -y install lzo-devel zlib-devel gcc autoconf automakelibtool lzo-2.06.tar.…

Apache HBase 集群安装文档

简介: Apache HBase 是一个分布式的.面向列的开源 NoSQL 数据库.具有高性能.高可靠性.可伸缩.面向列.分布式存储的特性. HBase 的数据文件最终落地在 HDFS 之上,所以在 Hadoop 集群中,DataNode 节点都需安装 HBase Worker Node. 另外,HBase 受 ZooKeeper 管理,还需安装 ZooKeeper 单机或集群.建议 HBase Master 节点不要与集群中其余 Master 节点安装在同一台物理服务器. HBase Mast…

「从零单排HBase 10」HBase集群多租户实践

在HBase1.1.0发布之前,HBase同一集群上的用户.表都是平等的,大家平等共用集群资源.容易碰到两个问题: 一是某些业务较其他业务重要,需要在资源有限的情况下优先保证核心重要业务的正常运行二是有些业务QPS常常很高,占用大量系统资源,导致其他业务无法正常运转. 这是典型的多租户问题.因此,我们需要通过资源隔离来解决多租户问题,同时,需要考虑计算型业务与存储型业务混合部署来提高集群的资源利用率. 1.基本概念 1.1 namespace逻辑隔离 HBase命名空间 namespace 与…

基于docker快速搭建hbase集群

一.概述 HBase是一个分布式的.面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统".就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力.HBase是Apache的Hadoop项目的子项目.HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的…

hbase集群安装与部署

1.相关环境 centos7 hadoop2.6.5 zookeeper3.4.9 jdk1.8 hbase1.2.4 本篇文章仅涉及hbase集群的搭建,关于hadoop与zookeeper的相关部署参见上篇文章http://www.cnblogs.com/learn21cn/p/6184490.html 目标如下: master 192.1.68.1.215 HMaster data1 192.168.1.218 HMaster备用 HRegionServer data2 192.168.1…

HBase集群搭建

HBase集群搭建搭建环境:假设我们的linux环境已经准备好,包括网络.JDK.防火墙.主机名.免密登录等都没有问题,而且一定要有zookeeper.下面我们用3台linux虚拟机来搭建Hbase集群,首先启动我们的3台linux虚拟机,主机名分别为hadoop01.hadoop02和hadoop03. 1.启动zookeeper集群启动zookeeper的命令: [root@hadoop01 zookeeper]# bin/zkServer.sh start 查看zookeeper启动状…

hadoop(四): 本地 hbase 集群配置 Azure Blob Storage

基于 HDP2.4安装(五):集群及组件安装创建的hadoop集群,修改默认配置,将hbase 存储配置为 Azure Blob Storage 目录: 简述配置验证 FAQ 简述: hadoop-azure 提供hadoop 与 azure blob storage 集成支持,需要部署 hadoop-azure.jar 程序包,在HDP2.4 安装包中已默认提供,如下图: 配置成功后,读写的数据都存储在 Azure Blob Storage account 支持配置多个 Azure Bl…

Zookeeper集群和HBase集群

1.部署Zookeeper集群(hadoop0\hadoop1\hadoop2) 1.1.在hadoop0上解压缩Zookeeper-3.4.5.tar.gz 1.2.执行命令 cp conf/zoo_sample.cfg conf/zoo.cfg 1.3.修改文件conf/zoo.cfg dataDir=DATA_PATH clientPort=2181 #增加 server.0=hadoop0:2888:3888 server.1=hadoop1:2888:3888 server.2=had…

dfs.datanode.max.xcievers参数导致hbase集群报错

2013/08/09 转发自http://bkeep.blog.163.com/blog/static/123414290201272644422987/ [案例]dfs.datanode.max.xcievers参数导致hbase-0.92集群报错 2012-08-26 16:44:22| 分类: Hbase|字号订阅场景: 15个datanode挂掉,只有2个存活 [dwhftp@dw-hbase-1 ~]$ hadoop dfsadmin -report Configured…

在Azure HDInsight HBase集群中使用Thrift接口

Sun wei Wed, Feb 25 2015 2:17 AM Apache Thrift 是一种可扩展的跨语言服务接口,可以通过内置的代码生成引擎帮助创建跨语言服务类库,Apache HBase 也是通过Thrift sever与Python,Ruby等其他程序开发语言进行交互.但是默认情况下Thrift Server默认不是启动的,需要手工处理一下.在Azure HDInight HBase中这种处理的方式有2种,我们可以根据使用场景来进行配置. 第一种方法相对简单,我们可以通过RDP远…

hbase单机环境的搭建和完全分布式Hbase集群安装配置

HBase 是一个开源的非关系(NoSQL)的可伸缩性分布式数据库.它是面向列的,并适合于存储超大型松散数据.HBase适合于实时,随机对Big数据进行读写操作的业务环境. @hbase单机环境的搭建 1.首先配置好JDK,准备好hbase-0.98.12.1-hadoop2-bin.tar的压缩包,然后解压到相应目录中 2.进入conf/hbase-env.sh.文件,进行JDK的配置,将其中的JAVA_HOME指向到你Java的安装目录 3.编辑conf/hbase-site.xml文件,添…

CentOS7 安装Hbase集群

继续接上一章,已安装好Hadoop集群环境 http://www.cnblogs.com/dopeter/p/4612232.html 在此基础上继续安装Hbase集群 Hbase版本为1.0.1.1 一. 安装与配置Hbase 1. 解压 tar -zxvf hbase-1.0.1.1-bin.tar.gz-C /opt 2. 配置 cd /opt/hbase-1.0.1.1/conf vi hbase-env.sh export JAVA_HOME=/usr/java/jdk1.8.0_45…

Hbase集群监控

Hbase集群监控 Hbase Jmx监控监控每个regionServer的总请求数,readRequestsCount,writeRequestCount,region分裂,region合并,Store 数据来源: /jmx?qry=Hadoop:service=HBase,name=RegionServer,sub=Server 设计: 1.定时调度Hbase Jmx去捞取数据,数据存放在Mysql,最新的一条数据存放到redis缓存中查(设置过期时间5分钟)并插入数据库中(定时每五分钟调…

HBase集群安装部署

0x01 软件环境 OS: CentOS6.5 x64 java: jdk1.8.0_111 hadoop: hadoop-2.5.2 hbase: hbase-0.98.24 0x02 集群概况 IP hostname 192.168.1.10 master 192.168.1.11 slave1 192.168.1.12 slave2 0x03 安装HBase 下载.解压下载地址:http://www.apache.org/dyn/closer.cgi/hbase/ 软件版本:hbase-…

CentOS 6 安装HBase集群教程

hbase0.99.2安装包下载(链接:https://pan.baidu.com/s/1dR-HB3P6mzsXVW6sLI8uxQ 密码:4g1n) 首先需要安装 zookeeper(点击查看) 以及 hadoop(点击查看) 1. 上传首先确保用户是hadoop,用工具将hbase安装包hbase-0.99.2-bin.tar.gz上传到/home/hadoop下,确保hbase-0.99.2-bin.tar.gz的用户是hadoop解压 su – hadoop tar –zxvf h…

高可用Hadoop平台－HBase集群搭建

1.概述今天补充一篇HBase集群的搭建,这个是高可用系列遗漏的一篇博客,今天抽时间补上,今天给大家介绍的主要内容目录如下所示: 基础软件的准备 HBase介绍 HBase集群搭建单点问题验证截图预览那么,接下来我们开始今天的HBase集群搭建学习. 2.基础软件的准备由于HBase的数据是存放在HDFS上的,所以我们在使用HBase时,确保Hadoop集群已搭建完成,并运行良好.若是为搭建Hadoop集群,请参考我写的<配置高可用的Hadoop平台>来完成Hadoop平台的搭建.另…

[How to]HBase集群备份方法--Replication机制

1.简介 HBase备份的方法在[How to]HBase集群备份方法文章中已经有些介绍,但是这些方法都不是HBase本身的特性在支持,都是通过MR计算框架结合HBase客户端的方式,或者直接拷贝HBase的底层hdfs数据的方式进行备份的,但从操作上来说也比较繁琐复杂,数据完整性和及时性上也做的并不是很好. 本文介绍另外一种集群间的数据自动备份特性,这个特性是HBase的内部特性,用户数据备份和数据容灾和集群功能划分. 数据容灾可以认为只是为了数据的保存的措施,除此之外我们也可以灵活使用这种机…

基于centos6.5 hbase 集群搭建

注意本章内容是在上一篇文章“基于centos6.5 hadoop 集群搭建”基础上创建的 1.上传hbase安装包 hbase-0.96.2-hadoop2 我的目录存放在/usr/hadoop/hbase-0.96.2-hadoop2 2.解压 3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了) 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env.sh export JAVA_HOME=/us…