转载:http://ju.outofmemory.cn/entry/50064 随着大数据表格应用的驱动,我们的HBase集群越来越大,然而由于机器.网络以及HBase内部的一些不确定性的bug,使得系统面临着一些不确定性的故障. 因此,HBase上有很多的Region组成,需要控制每个表格的Region的状态. 分析: 1)实时掌控Region的状态.应用的每次访问要直接与HBase某个Region关联,需要探测Table上Region是否处于可用状态. 2)Region的读写与底层的HDFS…

1.介绍HBase集群上region数目由于业务驱动而越来越多,由于服务器本身,网络以及hbase内部的一些不确定性bug等因素使得这些region可能面临着不可用或响应延时情况.通过对region的监控,也可以反映出hdfs集群的状况2.工具org.apache.hadoop.hbase.tool.Canary 监控Region的可用和读写状况Usage: bin/hbase org.apache.hadoop.hbase.tool.Canary [opts] [table 1 [table…

HBase 集群监控系统构建 标签(空格分隔): Hbase 一, 集群为什么需要监控系统 总的来说是为了保证系统的稳定性,可靠性,可运维性.具体来说我认为有以下几点: 掌控集群的核心性能指标,了解集群的性能表现. 集群出现问题时及时报警,便于Hbase运维同学及时修复问题. 集群重要指标值异常时进行预警,将问题扼杀在摇篮中,不用等集群真正不可用时才采取行动. 当集群出现问题时,监控系统可以帮助我们更快的定位问题和解决问题.无监控,不运维. 二, 如何构建HBase集群监控系统 一般来说,大公司…

前言 RegionServer维护Master分配给它的region,处理对这些region的IO请求,负责切分在运行过程中变得过大的region, 由于集群性能( 分配的内存和磁盘是有限的 )有限的,那么HBase单个RegionServer的region数目肯定是有上限的. Region数目上限 RegionServer的region数目取决于memstore的内存使用,每个region拥有一组memstore(memstore的数量有hstore决定,hstore的数据由创建表时的指定的列…

Hbase集群监控 Hbase Jmx监控 监控每个regionServer的总请求数,readRequestsCount,writeRequestCount,region分裂,region合并,Store 数据来源: /jmx?qry=Hadoop:service=HBase,name=RegionServer,sub=Server 设计: 1.定时调度Hbase Jmx去捞取数据,数据存放在Mysql,最新的一条数据存放到redis缓存中查(设置过期时间5分钟)并插入数据库中(定时每五分钟调…

自学Zabbix4.3 zabbix实战监控Web网站性能 用zabbix如何监控web性能和可用性呢?一般分为四个步骤:打开网站.登陆.登陆验证.退出,看实例. 1. 检测流程 1. 打开网站:如果http code为200,并且响应的html中包含Zabbix SIA表示打开成功(zabbix页面有这个标示) 2. 登陆后台:post用户名和密码到index.php,如果响应200,那表示post成功.并且通过正则表达式从响应的html中匹配sid,这个sid也就是一个宏变量,退出可以使用到…

mongodb可以通过profile来监控数据 (mongodb性能优化)   开启 Profiling  功能 ,对慢查询进行优化: mongodb可以通过profile来监控数据,进行优化. 查看当前是否开启profile功能用命令 db.getProfilingLevel()  返回level等级,值为0|1|2,分别代表意思:0代表关闭,1代表记录慢命令,2代表全部 db.setProfilingLevel(level);  #level等级,值同上 level为1的时候,慢命令默认值为…

Druid连接池及监控在spring配置如下: <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close"> <!-- 基本属性 url.user.password --> <property name="url" v…

性能测试 Jmeter实时监控+SpringBoot接口性能实战 自动化 SpringBoot Java Jmeter实时监控+SpringBoot接口性能实战 一.实验目的及实验环境 1.1.实验目的 通过springboot编写基于HTTP请求的get.post接口与jmeter集成进行压力测试.实现最新版本influxdb.grafana实时监控性能测试数据.本次实验所用用到的工具和编写的接口代码都会百度云链接分享给大家. 1.2.实验环境 工具 版本 IntelliJ IDEA 2017…

转载自:https://cloud.tencent.com/developer/article/1508319 文章目录1.Micrometer 介绍2.环境.软件准备3.Spring Boot 工程集成 Micrometer4.配置 Prometheus 监控应用指标5.配置 Grafana Dashboard 展示监控项6.自定义监控指标并展示到 Grafana6.1.监控某几个 API 请求次数6.2.监控所有 API 请求次数6.3.监控实时在线人数 1.Micrometer 介绍 Mi…

[问题描述] 在持续批量写入HBase的情况下,出现了Dead Region Servers的情况.集群会把dead掉节点上的region自动分发到另外2个节点上,集群还能继续运行,只是少了1个节点. [解决方案] 重启HBase集群,dead掉的那个节点又恢复正常了.集群又会重新分配region到3个节点上 [总结] HBase版本为2.0.0,问题产生的原因还没有找到,在这里先记录一下. 補充: 問題原因已找到,請查看另外1個:https://www.cnblogs.com/caoweixi…

发现有些regison程序操作失败,其他region 都是正常的,重启regionserver 后依然报同样的错误. 首先进入hbase的bin目录,执行下面命令检查表是否有存储一致性问题: hbase hbck -details table 如出现以下提示,则说明有不一致的地方,2表示个数: inconsistencies detected. 既然不一致,咱就尝试修复一下(这个功能要管理权限,使用慎重): hbase hbck -repair table 修复完了以后结果如下: Summary…

HBase中有两张特殊的Table,-ROOT-和.META. .META.:记录了用户表的Region信息,它可以有多高region(这的意思是说.META.表可以分 裂成多个region,和用户表一样) -ROOT-:记录了.META.表的Region信息,-ROOT-只有一个region(也就是说它不可分割) Zookeeper中记录了-Root-表的location region大小: 更大的Region可以使你集群上的Region的总数量较少. 一般来言,更少的Region可以使你的集…

一. Hbase的region 我们先简单介绍下Hbase的架构和Hbase的region: 从物理集群的角度看,Hbase集群中,由一个Hmaster管理多个HRegionServer,其中每个HRegionServer都对应一台物理机器,一台HRegionServer服务器上又可以有多个Hregion(以下简称region).要读取一个数据的时候,首先要先找到存放这个数据的region.而Spark在读取Hbase的时候,读取的Rdd会根据Hbase的region数量划分stage.所以当r…

前言 文章不含源码,只是一些官方资料的整理和个人理解 架构总览 这张图在大街小巷里都能看到,感觉是hbase架构中最详细最清晰的一张,稍微再补充几点. 1) Hlog是低版本hbase术语,现在称为WALs. 2) 1个region包含了多个store,1个store包含了1个colum family,这样就比较好理解 3) 1个store包含了多个storefile,1个sotrefile就是1个hfile文件 这在HDFS路径也能体现,大概长这样 table/region/column fa…

一.Region Server栏信息 Requests Per Second,每秒读或写请求次数,可以用来监控HBase请求是否均匀.如果不均匀需排查是否为建表的region划分不合理造成. Num. Regions,每个Regionserver节点上的region个数,观察每个节点的region个数是否均匀,如果不均匀需要确认balance问题. 二.Dead Region Servers栏信息 查看Dead的节点,并确认该节点是否有人为stop或者自动挂了 三.Tables栏信息 Table…

HMaster 没有处理过重的负载,并且实际的数据服务不经过 HMaster,它的主要任务有2个:一.管理Hbase Table的 DDL操作, 二.region的分配工作,任务不是很艰巨. 但是如果采用默认自动split region的方式,HMaster会稍微忙一些,负载不大,可适度对此进程做适量放大heap 的操作,但不可太大. RegionServer在写入数据时,数据会先保存在memstore 中,当大于阈值时候,再写入到磁盘.因为写入的数据是由客户端在不同时间写入的,故而他们占据的J…

一直在纠结用什么实例来给大家演示呢?想来想去还是官方的好,那我们怎么用zabbix监控web性能和可用性呢?我们这边分为几个步骤:打开网站.登陆.登陆验证.退出,一共4个小step,看实例. 检测流程 1. 打开网站:如果http code为200,并且响应的html中包含Zabbix SIA表示打开成功(zabbix页面有这个标示) 2. 登陆后台:post用户名和密码到index.php,如果响应200,那表示post成功.并且通过正则表达式从响应的html中匹配sid,这个sid也就是一个…

HTTP服务目前最流行的互联网应用之一,如何监控服务的健康状态对系统运维来说至关重要.   Zabbix本身提供了对WEB应用程序的监控,比如监控WEB程序的Download Speed,Response Time和Response Code等性能指标,但是配置起来比较繁琐和复杂.下面通过 python pycurl模块来获取HTTP响应时间,下载速度,状态吗等性能指标.然后通过zabbix trapper的方式来监控WEB应用的性能.   Zabbix trapper监控是客户端收集监控数据,…

全面掌握SQL Server Profiler 1.       原理与相关概念介绍 SQL Server Profiler,大家已经非常熟悉.常常在性能优化中使用,本文档详细介绍SQL Server Profiler.随着SQL Server2008的发布,伴随着XEvent的出现,SQL Profiler会慢慢的被替代,但是,Profiler依然是性能调优与故障排除中的一个利器. SQL Server Profiler的中文意思是SQL Server事件探查,其实SQL Server Pro…

在生产环境中很有可能有那么几个Region比较大,但是都运行在同一个Regionserver中. 这个时候就需要手动将region移动到负载低的Regionserver中. 步骤: 1.找到要移动的region,记录红框的id值,这个是唯一的region ID 2.查看RegionServer列表,并记录ip.端口.startcode #明显读请求不均衡 3.我们需要将部分region移动到dn3这台RegionServer上. 例如: mine:t_match_odds,""&quo…

步骤: 安装 SiteScope 下载 Java 版的MySQL 驱动, 下载地址:http://www.mysql.com/downloads/connector/j/ 下载成功后,把解压缩的 mysql-connector-java-5.1.14-bin.jar 文件放入: C:\SiteScope\java\lib\ext 以及 C:\SiteScope\java64\lib\ext 目录下.重启系统. 进入 SiteScope 界面, 增加数据库计数器 如下图的选择:   在数据库计数器…

JavaMelody应用监控使用指南 原文:<JavaMelody应用监控使用指南> 前言 本文参考JavaMelody的UserGuide编写,部分文字均来自文档,添加有个人理解.并进行实践操作 JavaMelody是一款可以监控Java应用(比如项目war,ear包)以及应用服务器(比如Tomcat或Jboss weblogic等等).可以通过图表给出监控数据. 软件下载参考google网址:http://code.google.com/p/javamelody/downloads/lis…

    Apache HBase 1.3.0版在2017年1月中旬正式发布了,新版本支持分层数据的压缩和多个方面的性能提升,像预写日志(WAL).一个新的RPC机制,等等.HBase 1.3.0一共修复了1,700多个问题.     在一些像OpenTSDB的项目中,HBase通常被直接用作时序应用或者通过项目本身用作时序应用.在时序应用中,数据常常按照抵达时间的先后顺序队列写入存储单元,查询数据经常发生     其他的改进还包括一个避免大量IO峰值的磁盘刷新吞吐量控制器.这些改进还有助于提高A…

package com.liveyc.common.utils; import java.util.List; import org.apache.hadoop.hbase.util.Bytes; import com.liveyc.datarecover.utils.FileToHbase; public class NewTable { public static void main(String[] args) throws Exception { createTable("2017120…

公司最近在搞一个hbase删除数据,由于在建表的时候是通过region来对每日的数据进行存储的,所以要求在删除的时候直接通过删除region的来删除数据(最好的方案是只删除region中的数据,不把region删掉,但是百度了很久没找到只删除region中数据的解决方法,实在遗憾,最终也就通过删除region来删除数据了 这样的弊端是在hbase 中执行scan全表的时候 会报错,找不到某某region,只能通过rowkey来查询别的数据 真的很烦~~~ 以后有时间在来研究这个region吧)…

The HRegionServer opens the region and creates a corresponding HRegion object. When the HRegion is opened it sets up a Store instance for each HColumnFamily for every table as defined by the user beforehand. Each Store instance can, in turn, have one…

1.nginx配置 需要使用zabbix监控nginx,首先nginx需要配置ngx_status,在nginx的配置文件中加入红框中的配置,然后重启nginx如下图所示: location /ngx_status { stub_status on; access_log off; #allow 127.0.0.1; #deny all; } 以上为nginx性能计数,我们除了监控以上数据,还需要监控nginx进程状态,并且配置触发器. 2.zabbix客户端配置 编写客户端脚本ngx_stat…

现在各种应用都走api,例如淘宝,天气预报等手机.pad客户端都是走api的,那么平时也得对这些api做监控了.怎么做呢?zabbix的web监控是不二选择了.今天就以天气预报api作为一个例子. 天气预报API 南京天气预报api地址 http://www.weather.com.cn/data/sk/101190101.html api正常情况下会返回如下数据: {"weatherinfo":{"city":"南京","cityid…

一直在纠结用什么实例来给大家演示呢?想来想去还是官方的好,那我们怎么用zabbix监控web性能和可用性呢?我们这边分为几个步骤:打开网站.登陆.登陆验证.退出,一共4个小step,看实例. 检测流程 1. 打开网站:如果http code为200,并且响应的html中包含Zabbix SIA表示打开成功(zabbix页面有这个标示) 2. 登陆后台:post用户名和密码到index.php,如果响应200,那表示post成功.并且通过正则表达式从响应的html中匹配sid,这个sid也就是一个…