HMaster 没有处理过重的负载,并且实际的数据服务不经过 HMaster,它的主要任务有2个:一.管理Hbase Table的 DDL操作, 二.region的分配工作,任务不是很艰巨. 但是如果采用默认自动split region的方式,HMaster会稍微忙一些,负载不大,可适度对此进程做适量放大heap 的操作,但不可太大. RegionServer在写入数据时,数据会先保存在memstore 中,当大于阈值时候,再写入到磁盘.因为写入的数据是由客户端在不同时间写入的,故而他们占据的J…

本文旨在解析 spark on Yarn 的内存管理,使得 spark 调优思路更加清晰 内存相关参数 spark 是基于内存的计算,spark 调优大部分是针对内存的,了解 spark 内存参数有也助于我们理解 spark 内存管理 spark.driver.memory:默认 512M spark.executor.memory:默认 512M spark.yarn.am.memory:默认 512M spark.yarn.driver.memoryOverhead:driver memor…

本系列是用来记录<深入理解Java虚拟机>这本书的读书笔记.方便自己查看,也方便大家查阅. 欲速则不达,欲达则欲速! 这两天看了JVM的内存优化,决定尝试一下,对Eclipse进行内存调优.本次使用的机器为64位Win10系统,虚拟机为Java HotSpot(TM) 64-Bit.硬件是台式联想电脑,Intel Pentium G630,8G物理内存.一.Eclipse配置文件eclipse.ini -startup plugins/org.eclipse.equinox.launcher_…

Unix套接字命令(Unix Socket commands) socat是一个多功能的网络工具,名字来由是“Socket CAT”,可以看作是netcat的N倍加强版,socat的官方网站:http://www.dest-unreach.org/socat/ . socat是一个两个独立数据通道之间的双向数据传输的继电器.这些数据通道包含文件.管道.设备(终端或调制解调器等).插座(Unix,IP4,IP6 - raw,UDP,TCP).SSL.SOCKS4客户端或代理CONNECT. soc…

背景 小米容器云平台,在构建云厂商集群时,需要通过HAProxy将云厂商LB流量从宿主机转到容器中,但对于HAProxy的性能没有把握.参考网上的一篇HAProxy压测文章,文章中提到HAProxy establish状态连接可以达到 400w,所以以此为目标,进行压测. 参考文章:文章地址 关键点 TCP计数器ListenOverflows大量增加 查看方法 cat /proc/net/netstat | awk '/TcpExt/ { print $21,$22 }' 原因 系统调用list…

socat管理haproxy配置   haproxy是可以通过socat命令管理haproxy.cfg文件的:1.安装socat yum install socat -y 2.配置haproxy.cfg,启动socket 修改:stats socket /var/lib/haproxy/stats 修改为:stats socket /var/lib/haproxy/stats mode 600 level admin 注:level为admin,否则使用socat时会提示权限拒绝3.socat使…

最近工作的内容涉及MySQL运维内容,陆陆续续读了几本相关的书,其中一本是<MySQL管理之道:性能调优.高可用与监控>. 内容涵盖性能调优(包括sql优化等).备份.高可用,以及读写分离等,对于普及MySQL基础非常有用.记录一下,以便于后面查阅. 附目录: 1章 MariaDB架构与历史1 1.1 MariaDB的介绍 1 1.2 MariaDB和MySQL的兼容性 2 1.3 MariaDB 10.0新增的功能 3 1.3.1 更多的存储引擎 4 1.3.2 速度的提升 5 1.3.3…

MySQL管理之道,性能调优,高可用与监控(第二版) 书中内容以实战为导向,所有内容均来自于笔者多年实践经验的总结和新知识的拓展,同时也针对运维人员.DBA等相关工作者会遇到的有代表性的疑难问题给出了实用的情景模拟,并给出了解决方案.不论你目前有没有遇到过此类问题,相信对你以后处理相关问题都会有所借鉴.本书适合所有希望构建和管理高性能.高可用性的MySQL数据库系统的开发者和DBA阅读. ​ 整本书的目录结构 第1章 MariaDB架构与历史 1.1 MariaDB的介绍 1.2 MariaDB…

进程的运行,必须使用内存.下图是Linux中进程中的内存的分布图: 其中最重要的 heap segment 和 stack segment.其它内存段基本是大小固定的.注意stack是向低地址增长的,和heap相反.另外进程的内存地址从0开始,是因为使用的是虚拟内存.所以存在虚拟内存到物理内存的映射.目前服务器一般都是64位的,32位的已经极少了,32为对内存有极大限制. 1. Linux 虚拟内存 Linux是通过虚拟内存的方式来管理内存的.虚拟内存和物理内存之间存在映射关系.当进程在CPU上…

MySQL管理之道:性能调优.高可用与监控内置脚本 随书附送脚本 keepalive配置文件和脚本开源工具pssh批量管理服务器(python) 下载地址 http://files.cnblogs.com/files/MYSQLZOUQI/MySQL%E7%AE%A1%E7%90%86%E4%B9%8B%E9%81%93%E6%89%80%E6%9C%89%E8%84%9A%E6%9C%AC.rar f…