菜鸟玩云计算之十九:Hadoop 2.5.0 HA 集群安装第2章 cheungmine, 2014-10-26 在上一章中,我们准备好了计算机和软件.本章开始部署hadoop 高可用集群. 2 部署Hadoop HA 集群 2.1 节点计算机预处理 2.2 ssh免密码登录 2.3 安装jdk…
菜鸟玩云计算之十八:Hadoop 2.5.0 HA 集群安装第1章 cheungmine, 2014-10-25 0 引言 在生产环境上安装Hadoop高可用集群一直是一个需要极度耐心和体力的细致工作.尽管有很多文档教会大家怎么一步一步去完成这样的工作,但是百密也有一疏.现成的工具不是没有,但是对于我这个喜欢了解细节的人来说,用别人的东西,写的好还可以,写的不好,出了问题,查找错误难之又难.手工安装Hadoop集群需要对Linux有一定的使用经验.对于完全没有接触Linux的人来说,肯定是望而生…
今天尝试安装tidb集群.详细的安装步骤我们参考:https://pingcap.com/docs-cn/op-guide/ansible-deployment/ . 不过安装之前需要一些注意事项. 1.tidb集群需要硬件环境,详细的我们可以参考官方链接:https://pingcap.com/docs-cn/op-guide/recommendation/.不过有两点需要我们注意: 1.1.这次部署的是四台机器,TiDB组件和PD组件在同一个机器上面,然后剩下的三台机器都是TiKV组件的节点…
一.redis集群的重要性 目前大部分的互联网平台,都会用到Redis内存数据库,以提高响应速度,提升用户使用体验. 为了实现Redis的高可用,通常都会布署Redis集群,使用Redis-Sentinel实现集群的监控.自动切换.故障转移等. 通常应用都会将热数据放在Redis中,以减少对后端mysql等关系型数据库的请求量.Redis集群对于应用平台的性能提升起到了重要的作用. 二.redis集群的远程数据维护 Redis集群布署到远程服务器后,如何了解集群的运行状况,如何分析运行指标参数,…
基于Kubeadm 搭建K8s集群: 通过上一篇博客,我们已经基本了解了 k8s 的基本概念,也许你现在还是有些模糊,说真的我也是很模糊的.只有不断地操作去熟练,强化自己对他的认知,才能提升境界. 我们就去搭建一个集群来感受一下.我这里搭建的一个Master 2个 Worker.尽量保持机器环境干净,我由于minikube没装好导致kubelet一直无法启动. 配置要求(官网推荐https://kubernetes.io/docs/setup/production-environment/too…
注:图片如果损坏,点击文章链接:https://www.toutiao.com/i6815920501530034696/ 承接上一篇文档<Spark词频前十的统计练习> Spark on standalone 类似于yarn的一个集群资源管理框架,spark自带的 yarn ResourceManager(进程) 管理和调度集群资源,主要包括:申请.调度.监控 NodeManager(进程) 管理当前节点的资源,以及启动container资源:CPU和内存(CPU决定快慢,内存决定生死) 注…
本文档环境基于ubuntu16.04版本,(转发请注明出处:http://www.cnblogs.com/zhangyongli2011/ 如发现有错,请留言,谢谢) 一.准备 1.1 软件版本 Ubuntu 16.04.6 (ubuntu-16.04.6-server-amd64.iso) JDK 1.8 (jdk-8u201-linux-x64.tar.gz) Hadoop 2.7.7 (hadoop-2.7.7.tar.gz) Spark 2.1.0 (spark-2.1.0-bin-ha…
上文介绍了Redis Sharding集群的使用,点击阅读 本文介绍当某个Redis节点的Master节点发生问题,发生主从切换时,Jedis怎样自动重连新的Master节点 ​一.步骤如下: 1.配置三组主从结构的redis集群,参考 2.设置哨兵(某个master节点):哨兵的作用主要是监控master节点的状态,当master节点挂掉时通过选举机制选出一个slave节点成为一个新的master,哨兵的使用可参考    sentinel.conf配置说明,下面的mymaster很重要,表示是…
收集hive的log     hive的运行日志:    /home/hadoop/CDH5.3.6/hive-0.13.1-cdh5.3.6/log/hive.log * memory *hdfs  /user/flume/hive-log 1.需要四个包: commons-configuration-1.6.jar hadoop-cdh5.3.6.jar hadoop-cdh5.3.6.jar hadoop-cdh5.3.6.jar 传到/home/hadoop/CDH5.3.6/flume…
引言 TKE团队负责公有云,私有云场景下近万个集群,数百万核节点的运维管理工作.为了监控规模如此庞大的集群联邦,TKE团队在原生Prometheus的基础上进行了大量探索与改进,研发出一套可扩展,高可用且兼容原生配置的Prometheus集群系统,理论上可支持无限的series数目和存储容量,支持纳管TKE集群,EKS集群以及自建K8s集群的监控诉求. 本文从TKE的架构出发,逐步介绍了整个监控系统的演进过程,包括早期的方案和遇到的问题,社区方案的瓶颈,我们的改进原理等. TKE架构简介 为了让…