hdp 集群问题解决记录

2019-04-23 14:16:21,769 WARN namenode.FSImage (EditLogFileInputStream.java:scanEditLog(359)) - Caught exception after scanning through 0 ops from /hadoop/hdfs/journal/hnscluster/current/edits_inprogress_0000000000554042931 while determining its valid…

k8s集群问题记录

k8s集群问题记录 k8s学习方案问题解决思路主要学习路径: rancher(k8s)->rke->helm->kubectl->k8s(k8s中文api) 常见问题总结: 怎么解决简单就怎么解决例如 rancher的安装使用helm安装有问题,官网有bug就使用docker的方式安装一样简便,只是个客户端没必要死扣对于由于环境问题引起的问题的排查 ./rke up 启动过程中提示有备份,这时候思路应该是路径或者环境变量中有残留文件导致失败大框架学习思路从周边应用入手由…

RocketMQ集群部署记录

RocketMQ集群部署记录 #引用 https://cloud.tencent.com/developer/article/1147765 一.RocketMQ基础知识介绍 Apache RocketMQ是阿里开源的一款高性能.高吞吐量.队列模型的消息中间件的分布式消息中间件.RocketMQ具有以下特点: 上图是一个典型的消息中间件收发消息的模型,RocketMQ也是这样的设计,简单说来 RocketMQ具有以下特点: 1)是一个队列模型的消息中间件,具有高性能.高可靠…

Centos6下zookeeper集群部署记录

ZooKeeper是一个开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等. Zookeeper设计目的最终一致性:client不论连接到那个Server,展示给它的都是同一个视图. 可靠性:具有简单.健壮.良好的性能.如果消息m被到一台服务器接收,那么消息m将被所有服务器接收. 实时性:Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息,或者服务器失效的信息.但由于网络延时等原因,Zookeeper不能保证…

Elasticsearch学习总结 (Centos7下Elasticsearch集群部署记录)

一. ElasticSearch简单介绍 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎. ElasticSearch不但包括了全文搜索功能,还可以进行以下工作:-> 分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索.-> 实时分析的分布式搜索引擎.-> 可以扩展到上百…

Linux下搭建tomcat集群全记录

(转) Linux下搭建tomcat集群全记录 2011-10-12 10:23 6133人阅读评论(1) 收藏举报 tomcatlinuxapacheinterceptorsession集群 1.预期目标本文将讲述如何在Linux下搭建tomcat集群,以及搭建过程中可能的遇到的问题和解决方法.为简单起见,本文演示搭建的集群只有两个tomact节点外加一个apache组成,三者将安装在同一机器上: apache: 安装路径:/usr/local/apache2 端口:90 tomcat…

基于Ambari Server部署HDP集群实战案例

基于Ambari Server部署HDP集群实战案例作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.部署Ambari Server端博主推荐阅读: https://www.cnblogs.com/yinzhengjie2020/p/12219108.html 二.时钟同步我们在生产环境中必须同步各个服务器时间是一致的,最好是有内网的时间服务器. 配置时间同步的好处: 可以定位集群故障发生的具体时间; 解决HBase,Kudu等存储依赖于时间同步的问题(若时间不同步会报…

Hadoop记录-安装ambari hdp集群

#!/bin/sh #配置用户sudo权限(参考/etc/sudoers文件,在/etc/sudoers.d/新建一个用户配置文件,注意要注销) #需要在/etc/sudoers末尾追加:sfapp ALL=(ALL) NOPASSWD:ALL #JDK配置,三台机器已配置,略 #修改hostname和加入主机映射(/etc/hosts) #配置网络/etc/sysconfig/network #配置无密登录 #ssh免秘钥登录需在sfapp用户下完成: #在10.202.107.27 cnsz…

2、ambari搭建HDP集群

一.平台环境操作系统:CentOS release 6.5 (Final) Java版本:jdk1.8.0_60 Ambari版本:2.2.1.0 HDP版本:2.4.0 MySQL版本:MySQL-5.6.25-1 用户权限:cent,sudo无密码主机IP:192.168.234.145 安装包路径:~/packages 二.环境准备1. 增加系统打开文件数和进程数在每台服务器命令行执行: 2.永久关闭linux swap 执行:cat /proc/sys/vm/swappiness…

zookeeper集群搭建记录

本文仅记录zookeeper集群搭建的过程,留待日后查看.使用. 一.硬件机器: 192.168.183.195 master-node 192.168.183.194 data-node1 192.168.183.196 data-node2 二.集群搭建在master-node机器上进行如下操作: 1.下载zookeeper wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.t…

Ambari HDP集群搭建全攻略

世界上最快的捷径,就是脚踏实地,本文已收录[架构技术专栏]关注这个喜欢分享的地方. 最近因为工作上需要重新用Ambari搭了一套Hadoop集群,就把搭建的过程记录了下来,也希望给有同样需求的小伙伴们一个参考, 作者:图头数据 Ambari Ubuntu14.04 最新版本 2.2.1 HDP Ubuntu14.04 最新版本 2.4.3.0 Ambari是什么 Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应.管理和监控. Ambari已支持大多数Ha…

CentOS7安装HDP集群

之前安装大数据组件都是一个一个手动安装的,最多弄一个脚本自动安装.手动安装麻烦不说,还没有可以监控集群的可视化界面,而且组件的稳定性也是个问题. 所以我们应该试一试HDP和CDH这种企业级的hadoop技术栈. CDH用的人最多,我本来想安装一个社区版的CDH,可惜社区版的官网打开之后样式乱了,根本没法儿看.所以我选择了HDP.HDP是完全免费的,而且基本上跟apache的hadoop保持同步.HDP使用ambari来安装,ambari虽然功能相对弱了一些,不过我感觉基本够用了.可以安装各种服务…

GlusterFS分布式存储集群部署记录-相关补充

接着上一篇Centos7下GlusterFS分布式存储集群环境部署记录文档,继续做一些补充记录,希望能加深对GlusterFS存储操作的理解和熟悉度. ========================清理glusterfs存储环境========================= 由上面可知,该glusterfs存储集群有四个节点: [root@GlusterFS-master ~]# cat /etc/hosts ....... 192.168.10.239 GlusterFS-master…

Centos6.9下RabbitMQ集群部署记录

之前简单介绍了CentOS下单机部署RabbltMQ环境的操作记录,下面详细说下RabbitMQ集群知识,RabbitMQ是用erlang开发的,集群非常方便,因为erlang天生就是一门分布式语言,但其本身并不支持负载均衡. Rabbit集群模式大概分为以下三种:单一模式.普通模式.镜像模式,其中:1)单一模式:最简单的情况,非集群模式,没什么好说的.2)普通模式:默认的集群模式.-> 对于Queue来说,消息实体只存在于其中一个节点,A.B两个节点仅有相同的元数据,即队列结构.-> 当消息…

centos6下ActiveMQ+Zookeeper消息中间件集群部署记录

由于最近一个项目并发请求压力比较大,所以考虑改进架构,引入消息中间件集群作为一个缓冲消息队列,具体需求:1)将大量的WebService请求报文发送到mq集群之中,并保持消息先后顺序2)保证每个消息的可靠性3)维护MQ服务器的可扩展性综合考虑,决定使用Apache的activemq,activemq是Apache出品,最流行的,能力强劲的开源消息总线.本项目使用的是activemq5.11,activemq5.11要求jdk6+,本次使用jdk7,并引入activemq服务器.准备三台服务器:…

cent os 6.5+ambari+HDP集群安装

1. 搭建一个测试集群,集群有4台机器,配置集群中每一台机器的/etc/hosts文件: [root@nn .ssh]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 :: localhost localhost.localdomain localhost6 localhost6.localdomain6 172.28.3.40 nn nn.hadoop.pl…

HBase混布MapReduce集群学习记录

一.准备工作 1.1 部署环境集群规模大概260多台,TSC10机型,机型参数如下: > 1个8核CPU(E5-2620v4) > 64G内存 > HBA,12*4T SATA,1*240G SSD, > 2*10G网口 1.2 机器分配 HBase和Hadoop的主结点共用,子结点也共用. 角色机型数量 HBase Master&Hadoop Namenode B6 2 HBase RegionServer&Hadoop Datanode TSC10 265…

Ambari HDP集群搭建文档

一.配置主机和节点机器之间SSH无密登录多台外网服务器配置时,需要在/etc/hosts中把本机的IP地址设置为内网IP地址 http://2d67df38.wiz02.com/share/s/0JpZYU2X7kl626aE730Q_Flq3daBjm08rAnl2oLpli2uMOfo 二.为每台主机关闭iptables,SELinux,启动ntpd服务三.安装Mysql,JDK 查看linux发行版本 cat /etc/redhat-release 从网站http://dev.mysq…

Centos下Apache+Tomcat集群--搭建记录

一.目的利用apache的mod_jk模块,实现tomcat集群服务器的负载均衡以及会话复制,这里用到了<Cluster>. 二.环境 1.基础:3台主机,系统Centos6.5,4G内存,50G硬盘. yum源已更换为阿里源(如何更换可参考博客的另外一篇文章CDN) 2.软件:development tools,jdk-7u9-linux-x64.rpm;源码编译软件apr-util-1.5.4.tar.gz,apr-1.5.2.tar.gz,tomcat-connectors-1.2.4…

kafka集群搭建记录

本文记录搭建kafka搭建过程. 一.硬件机器介绍 192.168.183.195 master-node 192.168.183.194 data-node1 192.168.183.196 data-node2 二.集群搭建 master-node操作如下: 下载kafka包 wget http://mirror.bit.edu.cn/apache/kafka/2.2.0/kafka_2.11-2.2.0.tgz 解压 tar -zxvf kafka_2.11-2.2.0.tgz -C…

openstack高可用集群21-生产环境高可用openstack集群部署记录

第一篇集群概述 keepalived + haproxy +Rabbitmq集群+MariaDB Galera高可用集群部署openstack时使用单个控制节点是非常危险的,这样就意味着单个节点所在的服务器一旦拓机了,整个openstack就废掉了所有我们基本上需要部署2个以上的控制节点,这里我们的方案是在前端使用keepalive + haproxy,这样openstack计算节点访问数据库和控制节点都是通过VIP反向代理到后端的. 数据库我们使用了MariaDB Galera高…

Ceph集群搭建记录

环境准备基础环境 node00 192.168.247.144 node00 node01 192.168.247.135 node01 node02 192.168.247.143 node02 vmare在分配IP没有连续,没有关系继续吧配置免密登录修改主机名称 hostnamectl set-hostname node00 hostnamectl set-hostname node01 hostnamectl set-hostname node02 编辑hosts文件 [root@l…

一台虚拟机，基于docker搭建大数据HDP集群

前言好多人问我,这种基于大数据平台的xxxx的毕业设计要怎么做.这个可以参考之前写得关于我大数据毕业设计的文章.这篇文章是将对之前的毕设进行优化. 个人觉得可以分为两个部分.第一个部分就是基础的平台搭建.例如Hadoop集群.Kafka集群. 第二个部分就是上层应用的建设,例如基于大数据平台的数据分析,以及大屏展示之类的可视化应用.前者提供了基础平台能力,让整个设计加入大数据元素:后者提供了上层应用能力,主要是让别人明白你利用大数据平台做了什么. 前些日子闲得无聊,在一台虚拟机上基于docke…

Redis3 本地安装集群的记录

引用CSDN文章环境 centos6.7 目标 redis 三主三从的集群 step 1 编译,如果出错,则根据提示安装依赖 tar -zxvf redis-3.0.0.tar.gz mv redis-3.0.0 redis3.0 cd /usr/local/redis3.0 make & make install 根据提示进行make test 可能需要安装其他依赖再次执行,我在执行的时候遇到 diskless yes的错误, 后经查找,使用task -c 2 make test 解决,即指…

Linux下搭建tomcat集群全记录(转)

本文将讲述如何在Linux下搭建tomcat集群,以及搭建过程中可能的遇到的问题和解决方法.为简单起见,本文演示搭建的集群只有两个tomact节点外加一个apache组成,三者将安装在同一机器上:apache: 安装路径:/usr/local/apache2端口:90tomcat1:安装路径:/usr/local/apache-tomcat-6.0.33-1端口:6080tomcat2:安装路径:/usr/local/apache-tomcat-6.0.33-2端口:7080 2.所需要软件列表…