使用Cloudera Manager搭建YARN集群及YARN HA 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.使用Cloudera Manager搭建YARN集群 1>.通过CM界面点击添加服务 2>.进入服务安装向导,选择YARN服务安装 3>.为YARN服务分配角色 4>.指定Nodemanager数据的存放目录 5>.等待将YARN服务成功加入到当前集群中后,点击继续 6>.YARN服务添加完成 7>.服务添加成功 二.使用C…

使用Cloudera Manager搭建zookeeper集群及HDFS HA实战篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.使用Cloudera Manager搭建zookeeper集群  1>.通过CM界面点击添加服务 2>.进入服务安装向导,选择需要安装的zookeeper服务 3>.进入zookeeper安装界面 4>.为zookeeper服务分配节点 5>.自定义zookeeper节点后,点击继续 6>.配置zookeeper的数…

使用Cloudera Manager搭建MapReduce集群及MapReduce HA 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.   一.通过CM部署MapReduce On YARN 1>.进入安装服务向导 2>.选择咱们要安装的服务MR  3>.为MR分配角色 4>.配置MapReduce存储数据的目录 5>.等待MapReduce部署完成 6>.MapReduce服务成功加入到现有集群 7>.查看CM管理界面,多出来了一个MapRe…

2017年2月22日, 星期三 Cloudera Manager安装_搭建CDH集群 cpu   内存16G 内存12G 内存8G 默认单核单线 CDH1_node9 Server  || Agent 10G 6G 5G CDH2_node10 Agent 2G 1-1.5G 1G CDH3_node11 Agent 2G 1-1.5G 1G 1. • 系统环境准备 1.网络配置  vi /etc/sysconfig/network vi /etc/hosts 2.SSH免密钥登录 虚拟机的环境…

使用Cloudera Manager搭建HDFS完全分布式集群 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 关于Cloudera Manager的搭建我这里就不再赘述了,可以参考我之前的笔记:离线方式部署Cloudera Manager5.15.1. 一.基于CM界面搭建HDFS完全分布式集群 1>.CM的webUI界面默认的用户名/密码都是小写的admin,我们输入用户名和密码进行登录.操作如下: 2>.同意CM的协议,点击继续 3>.选择CM的免费版本 4>…

本文主要内容是使用Windows Azure的VIRTUAL MACHINES和NETWORKS服务安装CDH (Cloudera Distribution Including Apache Hadoop)搭建Hadoop集群. 项目中在私有云中使用CDH (Cloudera Distribution Including Apache Hadoop)搭建Hadoop集群进行大数据计算.作为微软的忠实粉丝,将CDH部署到Windows Azure的虚拟机中是我的必然选择.由于CDH中包含多个开源服…

环境搭建-Hadoop集群搭建 写在前面,前面我们快速搭建好了centos的集群环境,接下来,我们就来开始hadoop的集群的搭建工作 实验环境 Hadoop版本:CDH 5.7.0 这里,我想说一下,我们我没有选择官方版本,是因为,cdh版本已经解决好了各个组件之间的依赖.因为,后面,我们还会使用更多hadoop家族里面的组件.cdh版本目前也是国内成产环境中使用最多的一个版本. 环境所需要的安装包我可以在我的百度云分享中获取到: 链接:http://pan.baidu.com/s/1c24g…

使用Cloudera Manager搭建Kudu环境 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.点击添加服务进入CM服务安装向导 2>.选择需要安装的kudu环境 3>.为Kudu分配角色 4>.为kufu分配Linux主机的本地存储目录 5>.等待kudu安装完毕即可(一定要进行集群的时间同步!) 如果遇到报错可以参考官方常见的问题解决方案,链接地址:https://kudu.apache.org/docs/troubleshooting.ht…

搭建Artifactory集群 制品仓库系统有很多,例如Artifactory.Archiva.Sonatype Nexus.Eclipse Package Drone,其中Artifactory拥有很多强大的企业级特性和人性化的用户接口,拥有众多客户群.很多大型的公司都在使用它,通过以下的Google趋势图可以看出,它越来越受青睐.功能对比在此:Binary Repository Manager Feature Matrix Artifactory许可证 官方正版license,3个 Lice…

在实际项目中,由于用户的访问量很大的原因,往往需要同时开启多个服务器才能满足实际需求.但是同时开启多个服务又该怎么管理他们呢?怎样实现session共享呢?下面就来讲一讲如何使用tomcat+nginx搭建服务器集群以及如何实现session共享. 环境: apache-tomcat-6.0.29+apache-tomcat-6.0.29+jdk1.6+win7(由于自己只是做了一个demo,j就没有用到服务器系统了) 1.首先我们准备两个tomcat(tomcat1,tomcat2),并将端口…