Linux Control Groups(cgroups):在操作系统级别进行资源分配,可通过Cloudera Static Service Pools配置. YARN调度器配置:对运行在YARN上的应用进行资源配置,比如M/R,implala.可通过Cloudera 动态资源池进行配置. 以下资源可以通过cgroups配置进行限制: Memory Hard Limit – If a process exceeds this limit, the kernel swaps out some of…

涉及到一些关于硬件的东西,我也不是很懂,记录下来有待以后学习. Hadoop集群一般都是由小到大,刚开始可能只有4到6个节点,随着存储数据的增加,计算量的增大,内存需求的增加,集群慢慢变大. 比如按照数据存储量增大集群,每个星期数据存储3TB数据,HDFS的block备份数为3,则集群就需要9TB的磁盘,一般还要再预估25%buffer.如果一台机器的存储量为16*3T,则大概每个月往集群中增加1台机器. 如何进行硬件选择?一般Hadoop节点分成管理节点(master node)和工作节点(w…

Services:Haddoop cluster上可以部署的组件,比如HDFS,YARN,HBase等. Roles:在service配置时,由Cloudera Manager创建.比如NameNode是HDFS service的一个role. Role Group:对Role的管理,可以将相同类别的Role(如DataNode)划分到不同的角色组.每个Role Group可以有属于自己的一系列配置. Role Instance:组成服务最基本的单一实例(可以认为是进程).一个HDFS服务有Na…

写在张文章时,差点辣死我了.把sentry数据库密码搞掉了,导致hive,impala,hue都挂了.此事要引以为戒,以后要小心操作了. 安装Sentry服务 a)                在cloudera上添加Sentry服务 b)               选中Sentry服务并继续 c)                使用集群主机Master节点作为Sentry Sever服务器(Gateway选中集群内的所有服务器) d)               根据需要进行的数据库选项配…

安装流程 机器和系统 3台服务器,安装centos 6.4 64bit系统,内存8G,磁盘60G,cpu单核 已配置好静态ip,并配置好/etc/hosts 下载cdh4版本 https://www.cloudera.com/content/support/en/downloads.html 点击下载cdh4版本,下载cloudera-manager-installer.bin 赋予执行权限 chmod u+x cloudera-manager-installer.bin 执行安装命令 ./cl…

保证Hadoop安全的最有效方法是对cluster进行隔离(isolation,常用方法是把大集群划分若干个小集群). Hadoop安全措施的目的是防止好的人不小心做了坏的事,而非防止坏人坏事. Kerberos: Hadoop采用Kerberos对所有的RPCs进行用户验证.Kerberos并不是Hadoop的一部分. Kerberos工作原理: Client是一个Hadoop client端,比如HDFS shell. Service是Kerberos要保护的Service,比如HDFS.…

HDFS-NameNode Tuning: dfs.namenode.handler.count: NameNode可开启的thread number,thread为从NameNode到DataNode的RPC请求.Default值为30(CM,Non CM is 10).推荐设置为集群node数量*20 再取log.如果设置的太小,当DataNode试图从NameNode上获取block信息时,DataNode log会报“connect refused”.   HDFS-DataNode T…

一．软件准备: 1.下载cloudera-manager-installer.bin(安装...-server),cdh4.cm(这是...-agent),另外还有些需要的关联软件下步添加. 2.先建本地源(详见http://blog.csdn.net/jiangheng0535/article/details/10297763),然后下载cloudera-manager-server的关联软件(不清楚具体需要哪些),本人是在本地安装一次server,这样需要的软件都在本地源的机器上,按步骤添加…

本文引用自:Cloudera Hadoop什么是CDH及CDH版本介绍http://www.aboutyun.com/thread-6788-1-1.html(出处: about云开发) 云技术新兴的概念太多,让我们无法使用,这里说一下什么是CDH CDH版本衍化 hadoop是一个开源项目,所以很多公司在这个基础进行商业化,Cloudera对hadoop做了相应的改变.Cloudera公司的发行版,我们将该版本成为CDH(Cloudera Distribution Hadoop).截止目前为止…

大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来.为了能够更好的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师选择合适的技术,了解大数据各种技术之间的关系,选择合适的语言.我们可以带着下面问题来阅读本文章:1.hadoop都包含什么技术2.Cloudera公司与hadoop的关系是什么,都有什么产品,产品有什么特性3.Spark与hadoop的关联是什么?4.Storm与hadoop的关联是什么? hadoo…