1.hdfs-site.xml 参数配置 – dfs.name.dir – NameNode 元数据存放位置 – 默认值:使用core-site.xml中的hadoop.tmp.dir/dfs/name – dfs.block.size – 对于新文件切分的大小,单位byte.默认是64M,建议是128M.每一个节点都要指定,包括客户端. – 默认值:67108864 – dfs.data.dir – DataNode在本地磁盘存放block的位置,可以是以逗号分隔的目录列表,DataNode循

HDFS优化之实战经验 Linux系统优化 一.禁止文件系统记录时间 Linux文件系统会记录文件创建.修改和访问操作的时间信息,这在读写操作频繁的应用中将带来不小的性能损失.在挂载文件系统时设置noatime和nodiratime可禁止文件系统记录文件和目录的访问时间,这对HDFS这种读取操作频繁的系统来说,可以节约一笔可观的开销.可以修改/etc/fstab文件中noatime和nodiratime来实现这个设置. 如对/mnt/disk1使用noatime属性,可以做如下修改: $ vim

扩展为HA需要注意的问题 原Namenode称为namenode1,新增的Namenode称为namenode2. 从namenode单节点扩展为HA模式官网上有详细的教程,下面是扩展过程中疏忽的地方. namenode2部署后需要复制namenode1格式化好的数据,就是namenode1部署的时候,通过hdfs namenode -format生成的数据. journalnode部署好后,也需要格式化数据.格式化方式为:journalnode启动之后,在namenode执行hdfs name

配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效.浏览更多的配置,有两个方法: 1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的

 hadoop三个配置文件的参数含义说明     1       获取默认配置 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效.浏览更多的配置,有两个方法: 1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到core-default.xml,hdfs-default.x

1       获取默认配置 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效.浏览更多的配置,有两个方法: 1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就

比较惭愧,博客很久(半年)没更新了.最近也自己搭了个博客,wordpress玩的还不是很熟,感兴趣的朋友可以多多交流哈!地址是:http://www.leocook.org/ 另外,我建了个QQ群:305994766,希望对大数据.算法研发.系统架构感兴趣的朋友能够加入进来,大家一起学习,共同进步(进群请说明自己的公司-职业-昵称). 1.应用程序角度进行优化 1.1.减少不必要的reduce任务若对于同一份数据需要多次处理,可以尝试先排序.分区,然后自定义InputSplit将某一个分区作为一

一.HDFS是什么 HDFS是hadoop集群中的一个分布式的我文件存储系统.他将多台集群组建成一个集群,进行海量数据的存储.为超大数据集的应用处理带来了很多便利. 和其他的分布式文件存储系统相比他有以下优点: 高容错:即在HDFS运行过程中,若其中一台机器宕机了,也无需担心数据的丢失,因为在存储的过程中进行了备份,备份数量可以选择,这个将在后面的博客说明. 成本低:即使配置条件不足的情况下,都可以搭建一个HDFS,对硬件的要求不高. 易扩展:若出现集群容量不足的情况,直接添加机器,进行配置即可

来自:http://blog.csdn.net/yangjl38/article/details/7583374 1       获取默认配置 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效.浏览更多的配置,有两个方法: 1.选择相应版本的hadoop,下载解压后,搜索*.xml,找

#hadoop version 查看版本号 1 .获取默认配置 hadoop2系列配置文件一共包括6个,分别是hadoop-env.sh.core-site.xml.hdfs-site.xml.mapred-site.xml.yarn-site.xml和slaves.除了hdfs-site.xml文件在不同集群配置不同外,其余文件在四个节点的配置是完全一样的,可以复制. 另外,core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapr

HDFS命令概述 HDFS命令涉及两类,一类是hadoop命令,一类是hdfs命令,功能也分为两类,第一类是HDFS文件操作命令,第二类是HDFS管理命令. 二者都是shell命令,真正的命令只有hadoop和hdfs,而无所谓的ls/mv/cp/cat/mkdir…dfs/setQuota/fsck…等命令,后者都是以入参传递给hadoop和hdfs的. 具体实现参考bin/hadoop和bin/hdfs.hadoop族其他命令如yarn,实现机制类似.官方介绍如下: The File Sys

目录 HDFS是什么 HDFS的优缺点 HDFS的框架 HDFS的读写流程 HDFS命令 HDFS参数 1. HDFS是什么 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,首先它是一个文件系统,用于存储文件,通过目录树来定位文件位置:其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色. 2.HDFS的优缺点 之所以选择HDFS来存储数据,是具有如下优势: No 优势 描述 1 高容错性 数据自动保存多个副本.它

1.hdfs的牛逼特性 Hadoop, including HDFS, is well suited for distributed storage and distributed processing using commodity hardware. It is fault tolerant, scalable, and extremely simple to expand. MapReduce, well known for its simplicity and applicability

安装sol r 三个节点192.168.1.231,192.168.1.234,192.168.1.235 下载安装包solr.tar.gz 解压 tar -zxvf solr.tar.gz 配置ZK 编辑solr.in.sh 修改ZK_HOST ZK_HOST="192.168.1.231:2181,192.168.1.232:2181,192.168.1.233:2181" 修改SOLR_HOST(所在节点主机IP) SOLR_HOST="192.168.1.235&qu

一.Hadoop集群参数配置 在hadoop集群中,需要配置的文件主要包括四个,分别是core-site.xml.hdfs-site.xml.mapred-site.xml和yarn-site.xml,这四个文件分别是对不同组件的配置参数,具体如下: core-site.xml,集群全局参数.用于定义系统级别的参数,如HDFS.URL.Hadoop的临时目录等. hdfs-site.xml,HDFS参数.如名字节点和数据节点的存放位置.文件副本的个数.文件读取权限等. yarn-site.xml

– dfs.name.dir – NameNode 元数据存放位置 – 默认值:使用core-site.xml中的hadoop.tmp.dir/dfs/name – dfs.block.size – 对于新文件切分的大小,单位byte.默认是64M,建议是128M.每一个节点都要指定,包括客户端. – 默认值:67108864 – dfs.data.dir – DataNode在本地磁盘存放block的位置,可以是以逗号分隔的目录列表,DataNode循环向磁盘中写入数据,每个DataNode可

1)集群规划:主机名        IP      安装的软件                     运行的进程master    192.168.199.130   jdk.hadoop                     NameNode.DFSZKFailoverController(zkfc)slaver1    192.168.199.131    jdk.hadoop                       NameNode.DFSZKFailoverController(

一.创建一个mysql的link MySQL链接使用的是JDBC,必须有对应的驱动文件jar,还得有对应的访问权限,请确保能在server端访问MySQL.确保mysql的jar包已经导入到${SQOOP_HOME}/server/lib/目录下. create link -c generic-jdbc-connector 这时候就会出现交互会话,提示你输入各项参数: [Link configuration] Name:标示这个link的字符串.比如:mysql-link-1 Driver Cl

在hadoop第前几个版本中是没有快照功能的,2.x中是有这个特性的 Hadoop 2.x HDFS新特性   HDFS快照 HDFS快照     在2.x终于实现了快照     设置一个目录为可快照:         hdfs dfsadmin -allowSnapshot <path>     取消目录可快照:         hdfs dfsadmin -disallowSnapshot <path>     生成快照:         hdfs dfs -createSna

部分内容参考:http://www.linuxqq.net/archives/964.html  http://slaytanic.blog.51cto.com/2057708/1100974/ http://blog.csdn.net/jediael_lu/article/details/38680013 hadoop的重要配置文件有以下几个: 在1.2.1版本中,core-default.xml有73个属性,hdfs-default.xml有76个属性,mapred-default.xml有