生产环境(cdh5.5.1)遇到一个问题:已经设置 dfs.datanode.du.reserved预留空间为20G,但是磁盘仍然被写满了。

当挂载磁盘作为datanode的存储空间,如果磁盘大小为2000G,

使用df -h 显示:总磁盘大小2000G,使用1930G,剩余40G,就会发现:2000G -(1930G+40G)= 30G,还差了30G空间。

就是因为这30G空间的问题导致你磁盘写满,如果你配置datanode hdfs-site.xml里的dfs.datanode.du.reserved小于30G的话,而我们设置的是20G,所以磁盘就被写满 了,预留空间就没有起到实际作用

[解决办法]:

就是设置hadoop dfs.datanode.du.reserved的值 = 总磁盘大小 - () ? remaining : 0;

  • }
  • dfs.datanode.du.reserved 预留空间不生效的问题的更多相关文章

    1. hadoop dfs.datanode.du.reserved 预留空间配置方法

      对于datanode配置预留空间的方法 为:在hdfs-site.xml添加如下配置 <property> <name>dfs.datanode.du.reserved< ...

    2. dfs.datanode.max.xcievers参数导致hbase集群报错

      2013/08/09 转发自http://bkeep.blog.163.com/blog/static/123414290201272644422987/ [案例]dfs.datanode.max.x ...

    3. dfs.datanode.max.transfer.threads

      An HDFS DataNode has an upper bound on the number of files that it will serve at any one time: <p ...

    4. Hadoop集群datanode磁盘不均衡的解决方案

      一.引言: Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点,节点与节点之间磁盘大小不一样等等.当hdfs出现不平衡状况的时候,将引发很多问题,比 ...

    5. Hadoop集群datanode磁盘不均衡的解决方案【转】

      一.引言: Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点,节点与节点之间磁盘大小不一样等等.当hdfs出现不平衡状况的时候,将引发很多问题,比 ...

    6. dfs常见的配置文件中的value与description

      照抄于网络: name value description dfs.namenode.logging.level info The logging level for dfs namenode. Ot ...

    7. hadoop Non DFS Used是什么

      首先我们先来了解一下Non DFS User是什么? Non DFS User的意思是:非hadoop文件系统所使用的空间,比如说本身的linux系统使用的,或者存放的其它文件   它的计算公式: n ...

    8. dfs常见的配置文件中的value与description(重要)

      不多说,直接上干货! name value description dfs.namenode.logging.level info The logging level for dfs namenode ...

    9. File /hbase could only be replicated to 0 nodes instead of minReplication (=1). There are 30 datanode(s) running and no node(s) are excluded in this operation.

      原因: hdfs-site.xml中的配置为: <property> <name>dfs.datanode.du.reserved</name> <value ...

    随机推荐

    1. libCurl 初步认识 - cur easy

      cur easy接口简洁明了,主接口4个,辅接口5个. 主接口 初始化 + 配参数 + 执行 + 销毁 初始化 CURL* curl_easy_init() 获得CURL句柄,返回值需要判空. 配参数 ...

    2. 在jre1.8版本下,使用ikvm将jar转换为dll,以供c#调用

      由于合作方使用.net编程,jar包不能用,需要转换成dll格式,来回转换了十几个dll文件(心塞..),终于生成了一个可用的.在这里将走过的弯弯绕绕总结下,希望遇到相似问题的同好们,能走得顺利些. ...

    3. Python的sys.argv使用说明

      刚开始使用这个参数的时候,很不明白其含义.网上搜索很多都是贴的官网上面的一则实例,说看懂,就明白.可是,我看不懂.现在在回头看这个参数使用,并不是很麻烦. 举几个小例子就明白了. 创建一个脚本,内容如 ...

    4. Is It A Tree?(并查集)

      Description A tree is a well-known data structure that is either empty (null, void, nothing) or is a ...

    5. c# webBrowser打开pdf问题

      1.生成模式使用release加*86尝试,使用debug则webBrowser不生效

    6. Android开发第二阶段(2)

      昨天:总结了第一阶段的开发经验 今天:学习了一下java中对事件处理这块的初步了解比如设置监听器等 明天:我会走进我们的代码去看看相关的一些知识.

    7. 周总结<8>

      周次 学习时间 新编代码行数 博客量 学到知识点 15 15 100 1 Html页面设计:虚拟机:(C语言)排序 Html案例: <!DOCTYPE html PUBLIC "-// ...

    8. iOS- 详解如何使用ZBarSDK集成扫描二维码/条形码,点我!

      1.前言 目前市场主流APP里,二维码/条形码集成主要分两种表现形式来集成: a. 一种是调用手机摄像头并打开系统照相机全屏去拍摄 b. 一种是自定义照相机视图的frame,自己控制并添加相关扫码指南 ...

    9. (十三)Jmeter之Bean Shell 的使用(二)

      该文章来自:http://www.cnblogs.com/puresoul/p/5092628.html 上一篇Jmeter之Bean shell使用(一)简单介绍了下Jmeter中的Bean she ...

    10. PHP 在windows下配置sendmail,通过 mail() 函数发送邮件

      php mail()函数在windows不能用,需要安装sendmail. 1. 从http://glob.com.au下载sendmail.zip 2. 解压sendmail.zip到目录下(最好使 ...