Hadoop Trash回收站使用指南
转载:https://blog.csdn.net/sunnyyoona/article/details/78869778
我们在删除一个文件时,遇到如下问题,提示我们不能删除文件放回回收站:
sudo -uxiaosi hadoop fs -rm -r tmp/data_group/test/employee/employee_salary.txt |
去回收站对应目录下观察一下,得出的结论是:无法创建目录employee
,因为employee
文件已经存在,自然导致employee_salary.txt
文件不能放回收回站:
-rw-r--r-- 3 xiaosi xiaosi 352 2017-12-06 16:18 hdfs://cluster/user/xiaosi/.Trash/Current/user/xiaosi/tmp/data_group/test/employee |
跟如下是同样的道理:
xiaosi@yoona:~$ ll employee |
借此机会,详细研究了一下HDFS
的Trash
回收站机制。
1. 配置
HDFS
的回收站就像Windows
操作系统中的回收站一样。它的目的是防止你无意中删除某些东西。你可以通过设置如下属性来启用此功能(默认是不开启的):
<property> |
属性 | 说明 |
---|---|
fs.trash.interval | 分钟数,当超过这个分钟数后检查点会被删除。如果为零,回收站功能将被禁用。 |
fs.trash.checkpoint.interval | 检查点创建的时间间隔(单位为分钟)。其值应该小于或等于fs.trash.interval 。如果为零,则将该值设置为fs.trash.interval 的值。 |
2. Trash
启用回收站功能后,使用rm
命令从HDFS
中删除某些内容时,文件或目录不会立即被清除,它们将被移动到回收站Current
目录中(/user/${username}/.Trash/current
)。如果检查点已经启用,会定期使用时间戳重命名Current
目录。.Trash
中的文件在用户可配置的时间延迟后被永久删除。回收站中的文件和目录可以简单地通过将它们移动到.Trash
目录之外的位置来恢复:
sudo -uxiaosi hadoop fs -rm tmp/data_group/test/employee/employee_salary.txt |
说明:
Deletion interval
表示检查点删除时间间隔(单位为分钟)。这里是fs.trash.interval
的值。NameNode
运行一个线程来定期从文件系统中删除过期的检查点。Emptier interval
表示在运行线程来管理检查点之前,NameNode
需要等待多长时间(以分钟为单位),即检查点创建时间间隔。NameNode
删除超过fs.trash.interval
的检查点,并为/user/${username}/.Trash/Current
创建一个新的检查点。该频率由fs.trash.checkpoint.interval
的值确定,且不得大于Deletion interval
。这确保了在emptier
窗口内回收站中有一个或多个检查点。
例如,可以设置如下:
fs.trash.interval = 360 (deletion interval = 6 hours) |
这导致NameNode
为Current
目录下的垃圾文件每小时创建一个新的检查点,并删除已经存在超过6个小时的检查点。
在回收站生命周期结束后,NameNode
从HDFS
命名空间中删除该文件。删除文件会导致与文件关联的块被释放。请注意,用户删除文件的时间与HDFS中相应增加可用空间的时间之间可能存在明显的时间延迟,即用户删除文件,HDFS可用空间不会立马增加,中间有一定的延迟。
3. 检查点
检查点仅仅是用户回收站下的一个目录,用于存储在创建检查点之前删除的所有文件或目录。如果你想查看回收站目录,可以在/user/${username}/.Trash/{timestamp_of_checkpoint_creation}
处看到:
hadoop fs -ls hdfs://cluster/user/xiaosi/.Trash/ |
最近删除的文件被移动到回收站Current
目录,并且在可配置的时间间隔内,HDFS
会为在Current
回收站目录下的文件创建检查点/user/${username}/.Trash/<日期>
,并在过期时删除旧的检查点。
4. 清空回收站
首先想到的是只要删除整个回收站目录,将会清空回收站。诚然,这是一个选择。但是我们有更好的选择。HDFS
提供了一个命令行工具来完成这个工作:
hadoop fs -expunge |
该命令使NameNode
永久删除回收站中比阈值更早的文件,而不是等待下一个emptier
窗口。它立即从文件系统中删除过期的检查点。
5. 注意点
回收站功能默认是禁用的。对于生产环境,建议启用回收站功能以避免意外的删除操作。启用回收站提供了从用户操作删除或用户意外删除中恢复数据的机会。但是为fs.trash.interval
和fs.trash.checkpoint.interval
设置合适的值也是非常重要的,以使垃圾回收以你期望的方式运作。例如,如果你需要经常从HDFS
上传和删除文件,则可能需要将fs.trash.interval
设置为较小的值,否则检查点将占用太多空间。
当启用垃圾回收并删除一些文件时,HDFS
容量不会增加,因为文件并未真正删除。HDFS
不会回收空间,除非文件从回收站中删除,只有在检查点过期后才会发生。
回收站功能默认只适用于使用Hadoop shell
删除的文件和目录。使用其他接口(例如WebHDFS
或Java API
)以编程的方式删除的文件或目录不会移动到回收站,即使已启用回收站,除非程序已经实现了对回收站功能的调用。
有时你可能想要在删除文件时临时禁用回收站,也就是删除的文件或目录不用放在回收站而直接删除,在这种情况下,可以使用-skipTrash
选项运行rm
命令。例如:
sudo -uxiaosi hadoop fs -rm -skipTrash tmp/data_group/test/employee/employee_salary.txt |
这会绕过垃圾回收站并立即从文件系统中删除文件。
资料:
https://developer.ibm.com/hadoop/2015/10/22/hdfs-trash/
https://my.oschina.net/cloudcoder/blog/179381
Hadoop Trash回收站使用指南的更多相关文章
- Hadoop之回收站
一.回收站简介: 在HDFS里,删除文件时,不会真正的删除,其实是放入回收站/trash,回收站里的文件可以快速恢复. 可以设置一个时间阀值,当回收站里文件的存放时间超过这个阀值或是回收站被清空时,文 ...
- hadoop 设置回收站
我的问题是:hadoop回收站为什么会保留多个过期时间的数据 我们知道hadoop的回收站是在我们删除数据后能恢复的目录,但是我们并不希望在回收站保存太久的数据,我们可以使用如下参数进行配置. ...
- HDFS的Trash回收站功能
文件的删除和恢复 和Linux系统的回收站设计一样,HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户通过Shell删除的文件/目录,在系统回收站中都一个周期, ...
- HDFS 的Trash回收站
1)在core-site.xml文件中添加这个配置 在每个节点(不仅仅是主节点)上添加配置 core-site.xml,增加如下内容 <property> <name>fs.t ...
- Hadoop分布式文件系统使用指南
原文地址:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_user_guide.html 目的 概述 先决条件 Web接口 Shell命令 DFSAdmin命 ...
- Hadoop的Python框架指南
http://www.oschina.NET/translate/a-guide-to-Python-frameworks-for-Hadoop 最近,我加入了Cloudera,在这之前,我在计算生物 ...
- Windows下Hadoop编程环境配置指南
刘勇 Email: lyssym@sina.com 本博客记录作者在工作与研究中所经历的点滴,一方面给自己的工作与生活留下印记,另一方面若是能对大家有所帮助,则幸甚至哉矣! 简介 鉴于最近在研究 ...
- Hadoop回收站及fs.trash参数详解
前言: Linux系统里,个人觉得最大的不方便之一就是没有回收站的概念.rm -rf很容易造成极大的损失.而在Hadoop或者说HDFS里面,有trash(回收站)的概念,可以使得数据被误删以后,还可 ...
- Hadoop 回收站
一.回收站简介: 在HDFS里,删除文件时,不会真正的删除,其实是放入回收站/trash,回收站里的文件可以快速恢复. 可以设置一个时间阀值,当回收站里文件的存放时间超过这个阀值或是回收站被清空时,文 ...
随机推荐
- I2C和SPI总线对比【转】
转自:http://blog.csdn.net/skyflying2012/article/details/8237881/ 最近2周一直在调试IIC和SPI总线设备,这里记录一下2种总线,以备后忘. ...
- 1.flask视图和URL
1.第一个flask程序 from flask import Flask ''' Flask这个类是项目的核心,以后很多操作都是基于这个类的对象 注册URL等等,都是基于这个类 ''' app = F ...
- rest_frameword框架的基本组件
序列化 序列化:转化数据和校验数据(提交数据时校验数据类型) 开发我们的Web API的第一件事是为我们的Web API提供一种将代码片段实例序列化和反序列化为诸如json之类的表示形式的方式.我们可 ...
- Hydra--密码破解的神器
原来不止burpsuit.sqlmap是神器,还有Hydra. 虽久闻大名,却未曾使用,今天偶然用到,发现支持的服务那真是多,ftp.ssh.smtp.imap.http...,而且支持ssl 可以想 ...
- 【cocos2d-js官方文档】三、Bake功能使用说明
设计意图 在游戏开发的过程中,经常会遇到作为UI或者不怎么修改的背景的层(Layer), 这些层内容并不怎么变动. 而在游戏的渲染过程中,这些层往往又会消耗大量的渲染时间,特别是比较复杂的UI界面,比 ...
- [jquery]判断checkbox是否选中
if ($("#id").is(":checked"))
- HDU 2988.Dark roads-最小生成树(Kruskal)
最小生成树: 中文名 最小生成树 外文名 Minimum Spanning Tree,MST 一个有 n 个结点的连通图的生成树是原图的极小连通子图,且包含原图中的所有 n 个结点,并且有保持图连通的 ...
- 状压DP【p2622】 关灯问题II
题目描述--->P2622 关灯问题II 没用的话: 首先第一眼看到题,嗯?n<=10?搜索? 满心欢喜地敲了一通搜索. 交上去,Wa声一片? 全部MLE! 这么坑人神奇? 一想,可能是爆 ...
- 洛谷——P3914 染色计数
P3914 染色计数 题目描述 有一颗NN个节点的树,节点用1,2,\cdots,N1,2,⋯,N编号.你要给它染色,使得相邻节点的颜色不同.有MM种颜色,用1,2,\cdots,M1,2,⋯,M编号 ...
- Java 反射调用的一种优化
写一些Java框架的时候,经常需要通过反射get或者set某个bean的field,比较普通的做法是获取field后调用java.lang.reflect.Field.get(Object),但每次都 ...