1. 介绍
hadoop 的回收站trash功能默认是关闭的,所以需要在core-site.xml中手动开启
在HDFS里,删除文件时,不会真正的删除,其实是放入回收站 /trash
回收站里的文件可以快速恢复
可以设置一个时间阈值,当回收站里文件的存放时间超过这个阈值或是回收站被清空时,文件才会被彻底删除,并且释放占用的数据块。
2. 开启回收站
- 手动开启trash功能,添加
fs.trash.interval
属性
# 查看回收站路径下的文件
bin/hadoop dfs -ls /user/grid/.Trash
ls: Cannot access /user/grid/.Trash: No such file or directory.
# 编辑配置文件开启回收站
vi conf/core-site.xml
fs.trash.interval
1440
Number of minutes between trash checkpoints. If zero, the trash feature is disabled.
注:fs.trash.interval 的含义是文件删除后保留时长,,默认为0,单位为分钟,这里设的是1天(60*24)
3. 测试回收站是否开启成功
测试删除数据
检查回收站数据,发现多出了.Trash目录
注:在HDFS上的回收站数据在 /user/$USER/.Trash/Current/user/$USER/目录下
- 恢复回收站数据
将删除的数据从回收站移动到其他文件夹即可
- 清空回收站
清空回收站命令:hdfs dfs -expunge