ubuntu是文件系统,不像windows系统划分盘符(C/D/E/etc...盘).ubuntu对磁盘划分分区,可以使用extundelete恢复ext3/ext4格式的磁盘分区. 其中,ext3/ext4是linux的正规文件系统,是一款索引式文件系统. 注意:一旦发生误删操作,应该立即停止对磁盘进行写入操作(download or install),记录下误删操作发生的时间.文件路径. extundelete软件的官网 http://extundelete.sourceforge.net/

用途说明 rm命令是常用的命令,用来删除文件或目录(remove files or directories).它也是一个危险的命令,使用的时候要特别当心,尤其对于新手,否则整个系统就会毁在这个命令(比如在/下执行rm * -rf).所以,我们在执行rm之前最好先确认一下在哪个目录,到底要删除什么东西,操作时保持清醒的头脑. 在rm的手册中写道:用rm删除文件还是有可能恢复文件内容的,如果要不可恢复的删除文件,考虑使用shred命令.(_Warning_: If you use `rm' to r

简介 本向导简述了YARN资源管理器的HA,并详述了如何配置并使用该特性.RM负责追踪集群中的资源,并调度应用程序(如MapReduce作业).Hadoop2.4以前,RM是YARN集群中的单点故障.HA特性以Active/Standby RM对的形式对集群添加了冗余,从而消除了这种单点故障. 架构 RM故障恢复 RM HA是通过Active/Standby架构来实现的——任何时刻,有一个RM是活跃的(active),其他RM处于等待模式(Standby),等待当前活跃RM发生故障时可以接管其工

YARN学习总结 前言 YARN(Yet Another Resource Manage,另一种资源协调者)是hadoop-0.23版本引入的的一个新的特性,可以说它是对原有Hadoop Mapreduce(Hadoop 1.0)架构的一种里程碑式的改革.它在整个Hadoop生态体系中负责资源管理和作业调度,支持各类分布式应用程序的执行. 本文档的大部分内容参考于Apache Hadoop 2.7.2--YARN官方网站,是对网站内容的翻译加上本人自己的理解,有些内容可能会因为本人的知识水平和英

上一次搭建的Hadoop是一个伪分布式的,这次我们做一个用于个人的Hadoop集群(希望对大家搭建集群有所帮助): 集群节点分配: Park01 Zookeeper NameNode (active) Resourcemanager (active) Park02 Zookeeper NameNode (standby) Park03 Zookeeper ResourceManager (standby) Park04 DataNode NodeManager JournalNode Park0

一个完全的hadoop分布式安装至少需要3个zookeeper,3个journalnode,3个datanode,2个namenode组成. 也就是说需要11个节点,但是我云主机有限,只有3个,所以把很多节点搭在了同一个服务器上. 步骤: 1.关闭防火墙 service iptables stop 2.修改主机名 vim /etc/sysconfig/network 三台主机都需要修改 HOSTNAME=hadoop01 # 第一台 HOSTNAME=hadoop02 # 第二台 HOSTNAM

努力之后总是存在回报的,我花了三天时间终于找到了问题所在: 配置文件yarn-site.xml: <property>        <name>yarn.resourcemanager.recovery.enabled</name> <!--默认值为false,也就是说resourcemanager挂了相应的正在运行的任务在rm恢复后不能重新启动-->        <value>true</value></property&

    参考: http://dataunion.org/22887.html 1.mapreduce_shuffle does not exist 执行任何时报错: Container launch failed for container_1433170139587_0005_01_000002 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException:The auxService:mapreduce_shuffle doe

中秋国庆一共12天,玩的有点嗨,完全没想工作的事情- -.回来赶紧补补.看了一下mycat关于事务的支持情况,做一下记录. 说mycat的事务支持之前,先说说XA协议,即分布式事务.指的是TM(事务管理器)和RM(资源管理器)之间的接口,定义了一些以ax_,xa_开头的接口函数.如下:(来自XA规范文档) 从这些函数的定义大致可以看出XA协议做的工作.整个XA协议主要基于二阶段提交的概念.这个概念很好理解,当TM接到一个全局事务请求的时候,TM会把请求告知注册在它身上的所有RM,当所有RM准备就

如要转载,请注上作者和出处.  由于能力有限,如有错误,请大家指正. 须知: 我们下载的是hadoop-2.7.3-src 源码. 这个版本默认调度器是Capacity调度器. 在2.0.2-alpha版本的时候,有人汇报了一个fifo调度器的bug,社区把默认调度器从原来的fifo切换成capacity了.  参考 在Hadoop中,调度器是一个可插拔的模块,用户可以根据自己的实际应用要求设计调度器,然后在配置文件中指定相应的调度器,这样,当Hadoop集群启动时,便会加载该调度器.当前Had

用三台虚拟机搭建Hadoop全分布集群 所有的软件都装在/home/software下 虚拟机系统:centos6.5 jdk版本:1.8.0_181 zookeeper版本:3.4.7 hadoop版本:2.7.1 1.安装jdk 准备好免安装压缩包放在/home/software下 cd /home/software tar -xvf jdk-8u181-linux-x64.tar.gz 配置环境变量 vim /etc/profile 末尾添加 export JAVA_HOME=/home/

***** 全部三个节点 *****1. 关闭防火墙 service iptables stop chkconfig iptables off2. 修改主机名,Hadoop主机名中不能出现_和- vim /etc/sysconfig/network 修改其中的HOSTNAME属性的值,例如HOSTNAME=hadoop01 修改完成之后保存退出,然后需要重新生效 source /etc/sysconfig/network3. 需要将主机名和ip进行映射 vim /etc/hosts 添加主机名

一.YARN 介绍 yarn 是下一代 MapReduce,即 MRv2,是在第一代 MapReduce 基础上演变而来的,主要是为了解决原始 Hadoop 扩展性较差,不支持多计算框架而提出的,通俗讲是跑任. 其核心思想:将 MR1 中 JobTracker 资源管理和作业调用两个功能分开,分别由 ResourceManager 和 ApplicationMaster 进程来实现. ResourceManager:负责整个集群的资源管理和调度: ApplicationMaster:每个应用程序

一时疏忽,手一抖,把整个挂载的F盘删了一半!顿时傻眼!! 被删的F盘是Windows下NTFS分区,在Ubuntu12.04中挂载了F盘,使用rm命令时粗心大意,误删了一半的数据. 血的教训告诉我们,使用rm -r命令一定要带上-i,否则让你后悔莫及! 还好在Linux下有一种方法可以恢复被删除的NTFS分区文件. 本文地址:http://www.cnblogs.com/yhLinux/p/4106099.html 在文件被误删后,不要再往分区写数据!切记. 首先,看看我们被删的F盘: $ df

PS:补充下,我在fedora 19上运行的时候遇到的一个问题: [root@localhost extundelete-]# ./configure Configuring extundelete configure: error: ': configure: error: C++ compiler cannot create executables See `config.log' for more details 查看了下config.log文件发现与gcc-c++有关.所以运行yum -

高性能Linux服务器 第6章  ext3文件系统反删除利器ext3grep  extundelete工具恢复rm -rf 误删除的文件 只能用于ext3文件系统!!!!!!!高俊峰(高性能Linux服务器构建实战:运维监控.性能调优与集群应用(完整)) Linux作为企业级服务器,数据的安全性至关重要,任何数据的丢失和误删除都是不可容忍的.作为系统管理员,一定要有数据保护意识,不但要对服务器数据进行定期备份,而且还要具有误删除数据后将其快速恢复的技能.本章重点讲述Linux下的ext3文件系统

在linux redhat 5.4版本,rm误删除数据库文件的恢复过程分享.测试没有问题,可用. 1.首先测试rm 误删除数据库文件 [oracle@primary dbwdn]$ ll total 2153164 -rw-r----- 1 oracle dba 8536064 Nov 27 21:50 control01.ctl -rw-r----- 1 oracle dba 8536064 Nov 27 21:50 control02.ctl -rw-r----- 1 oracle dba

一. 将磁盘分区挂载为只读 这一步很重要,并且在误删除文件后应尽快将磁盘挂载为只读.越早进行,恢复的成功机率就越大. 1.  查看被删除文件位于哪个分区 [root@localhost  ~]# mount /dev/mapper/VolGroup-lv_root on / type ext4(rw) /dev/mapper/VolGroup-lv_home on /home type ext4(rw) 2.  尝试将对应目录重新挂载为只读 [root@localhost  ~]#  mount

“慎用rm -rf命令,除非你知道此命令带来的后果.”这是一条Linux用户守则,虽然大多数用户都明白这条语句的含义,但是我觉得还需要完善一下,为这条语句加 上一个使用前提:在你确认自己拥有清醒头脑,并且输入没有误差的时候可以使用rm -rf命令.这次惊心动魄的起因就是我将rm –rf log* 命令错误的输成了rm –rf log *,造成了当前目录下的所有项目文件全部被误删除. ls了两回,确定自己不是眼花后开始寻找解决 办法,昔日在Windows下有很多次数据恢复经历,但在Linux下这还

前言 每当我们在生产环境服务器上执行rm命令时,总是提心吊胆的,因为一不小心执行了误删,然后就要准备跑路了,毕竟人不是机器,更何况机器也有bug,呵呵. 那么如果真的删除了不该删除的文件,比如数据库.日志或执行文件,咋办呢?欲知后事如何,请仔细看完本篇博客. 模拟场景 1. 删除 误删除服务器目录/root/selenium/Spider下的MySql.Data.dll文件: > rm -f /root/selenium/Spider/MySql.Data.dll > ll /root/sel

Linux下用rm删除的文件的恢复方法_Linux教程_Linux公社-Linux系统门户网站https://www.linuxidc.com/Linux/2008-08/14744.htm linux_文件删除的恢复(rm -rf *) - weiguang1017的专栏 - CSDN博客https://blog.csdn.net/weiguang1017/article/details/52239685 Linux 利用lsof命令恢复删除的文件 - rysinal - 博客园https:/