大数据HDFS相关的一些运维题
1.在 HDFS 文件系统的根目录下创建递归目录“1daoyun/file”,将附件中的BigDataSkills.txt 文件,上传到 1daoyun/file 目录中,使用相关命令查看文件系统中 1daoyun/file 目录的文件列表信息。
hadoop fs -mkdir -p /1daoyun/file
hadoop fs -put BigDataSkills.txt /1daoyun/file
hadoop fs -ls /1daoyun/file
2.在 HDFS 文件系统的根目录下创建递归目录“1daoyun/file”,将附件中的BigDataSkills.txt 文件,上传到 1daoyun/file 目录中,并使用 HDFS 文件系统检查工具检查文件是否受损。
hadoop fsck /1daoyun/file/BigDataSkills.txt
3.在 HDFS 文件系统的根目录下创建递归目录“1daoyun/file”,将附件中的BigDataSkills.txt 文件,上传到 1daoyun/file 目录中,上传 过程指定BigDataSkills.txt 文件在 HDFS 文件系统中的复制因子为 2,并使用 fsck 工具检查存储块的副本数。
hadoop fs -D dfs.replication=2 -put BigDataSkills.txt /1daoyun/
4.HDFS 文件系统的根目录下存在一个/apps 的文件目录,要求开启该目录的可创建快照功能,并为该目录文件创建快照,快照名称为 apps_1daoyun,使用相关命令查看该快照文件的列表信息。
hadoop dfsadmin -allowSnapshot /apps
hadoop fs -createSnapshot /apps apps_1daoyun
hadoop fs -ls /apps/.snapshot
5.当 Hadoop 集群启动的时候,会首先进入到安全模式的状态,该模式默认30 秒后退出。当系统处于安全模式时,只能对 HDFS 文件系统进行读取,无法进行写入修改删除等的操作。现假设需要对 Hadoop 集群进行维护,需要使集群进入安全模式的状态,并检查其状态。
hadoop dfsadmin -safemode enter
hadoop dfsadmin -safemode get
6.为了防止操作人员误删文件,HDFS 文件系统提供了回收站的功能,但过多的垃圾文件会占用大量的存储空间。要求在先电大数据平台的 WEB 界面将 HDFS 文件系统回收站中的文件彻底删除的时间间隔为 7 天。
7.为了防止操作人员误删文件,HDFS 文件系统提供了回收站的功能,但过多的垃圾文件会占用大量的存储空间。要求在 Linux Shell 中使用“vi”命令修改相应的配置文件以及参数信息,关闭
功能。完成后,重启相应的服务。
vi /etc/hadoop/2.6.1.0-129/0/core-site.xml
<property>
<name>fs.trash.interval</name>
<value>10080</value>
</property>
[root@master MapReduce]# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf stop namenode
[root@master MapReduce]# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start namenode
[root@master MapReduce]# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf stop datanode
[root@master MapReduce]# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start datanode
8.Hadoop 集群中的主机在某些情况下会出现宕机或者系统损坏的问题,一旦遇到这些问题,HDFS 文件系统中的数据文件难免会产生损坏或者丢失,为了保证 HDFS 文件系统的可靠性,现需要在先电大数据平台的 WEB 界面将集群的冗余复制因子修改为 5。
9.Hadoop 集群中的主机在某些情况下会出现宕机或者系统损坏的问题,一旦遇到这些问题,HDFS 文件系统中的数据文件难免会产生损坏或者丢失,为了保证 HDFS 文件系统的可靠性,需要将集群的冗余复制因子修改为 5,在 Linux Shell 中使用“vi”命令修改相应的配置文件以及参数信息,完成后,重启相应的服务。
vi /etc/hadoop/2.6.1.0-129/0/hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>5</value>
</property>
10.使用命令查看 hdfs 文件系统中/tmp 目录下的目录个数,文件个数和文件总大小。
hadoop fs -count -h /tmp
大数据HDFS相关的一些运维题的更多相关文章
- linux常见运维题
linux运维题 一.填空题 1. 在Linux 系统 中,以文件方式访问设备 . (linux下一切都是文件) 2. Linux 内核引导时,从文件/etc/fstab中读取要加载的文件系统 . ( ...
- [真题] 一道 vsftp 运维题
一道 vsftp 运维题 一.前言 在 V 站上凑巧看到了好友发的求助帖,五天时间一个理他的都没有.哈哈哈~ 废话不多说,我们来试试. 二.题目 这里我们假设存在这样的场景: 网络内有普通用户 ade ...
- 单表60亿记录等大数据场景的MySQL优化和运维之道
此文是根据杨尚刚在[QCON高可用架构群]中,针对MySQL在单表海量记录等场景下,业界广泛关注的MySQL问题的经验分享整理而成,转发请注明出处. 杨尚刚,美图公司数据库高级DBA,负责美图后端数据 ...
- 【转】单表60亿记录等大数据场景的MySQL优化和运维之道 | 高可用架构
此文是根据杨尚刚在[QCON高可用架构群]中,针对MySQL在单表海量记录等场景下,业界广泛关注的MySQL问题的经验分享整理而成,转发请注明出处. 杨尚刚,美图公司数据库高级DBA,负责美图后端数据 ...
- [转载] 单表60亿记录等大数据场景的MySQL优化和运维之道 | 高可用架构
原文: http://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=209406532&idx=1&sn=2e9b0cc02bdd ...
- HDFS datanode心跳与运维中的实际案例
分布式系统的节点之间常采用心跳来维护节点的健康状态,如yarn的rm与nm之间,hdfs的nn与dn之间.DataNode会定期(dfs.heartbeat.interval配置项配置,默认是3秒)向 ...
- 单表60亿记录等大数据场景的MySQL优化和运维之道 | 高可用架构
015-08-09 杨尚刚 高可用架构 此文是根据杨尚刚在[QCON高可用架构群]中,针对MySQL在单表海量记录等场景下,业界广泛关注的MySQL问题的经验分享整理而成,转发请注明出处. 杨尚刚,美 ...
- 大数据项目相关技术栈(Hadoop周边技术)
J2EE 框架Spring 开发框架 + SSH or SSM Lucene 索引和查询IKAnalyzer 分词Webmagic 爬虫 ETL工具:KettleSqoop 结构化数据库-hadoop ...
- 爬取猎聘大数据岗位相关信息--Python
猎聘网站搜索大数据关键字,只能显示100页,爬取这一百页的相关信息,以便做分析. __author__ = 'Fred Zhao' import requests from bs4 import Be ...
随机推荐
- AlexNet网络
AlexNet 中包含了比较新的技术点,首次在CNN中成功应用了 ReLu .Dropout和LRN等Trick. 1.成功使用了Relu作为CNN的激活函数,并验证其效果在较深的网络中超过了Sigm ...
- Python开发【第十篇】集合
集合的运算 & 交集 | 并集 - 补集 ^ 对称补集 < 子集 > 超集 例子: 生成两个集合的并集 s1 = {1,2,3} s2 = {2,3,4} s3 = s1|s2 # ...
- std::shared_future/future
std::future提供了一种访问异步操作结果的机制.
- vue使用 封装websocket心跳包
---恢复内容开始--- 这套代码可以拿过去直接用 一些注意我会在下面代码中加上注释: 谢谢支持 核心代码 //这里需要引入vuex import store from './store'; let ...
- java日志空指针怎么定位问题
示例报错: java.lang.NullPointerException: null at com.ipharmacare.sf.task.service.MatchAuditPlanService. ...
- windows下Python开发错误记录以及解决方法
windows下使用pip提示ImportError: cannot import name 'main' 原因:将pip更新为10.0.0后库里面的函数有所变动造成这个问题 解决方法:先卸载现在的p ...
- MyBatis(2)-- MyBatis配置mybatis-config.xml
一.properties属性 1.可以在mybatis-config.xml中使用property子元素配置 <properties resource="jdbc.properties ...
- OptimalSolution(2)--二叉树问题(1)遍历与查找问题
一.二叉树的按层打印与ZigZag打印 1.按层打印: 1 Level 1 : 1 / \ 2 3 Level 2 : 2 3 / / \ 4 5 6 Level 3 : 4 5 6 / \ 7 8 ...
- ETCD节点故障恢复
我在微服务组里面主要负责配置中心的构建,我们的配置中心使用到了ETCD.在我们的内网环境中搭建了三个节点的ETCD,不过这三个节点的ETCD都搭建在同一台机器上.后来机器资源不够了系统直接kill了E ...
- CSPS模拟 62
婚礼现场系列 T1 $gragh$ 为了方便把边的贡献下放到点,跑一个生成树作为划分依据. T2 $permutation$ 由于在本题中,构造的变换方法保证只能邻项交换 所以如果位置串字典序变小,权 ...