复习关于Hadoop的操作语句以及重点

  Shell版

  1. 跳转目录到Hadoop:

    cd /usr/local/hadoop
  2. 启动Hadoop:

    ./sbin/start-dfs.sh
  3. 注意:Hadoop实际上有三种shell命令方式:hadoop fs/hadoop dfs/hdfs dfs,hadoop fs适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统,hadoop dfs只能适用于HDFS文件系统,hdfs dfs跟hadoop dfs的命令作用一样,也只能适用于HDFS文件系统(使用命令前需要先启动Hadoop)

  4. 在HDFS上创建/user/hadoop目录:
    ./bin/hdfs dfs –mkdir –p /user/hadoop

    (“-p”表示如果是多级目录,则父目录和子目录一起创建,这里“/user/hadoop”就是一个多级目录,因此必须使用参数“-p”,否则会出错)列出当前目录下的所有目录或者文件:./bin/hdfs dfs –ls .   (“.”表示HDFS中的当前用户目录,也就是“/user/hadoop”目录,等价于./bin/hdfs dfs –ls /user/hadoop,如果要列出HDFS上所有目录:./bin/hdfs dfs –ls ),使用先对路径创建文件夹:./bin/hdfs dfs –mkdir /input(在/user/hadoop目录下创建了input文件夹)

  5. 删除input目录:
    ./bin/hdfs dfs –rm –r /input

    (“-r”参数表示如果删除“/input”目录及其子目录下的所有内容,如果要删除的一个目录包含了子目录,则必须使用“-r”参数,否则会执行失败)

  6. 上传本地文件(/usr/local/hadoop/test.txt)到HDFS的input目录:
    ./bin/hdfs dfs -put /usr/local/hadoop/test.txt input

    可以使用ls查看是否上传到HDFS中

    注意:图片中显示-ls:Unknown command是由于在从电脑复制命令到虚拟机时产生编码错误,在第二个命令时没有出现这个问题,所以在复制的时候注意编码问题。

  7. 查看HDFS中的test.TXT文件:
    ./bin/hdfs dfs –cat input/text.txt
  8. 将文件下载到本地usr/local/hadoop目录下:
    ./bin/hdfs dfs -get input/test.txt /usr/local/hadoop
  9. 将HDFS上的test.txt文件复制到HDFS上另一个位于根目录的input目录:
    ./bin/hdfs dfs -cp input/test.txt /input
  10. 上传到HDFS的文件以覆盖的形式上传:
    ./bin/hadoop fs -copyFromLocal -f /home/hadoop/input/test.txt /input/test.txt
  11. 显示 HDFS 中指定的文件的读写权限、大小、创建时间、路径等信息
     ./bin/hadoop fs -ls /input

  12. 给定HDFS中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息
    ./bin/hadoop fs -ls -R -h /user

  13. 删除HDFS中指定的文件
    ./bin/hadoop fs -rm /user/hadoop/input/log.txt
  14. 向 HDFS 中指定的文件追加内容,由用户指定内容追加到原有文件的结尾
    ./bin/hadoop fs -appendToFile /home/hadoop/input/testadd.txt /input/test.txt

    向HDFS中指定的文件追加内容,由用户指定内容追加到原有文件的开头(采用的方法是先将HDFS中的文件下载到本地,然后使用cat添加到开头,然后将文件上传)

    hadoop fs -get /input/test.txt /home/hadoop/input
    cat /home/hadoop/input/test.txt >> /home/hadoop/input/testadd.txt
    mv /home/hadoop/input/testadd.txt /home/hadoop/input/test.txt
    hadoop fs -put -f /home/hadoop/input/test.txt /input
  15. 从HDFS中下载指定文件,如果本地文件中药下载的文件名称相同,则自动对下载的文件重命名

    if $(hadoop fs -test -e /home/hadoop/input/test.txt);
    then $(hadoop fs -copyToLocal /input/test.txt /home/hadoop/input/test.txt);
    else $(hadoop fs -copyToLocal /input/test.txt /home/hadoop/input/test1.txt);
    fi

大二暑假第七周总结--开始学习Hadoop基础(六)的更多相关文章

  1. 大二暑假第五周总结--开始学习Hadoop基础(四)

    简单学习MapReduce并进行WordCount实践 分布式并行编程: MapReduce设计的一个理念就是“计算向数据靠拢”,将复杂的,运行于大规模集群上的并行计算过程高度地抽象到两个函数:Map ...

  2. 大二暑假第三周总结--开始学习Hadoop基础(二)

    简单学习NoSQL数据库理论知识 NoSQL数据库具有以下几个特点: 1.灵活的可扩展性(支持在多个节点上进行水平扩张) 2.灵活的数据模型(与关系数据库中严格的关系模型相反,显得较为松散) 3.与与 ...

  3. 大二暑假第二周总结--开始学习Hadoop基础(一)

    一.简单视频学习Hadoop的处理架构 二.简单视频学习分布式文件系统HDFS并进行简单的实践操作 简单操作教程:http://dblab.xmu.edu.cn/blog/290-2/ 注意:在建立H ...

  4. 大二暑假第六周总结--开始学习Hadoop基础(五)

    简单学习数据仓库HIVE HIVE是一个构建于Hadoop顶端的数据仓库工具 支持大规模数据存储,分析,具有良好的可扩展性 某种程度上可以看做是用户编程接口,本身不存储和处理数据 依赖分布式系统HDF ...

  5. 20145330第七周《Java学习笔记》

    20145330第七周<Java学习笔记> 第十三章 时间与日期 认识时间与日期 时间的度量 GMT(格林威治标准时间):现在不是标准时间 世界时(UT):1972年UTC出来之前,UT等 ...

  6. Redis总结(五)缓存雪崩和缓存穿透等问题 Web API系列(三)统一异常处理 C#总结(一)AutoResetEvent的使用介绍(用AutoResetEvent实现同步) C#总结(二)事件Event 介绍总结 C#总结(三)DataGridView增加全选列 Web API系列(二)接口安全和参数校验 RabbitMQ学习系列(六): RabbitMQ 高可用集群

    Redis总结(五)缓存雪崩和缓存穿透等问题   前面讲过一些redis 缓存的使用和数据持久化.感兴趣的朋友可以看看之前的文章,http://www.cnblogs.com/zhangweizhon ...

  7. Pytorch_第七篇_深度学习 (DeepLearning) 基础 [3]---梯度下降

    深度学习 (DeepLearning) 基础 [3]---梯度下降法 Introduce 在上一篇"深度学习 (DeepLearning) 基础 [2]---神经网络常用的损失函数" ...

  8. 大二暑假第一周总结--初次安装配置Hadoop

    本次配置主要使用的教程:http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/ 以下是自己在配置中的遇到的一些问题和解决方法,或者提示 一.使用虚 ...

  9. 暑假第七周总结(安装MongoDB和Tomcat以及MongoDB进行编程实践)

    本周主要对MongoDB和Tomcat进行了安装,两项安装都遇到了一些问题.其中在对MongoDB安装过程中出现了什么没有秘钥安全证书的,最终找了一堆教程重复了好多遍之后安装成功,虽然在启动和关闭的时 ...

随机推荐

  1. nodejs(12)Express 中间件middleware

    中间件 客户端的请求到达服务器时,他的生命周期是:request -- 服务器端处理 -- 响应 在服务器端处理过程中,业务逻辑复杂时,为了便于开发维护,需要把处理的事情分成几步,这里每一步就是一个中 ...

  2. MyBatis学习之简单增删改查操作、MyBatis存储过程、MyBatis分页、MyBatis一对一、MyBatis一对多

    一.用到的实体类如下: Student.java package com.company.entity; import java.io.Serializable; import java.util.D ...

  3. FTP 服务器在WIN10上的搭建及服务端下载文件实例

    1.搭建 (1)控制面板--->程序----->将FTP服务器打勾 (2)输入iis,或者右键桌面-->管理-->服务和应用程序--->internet informat ...

  4. GetHub上很实用的几个Demo

    手机号匹配的正则表达式:https://github.com/VincentSit/ChinaMobilePhoneNumberRegex/blob/master/README-CN.md FEBS- ...

  5. gpg加密和解密

    linux:gpg加密和解密 1 创建密钥 2 查看私钥 3 导出公钥 4 导出私钥 5 导入秘钥 5.1 公钥 6 公钥加密 7 私钥解密 创建密钥 gpg --gen-key 你要求输入一下内容, ...

  6. Readiness 探测【转】

    除了 Liveness 探测,Kubernetes Health Check 机制还包括 Readiness 探测. 用户通过 Liveness 探测可以告诉 Kubernetes 什么时候通过重启容 ...

  7. jmeter抓取cnode网站token值

    前置条件:已经登录 1.线程组下面先添加HTTP信息头管理器 1.1 jmeter向服务器发送http请求时,需要验证 cookie的等设置信息给到服务器去识别,因此,在发送请求前,我们一般会把相关需 ...

  8. Linux-hosts

    Linux-hosts hosts文件 /etc/hosts OS hosts (path) 使其生效,命令行执行 Windows (C:\Windows\System32\drivers\etc\h ...

  9. python里的def 方法中->代表什么意思?

    功能注释 函数注释是关于用户定义函数使用的类型的完全可选元数据信息(请参阅PEP 3107和 PEP 484了解更多信息). 注释__annotations__ 作为字典存储在函数的属性中,对函数的任 ...

  10. gojs 部分功能实现

    最近做的项目用到了gojs,使用了一段时间发现其功能特别强大,先记录下目前自己用到的把 1. 初始化画布 myDiagram = $(go.Diagram, "myDiagramDiv&qu ...