大数据Hadoop入门教程 | (二)Linux
使用
finalShell
可以提供文件目录图形化
完整Linux命令整理
参考大佬博客:Linux常见文件管理命令 - Mr_Walker - 博客园
Linux文件系统基础知识
Linux文件系统概念
- 操作系统中负责管理和存储文件信息的软件机构称为文件管理系统,简称文件系统;
- 文件系统的结构通常叫做目录树结构,从斜杠/根目录开始;
- Linux号称“万物皆文件”,意味着针对Linux的操作,大多数时间是在针对Linux2文件系统操作。
文件系统通用特性
- 几乎主流的文件系统都是从/根目录开始的,Liux也不例外,而windows文件系统会以盘符来区分不同文件系统;
- 目录树中节点分为两个种类:目录(directory)、文件(file);
- 从根目录开始,路径具有唯一性;
- 只有在目录下才可以继续创建下一级目录,换句话说目录树到文件终止蔓延。
易混概念
- 当前路径:也叫当前工作目录,当下用户所属的位置;
- 相对路径:相对当前工作目录开始的路径,会随当前路径变化而变化;
- 绝对路径:不管工作目录在哪,绝对路径都是从/根目录开始,唯一不重复。
特殊符号
.
:目录或者文件名字以.
开始表示是隐藏的文件(夹),如果路径以.
开始表示当前路径
..
:当前目录的上一级目录
~
:当前用户的home目录,比如root用户home目录是/root
/
:根目录
#进入当丽月录下的a目录
cd ./a
#进入根目录下的a目录
cd /a
#进入当前日录上一级目录下的a目录
cd ./a
#进入当前操作用户home目录下的a目录
cd ~/a
#进入当前目录下的a文件夹 a是隐藏的
cd .a
Linux常用文件操作命令
概述
- 命令属于死东西,属于多用多会,不用就忘的知识,孰能生巧;
- Tab键可以实现自动补全和提示,要合理使用;
- history命令可以显示历史执行记录,或者使用方向键来切换前后执行过的命令;
显示目录内容
ls
( list files)命令:用于显示指定工作目录下之内容(列出目前工作目录所含之文件及子目录)。
-a
显示所有文件及目录(.
开头的隐藏文件也会列出)
-l
除文件名称外,亦将文件型态、权限、拥有者、文件大小等资讯详细列出注意ls -l=ll
ls path
ls -a path #查看所有文件包括隐藏文件
ls -l=ll #查看文件详细信息包括权限类型时间大小等
ll -h path #表示以人性化的显示内容
ll * #*通配符表示任意字符?表示有且只有一个字符
切换目录
cd
(change directory)命令:用于切换当前工作目录。切换的路径可为绝对路径或相对路径。若路径省略,则变换至使用者的home目录。
~
:也表示为home目录的意思
.
:则是表示目前所在的目录
..
:则表示目前目录位置的上一层目录
pwd #查看自己当前所在目录
cd path注意自己写的是相对还是绝对的还可以结合特殊符号使用
cd ./
cd /
cd ./
cd ~
创建、删除
mkdir
(make directory)命令:用于创建目录。-p
确保父目录名称存在,不存在的就建一个。
touch
命令:创建一个空文件,无任何内容。rm
(remove)命令:用于删除一个文件或者目录。-f
强制直接删除,无需用户确认。-r
将目录及以下所有递归逐一删除。
mkdir /a/b/c
mkdir -p /a/b/c
rm -rf /a/b/c
rm -rf /a
-f #强制删除 不给与提示
-r #递归删除 针对文件夹
-rf #杀伤力极大 问问自己在干什么
rm -rf /* #坐牢眼:
复制、移动
cp
(copy file)命令:用于复制文件或目录。-r
:若给出的源文件是一个目录文件,此时将复制该目录下所有的子目录和文件。
mv
(move fi1e)命令:用来为文件或目录改名、或将文件或目录移入其它位置。
cp [options]source...directory
mv source_file(文件) dest_file(文件)#将源文件名source_file改为目标文件名dest file
mv source_fle(文件) dest_directory(目录)#将文件source_file移动到目标目录destdirectory中
mv source_directory(目录) dest_directory(目录)#目录名destdirectory已存在,将source_directory移动到目录名destdirectory中;目录名destdirectory不存在则source directory改名为目天名dest directony
mv source_directory(目录) dest_file文件)#出错
文件内容查看
cat
(concatenate)命令:用于连接文件并打印到标准输出设备如console控制台上。适合小文件内容查看。more
命令:类似cat,不过会以一页一页的形式显示,更方便使用者逐页阅读,翻页结束自动退出。适合大文件查看。按space键翻下一页,按b往回(back)上一页tail
命令:用于查看文件的结尾部分的内容。-n
用于显示行数,默认为10,即显示10行的内容。-f
用于实时显示文件动态追加的内容。会把文件里的最尾部的内容显示在屏幕上,并且不断刷新,只要文件有更新,就可以看到最新的文件内容。
其他
echo
命令:用于内容的输出,将内容输出到console控制台上。
echo string
|
管道命令:将前一个命令执行的结果作为内容交给下一个命令处理。可以形成多级管道操作。
命令1|命令2
可以将命令1的结果通过命令2作进一步的处理
>
输出重定向(覆盖)命令command>file执行command然后将输出的内容存入file,file内已经存在的内容将被新内容覆盖替代。
>>
输出重定向(追加)命令command>)file执行command然后将输出的内容存入file,新内容追加在文件末尾。
echo 711>4.txt
cat 4.txt
#111
echo 222>4.txt
cat 4.txt
#222
echo 333>>4.txt
cat 4.txt
#222333
解压缩命令
(1/2)打包、解包
tar
(tape archive)命令:常用于备份文件。是用来建立,还原备份文件的工具程序,它可以加入,解开备份文件内的文件。
-c
或--create建立新的备份文件。
-x
或--extract或--get从备份文件中还原文件。
-v
或--verbose显示指令执行过程。
-f
<备份文件>或--file=<备份文件>指定备份文件。
(2/2)打包压缩、解包解压缩
在打包备份或者解包的过程中,可以通过指定压缩算法,对打包的文件进行压缩,解压的时候也需要指定相应的算法。
-z
或--gzip或--ungzip通过gzip
指令处理备份文件。
最重要的搭配:tar -zxvf xxxxx.tar.gz
Linux常用系统命令
时间、日期查看
date
命令:用来显示或设定系统的日期与时间,在显示方面,使用者可以设定欲显示的格式,格式设定为一个加号后接数个标记。cal
(calendar)命令:用于用于显示当前或者指定日期的公历。
内存、磁盘使用率查看
free
命令:用于显示内存状态。会显示内存的使用情况,包括实体内存,虚拟的交换文件内存,共享内存区段,以及系统核心使用的缓冲区等。df
(英文全拼:disk free)命令:用于显示目前在Linux系统上的文件系统磁盘使用情况统计。-h
人性化显示
进程查看
ps
(英文全拼:process status)命令:用于显示当前进程的状态,类似于windows的任务管理器。jps
命令:这是JDK自带的命令,专门用于查看本机运行的java进程情况。
Vim编辑器
vim编辑器简介
- vi是一款很多uix及其延
- 伸系统内置的文本编辑器,具有强大的文本编辑能力。
- vim是从vi发展出来的一个文本编辑器,可以理解为vi编辑器的增强版。vim中代码补完、编译及错误跳转等方便编程的功能特别丰富。
- vi/vim编辑器的核心设计思想:让程序员的手指始终保持在键盘的核心区域,就能完成所有的编辑操作。
- 学习使用vi/vim编辑器最大挑战:万物皆命令。
打开与新建文件
vim /path/file
- 如果打开的文件不存在,此时就是新建文件,编辑器左下角会提示new file
- 如果文件已经存在,此时就打开这个文件,进入命令模式
在使用vi编辑器的过程中,如果发现打开的文件内容不符合预期,可以检查一下,文件路径是否正确?
vim编辑器3种工作模式
- 命令模式(Command mode)
- 命令模式下,所敲的按键编辑器都理解为命令,以命令驱动执行不同的功能。
- 此模式下,不能自由进行文本编辑。
- 输入模式(Insert mode)
- 也就是所谓的编辑模式、插入模式。
- 此模式下,才可以对文件内容进行自由编辑。
- 底线命令模式(Last line mode)
- 以
:
开始,通常用于文件的保存、退出。
- 以
vim基本操作命令
光标移动
- 方向键控制移动
- 翻页
pageup
pagedown
- 行首(
home
或0
)行尾(end
或$
) - 跳到文件的最后一行
G
- 到文件的第一行
gg
复制粘贴
- 复制
yy
复制光标当前所在行内容nyy
复制当前行往下n行
- 粘贴
p
当前行的下一行粘贴P
当前行的上一行粘贴
- 注意:使用鼠标从window或者其他地方复制内容到vim编辑器粘贴,一定一定要在输入模式下进行,否则数据会有丢失的风险。
删除、撤销操作
- 删除命令
dd
删除光标所在当前行内容ndd
删除当前行往下n行
- 撤销、反撤销
u
撤销上一步的操作(后悔药)ctrl+r
反撤销
原创作者:孤飞-博客园
视频链接:https://www.bilibili.com/video/BV1CU4y1N7Sh?p=11&share_source=copy_pc
原文链接:https://www.cnblogs.com/ranxi169/p/16607803.html
大数据Hadoop入门教程 | (二)Linux的更多相关文章
- 大数据Hadoop入门教程 | (一)概论
数据是什么 数据是指对客观事件进行记录并可以鉴别的符号,是对客观事物的性质.状态以及相互关系等进行记载的物理符号或这些物理符号的组合,它是可识别的.抽象的符号. 它不仅指狭义上的数字,还可以是具有一定 ...
- 大数据Hadoop入门视频教程:Hadoop的快如入门
最新在学习hadoop .storm大数据相关技术,发现网上hadoop .storm 相关学习视频少之又少,这里整理了传智播客段海涛老师的hadoop学习视频,出来给大家学习交流. 视频下载地址:h ...
- 大数据Hadoop平台安装及Linux操作系统环境配置
配置 Linux 系统基础环境 查看服务器的IP地址 设置服务器的主机名称 hostnamectl set-hostname hadoop hostname可查看 绑定主机名与IP 地址 vim /e ...
- 大数据hadoop入门学习之集群环境搭建集合
目录: 1.基本工作准备 1.虚拟机准备 2.java 虚拟机-jdk环境配置 3.ssh无密码登录 2.hadoop的安装与配置 3.hbase安装与配置(集成安装zookeeper) 4.zook ...
- [大数据从入门到放弃系列教程]第一个spark分析程序
[大数据从入门到放弃系列教程]第一个spark分析程序 原文链接:http://www.cnblogs.com/blog5277/p/8580007.html 原文作者:博客园--曲高终和寡 **** ...
- [大数据从入门到放弃系列教程]在IDEA的Java项目里,配置并加入Scala,写出并运行scala的hello world
[大数据从入门到放弃系列教程]在IDEA的Java项目里,配置并加入Scala,写出并运行scala的hello world 原文链接:http://www.cnblogs.com/blog5277/ ...
- 无废话ExtJs 入门教程二十[数据交互:AJAX]
无废话ExtJs 入门教程二十[数据交互:AJAX] extjs技术交流,欢迎加群(521711109) 1.代码如下: 1 <!DOCTYPE html PUBLIC "-//W3C ...
- 大数据-03-Spark入门
Spark 简介 行业广泛使用Hadoop来分析他们的数据集.原因是Hadoop框架基于一个简单的编程模型(MapReduce).这里,主要关注的是在处理大型数据集时在查询之间的等待时间和运行程序的等 ...
- 成都大数据Hadoop与Spark技术培训班
成都大数据Hadoop与Spark技术培训班 中国信息化培训中心特推出了大数据技术架构及应用实战课程培训班,通过专业的大数据Hadoop与Spark技术架构体系与业界真实案例来全面提升大数据工程师 ...
随机推荐
- 探究Presto SQL引擎(3)-代码生成
vivo 互联网服务器团队- Shuai Guangying 探究Presto SQL引擎 系列:第1篇<探究Presto SQL引擎(1)-巧用Antlr>介绍了Antlr的基本用法 ...
- LVS+keepalived高可用
1.keeplived相关 1.1工作原理 Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案,可以解决静态路由出现的单点故障问题. 在一个LVS服务集群中通常有主服务器(MAS ...
- kruskal 及其应用
kruskal 最小生成树 kruskal 是一种常见且好理解的最小生成树(MST)算法. 前置知识 并查集和路径压缩 生成树 在有 n 的顶点的无向图中,取其中 n-1 条边相连,所得到的树即为生成 ...
- kubernetes之常用核心资源对象
部门产品线本身是做DEVOPS平台,最近部署架构也在往K8S上靠了,不得不学一下K8S.自己搭建了K8S集群与harbor仓库来学习. 1.kubernetes之常用核心资源对象 1.1.K8s服务部 ...
- SAP Container Controls(容器)
BC_CONTROLS_TUTORIAL 效果 代码 REPORT bc_controls_tutorial. *------------------------------------------- ...
- S32K148-CAN收发
最近在搞一个转换板开发,大概意思把CAN信号转换成SPI信号,方案有两种:1)通过硬件电路直接把信号的bit位一位一位移给两个集成芯片:2)通过MCU接收CAN信号,再把信号变量转换成SPI信号发送给 ...
- 11 MySQL_分组查询和关联查询
分组查询 group by 将某个字段的相同值分为一组,对其他字段的数据进行聚合函数的统计,称为分组查询 单字段分组查询 1.查询每个部门的平均工资 select dept_id,avg(sal) f ...
- 7 什么是dubbo
什么是dubbo 快速入门dubbo 了解什么是dubbo之前,我们得先了解什么是分布式系统? <分布式系统原理与范型>定义: 分布式系统是若干独立计算机的集合,这些计算机对于用户来说就像 ...
- 编程技巧│超实用 nginx 中常见的配置合集
目录 封禁 IP 仅开放内网 负载均衡 列出文件列表 路由转发 开启 gzip 压缩 解决跨域 资源防盗链 Keepalived 提高吞吐量 HTTP 强制跳转 HTTPS 封禁 IP 通过 deny ...
- GitHub中Fork来的仓库如何进行双向更新
一.做点贡献 想对别人的某个仓库"做点贡献"怎么办? 1. Fork该仓库 首先Fork该仓库,本文以git-learn这个仓库为例 这样自己的账号下就会出现这样一个仓库 2. C ...