Linux 数据分析常用 shell命令】的更多相关文章

.文件合并 目录下有成千上万的小文件,需合并成大文件,直接cat 返回参数列表过长 ls |xargs -t -I{} cat {} >> merge.txt 2.从文本中截取行特定内容 以“,”分隔,第二个field的内容 3.统计文件中单词出现个数 4.文件求交 5.文件求并 6.文件求差集(A-B) 7.文件求对称差(A-B)u(B-A)…
目录 0.vim编辑器 1.awk命令(重要) 1.1 基本语法 1.2 基本用法 1.3 运算符 1.4 内建变量 1.5 其他 1.6 awk是一门变成语言,支持条件判断.数组.循环等功能.所以我们也可以把awk理解成一个脚本语言解释器. 2.cat命令 3.head命令 4.tail命令 5.sort命令 6.uniq命令 7.wc命令 8.grep命令 9.join命令 10.sed命令 11.set命令 12.find命令 13.Linux下两个文件求交集.并集和差集 14.linux…
本随笔文章,由个人博客(鸟不拉屎)转移至博客园 写于:2018 年 05 月 04 日 原地址:https://niaobulashi.com/archives/linux-shell.html --- 作为项目工程师,接触Linux还是蛮多的,总结下常用的Shell命令 打包与解压 项目上需要打包或者解压,常常用于备份或者上版,而打包常见格式为tar包.tar.gz包.war包这三种 打.tar包:tar -cvf backup_20180504.tar ./etc ./src .tar包打.…
日期时间 date命令:显示当前时间日期 date -u # 显示格林威治(UTC)事件 date +%Y-%m-%d # 格式显示日期 date -s '20:25:25' # 修改系统时间,需要使用root用户 hwclock(clock)命令:显示硬件时钟 cal命令:显示日历 uptime命令:显示系统运行时间(启动时间) 输出和查看 echo命令:显示输入内容 echo '内容' # 输入什么就显示什么 echo '内容' >> 指定位置文件 # 将内容追加到文件中 cat命令:查看…
1.删除0字节文件 find -type f -size 0 -exec rm -rf {} ; 2.查看进程 按内存从大到小排列 ps -e -o "%C : %p : %z : %a"|sort -k5 -nr 3.按cpu利用率从大到小排列 ps -e -o "%C : %p : %z : %a"|sort -nr 4.打印说cache里的URL grep -r -a jpg /data/cache/* | strings | grep "http:…
Linux Shell常用shell命令 一.文件.目录操作命令 1.ls命令 功能:显示文件和目录的信息 ls 以默认方式显示当前目录文件列表 ls -a 显示所有文件包括隐藏文件 ls -l 显示文件属性,包括大小,日期,符号连接,是否可读写及是否可执行 ls -lh 显示文件的大小,以容易理解的格式印出文件大小 (例如 1K 234M2G) ls -lt 显示文件,按照修改时间排序 2.cd命令 功能:改名目录 cd dir 切换到当前目录下的dir目录 cd / 切换到根目录 cd ..…
Linux Shell常用shell命令 一.文件.目录操作命令 1.ls命令 功能:显示文件和目录的信息 ls 以默认方式显示当前目录文件列表 ls -a 显示所有文件包括隐藏文件 ls -l 显示文件属性,包括大小,日期,符号连接,是否可读写及是否可执行 ls -lh 显示文件的大小,以容易理解的格式印出文件大小 (例如 1K 234M2G) ls -lt 显示文件,按照修改时间排序 2.cd命令 功能:改名目录 cd dir 切换到当前目录下的dir目录 cd / 切换到根目录 cd ..…
Windows常用shell命令大全 基于鼠标操作的后果就是OS界面外观发生改变, 就得多花学习成本.更主要的是基于界面引导Path与命令行直达速度是难以比拟的.另外Geek很大一部分是键盘控,而非鼠标流的. 整理Windows的常用Shell命令,一方面帮助深入学习Mysql,另一方面准备尝试过渡到Linux家族来. 一.Windows下Shell命令概述 Windows的Shell命令又是Windows的CMD命令.而cmd命令又是原来MS-DOS系统保留下来. Shell来源路径与配置 对…
目录 ls cd mkdir mv cp scp rm df du chmod chown chgrp head tail screen apt-get Ubuntu常用shell命令 Ubuntu作为Linux一个发行版,受到了很多用户的喜爱.正如绝大多数Linux发行版一样,shell是Ubuntu使用过程中的一大利器,特别是对于服务器用户来说,没有图形界面,所有的操作都只能依赖于shell指令完成.现在将我平时遇到的一些常见的shell指令总结如下,以备以后查找: ls 这或许是shell…
Linux最常用的命令大全 按功能索引 目录处理命令 ls mkdir pwd cd rmdir cp mv rm 文件处理命令 touch cat tac more less head tail ln 权限管理命令 chmod chgrp umask 文件搜索命令 find locate which grep 帮助 命令 man help 用户管理命令 useradd passwd who w 压缩解压命令 gzip gunzip tar zip bzip2 网络 命令 write ping…
关于linux下通过shell命令(自动)修改用户密码 2012-04-23 18:47:39 分类: 原文地址:关于linux下(自动)修改用户密码 作者:ubuntuer 本文章总结了如何手动.自动修改本地用户密码及远程机器的用户密码.对做自动化测试提供了自动修改用户密码的原理及方法. 修改本地用户密码:1.交互配置本地用户:以root用户: passwd <username>Changing password for user dewang.New UNIX password: BAD…
linux下常用FTP命令 1. 连接ftp服务器 1. 连接ftp服务器格式:ftp [hostname| ip-address]a)在linux命令行下输入: ftp 192.168.1.1b)服务器询问你用户名和密码,分别输入用户名和相应密码,待认证通过即可. 2. 下载文件 下载文件通常用get和mget这两条命令.a) get 格式:get [remote-file] [local-file]将文件从远端主机中传送至本地主机中.如要获取远程服务器上/usr/your/1.htm,则 f…
--Linux下使Shell 命令脱离终端在后台运行------------------------------------2014/02/14你是否遇到过这样的情况:从终端软件登录远程的Linux主机,将一堆很大的文件压缩为一个.tar.gz文件,连续压缩了半个小时还没有完成,这时,突然你断网了,你登录不上远程Linux主机了,那么前面的半个小时就会前功尽弃,你非常气愤…… 在Linux下,如果你要执行的shell命令耗时特别长,并且:(1)你的网络不稳定,随时可能断网:或者(2)你在执行了s…
Linux远程执行shell命令   在Linux系统中,我们经常想在A机器上,执行B机器上的SHELL命令. 下面这种方案,是一种流行可靠的方案. 1.SSH无密码登录 # 本地服务器执行(A机器):生成密钥对 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa # 远程服务器执行(B机器):用公钥给远程机器授权,首先需要将本地公钥拷贝到远程服务器上,远程机器授权全后,可以删除公钥 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authoriz…
我们的系统一旦上线跑起来我们自然希望它一直相安无事,不要宕机,不要无响应,不要慢腾腾的.但是这不是打开机器电源然后放任不管就可以得到的.所以我们要监视系统的运行状况,发现问题及时处理. 对于系统和网络管理员来说每天监控和调试Linux系统的性能问题是一项繁重的工作.监控和保持系统启动并运行是很不容易的一件事.因此实验楼介绍部分linux的系统监控命令. (1)Linux进程监控:TOP Linux下的Top命令是一个性能监控程序,许多系统管理员常常用它来监控Linux性能,在许多Linux或者类…
1. 连接ftp服务器 格式:ftp [hostname| ip-address]a)在linux命令行下输入: ftp 192.168.1.1 b)服务器询问你用户名和密码,分别输入用户名和相应密码,待认证通过即可. 2. 下载文件 下载文件通常用get和mget这两条命令.a) get 格式:get [remote-file] [local-file]将文件从远端主机中传送至本地主机中.如要获取远程服务器上/usr/your/1.htm,则 ftp> get /usr/your/1.htm …
Linux的经典shell命令整理 1.删除0字节文件find -type f -size 0 -exec rm -rf {} \; 2.查看进程按内存从大到小排列ps -e -o “%C : %p : %z : %a”|sort -k5 -nr 3.按cpu利用率从大到小排列ps -e -o “%C : %p : %z : %a”|sort -nr 4.打印说cache里的URLgrep -r -a jpg /data/cache/* | strings | grep “http:” | aw…
[Windows常用shell命令大全] 基于鼠标操作的后果就是OS界面外观发生改变, 就得多花学习成本.更主要的是基于界面引导Path与命令行直达速度是难以比拟的.另外Geek很大一部分是键盘控,而非鼠标流的. 一.Windows下Shell命令概述 Windows的Shell命令又是Windows的CMD命令.而cmd命令又是原来MS-DOS系统保留下来. Shell来源路径与配置 对应的命令资源配置在windows的环境变量中: Windows Shell命令是基于配置好的Path环境变量…
HBase 常用Shell命令 1.进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入 2.可以使用whoami命令可查看当前用户 hbase(main):001:0> whoami a6 (auth:SIMPLE) groups: staff, com.apple.sharepoint.group.1, ev…
Linux(02)之shell命令 一,Linux命令行的组成结构 在我们的linux启动,登陆成功之后会显示: 这就是linux的命令行的组成结构 二,常见命令 1,Linux系统命令操作语法格式 命令 空格 参数 空格 [文件或路径]需要处理的内容 rm   -rf   /tmp/* ls    -la   /home           1.一般情况下,[参数]是可选的,一些情况下[文件或路径]也是可选的 2.参数 > 同一个命令,跟上不同的参数执行不同的功能 执行linux命令,添加参数…
HBase 安装与配置 首要配置 配置时间同步(所有节点上执行) yum -y install chrony vi /etc/chrony.conf #写入(7版本用server:8版本用pool): server time1.aliyun.com iburst 或 pool time1.aliyun.com iburst #保存配置并退出 systemctl enable --now chronyd systemctl status chronyd #执行后如果看到running则表示成功 步…
1.   ls: 类似于dos下的dir命令 ls最常用的参数有三个: -a -l -F. ls –a Linux上的文件以.开头的文件被系统视为隐藏文件,仅用ls命令是看不到他们的,而用ls -a除了显示一般文件名外,连隐藏文件也会显示出来. ls –l 该参数显示更详细的文件信息. ls –F 使用这个参数表示在文件的后面多添加表示文件类型的符号,例如*表示可执行,/表示目录,@表示连结文件,这都是因为使用了-F这个参数.但是现在基本上所有的Linux发行版本的ls都已经内建了-F参数,也就…
如今的web项目,一般在windows下开发,然后部署在linux上.搜索了一下原因,大概是说,linux免费,此外,linux长时间运行都没有问题,可以达到1到2年不停机.因此,需要学习一些常用的linux命令.      linux是完全命令的操作,一般没有界面.虽然为了扩展个人用户,有了Ubuntu,但界面操作消耗性能太多,显得比命令操作卡多了.        下面是我筛选的一些常用的.并且我大概了解的.适合小白的一些命令的基本用法. 一 实用的基础操作 由于linux没有界面,总得知道当…
HDFS Shell命令 概述 HDFS Shell命令允许使用命令行在HDFS存储中进行文件夹和文件操作. 如文件夹的增删改查.文件的增删改查等. 开始练习hadoop时,打开Linux之后要用 start-dfs.sh   启动HDFS. HDFS不是开机启动的 常用命令 命令格式 hdfs dfs -操作命令 参数 前面的[hdfs dfs -]部分是固定的,后面的[操作命令 参数]部分是变化的 命令练习(练习时可结合Hadoop站点观察操作结果) hdfs dfs -mkdir /abc…
1.mongoDB简介 mongoDB 是由C++语言编写的,是一种分布式的面向文档存储的开源nosql数据库.nosql是Not Only SQL的缩写,是对不同于传统的关系型数据库的数据库管理系统的统称. mongoDB是无模式的文档数据库,在关系型数据库中,数据表的每一行都拥有一样的字段,字段的名字和数据类型在创建table的时候就基本确定了,如student表的每一行都有学生编号.学生姓名.年龄等字段:而在mongoDB中,存储数据的格式类似于Json(格式为Bson),每一个docum…
1.具体的shell命令用法可以通过help或man命令进入手册来查询其具体的用法.2.终端本质上对应着linux上的/dev/tty设备,linux的多用户登录就是通过不同的/dev/tty设备完成的,linux默认提供了6个纯命令行界面的’‘terminal’’(准确的说这里应该是6个虚拟控制台)来让用户登录,在物理机系统上你可以通过ctrl+alt+F1~F6进行切换.当切换到其中一个终端后,想要切换回图形界面,可以按下ctrl+alt+F7来完成.3.命令行提示符$表示普通用户,#表示r…
1.一句话查找PHP木马 代码如下 # find / -name "*.php" |xargs egrep "phpspy|c99sh|milw0rm|eval\(gunerpress|eval\(base64_decoolcode|spider_bc" >> /tmp/php.txt #  grep -r --include=*.php '[^a-z]eval($_POST'. >> /tmp/eval.txt # grep -r --in…
1.mongoDB简介 mongoDB 是由C++语言编写的,是一种分布式的面向文档存储的开源nosql数据库.nosql是Not Only SQL的缩写,是对不同于传统的关系型数据库的数据库管理系统的统称. mongoDB是无模式的文档数据库,在关系型数据库中,数据表的每一行都拥有一样的字段,字段的名字和数据类型在创建table的时候就基本确定了,如student表的每一行都有学生编号.学生姓名.年龄等字段:而在mongoDB中,存储数据的格式类似于Json(格式为Bson),每一个docum…
linux下常用的关机命令有:shutdown.halt.poweroff.init:重启命令有:reboot.下面本文就主要介绍一些常用的关机命令以及各种关机命令之间的区别和具体用法. 首先来看一下linux下比较常用的一些关机命令 关机命令: 1. halt   立刻关机 2.poweroff  立刻关机 3.shutdown -h now 立刻关机(root用户使用) 4.shutdown -h 10 10分钟后自动关机 如果是通过shutdown命令设置关机的话,可以用shutdown…
今天学习了一个ADB的常用命令.接下来简单使用几个常用ADB shell 命令. 首先我们得明白什么是adb.exe ADB -Android Debug Bridge, 是 Android sdk 里的一个工具,用这个工具可以直接操作管理 Android 模拟器或者真实的 Android 设备 简单来说,ADB 是一个[客户端(pc)-服务器端(android)]程序. 当然,重要的一点是,你的 Android 设备得打开 USB 调试 ADB 的主要功能有: 1.运行设备的 shell(命令…