cat 20171015_datarecord.txt| awk -F '_' '{a[$1]++} END {for (i in a) {print i,a[i]|"sort -k 2"}}' 1.$1作为变量a(字典)的key,++进行计数: 2.i in a进行遍历取值: 3.sort -k 2,以打印结果的第二个作为排序依据. cat a.txt |awk -F '|' '!a[$0]++ {b[$1]++} END {for (i in b) {print i,b[i]|&q…

HDFS Quotas Guide Overview HDFS允许管理员为多个每个目录设置使用的命名空间和空间的配额.命名空间配额和空间配额独立操作,但是这两种类型的配额的管理和实现非常类似. Name Quotas 命名空间配额是一个目录树中该目录下的文件和子目录数量的硬限制.如果超出配额,文件和目录会创建失败.配额会与重命名的目录保持联系.如果重命名操作导致违反配额限制,操作将会失败.为目录设置新的配额时,即使现在的目录状态违反新的配额限制,操作仍然成功.一个新创建的目录没有配额限制.配额的…

2013-08-22 14:55:33 八大排序方法汇总(选择排序-简单选择排序.堆排序,插入排序-简单插入排序.shell排序,交换排序-冒泡排序.快速排序,归并排序,计数排序). 插入排序还可以和折半查找相结合,提高查找插入位置的速度,也就是折半插入排序,此处没有给出这种方法的相应代码. 对排序算法,可从以下几个方面评价: 时间复杂度: 空间复杂度: 稳定性. 代码(测试暂未发现问题,欢迎交流指正!): #include <iostream> #include <cassert>…

科学计数法使用e标识数值,将科学计算学转化为数字的思路:按e右边的数字移动小数点位数.e右边的数字如果是负数,则向左移动小数点.示例如下: 1.2345678e2 = 123.45678 1.2345678e-2 = 0.012345678 1.7615562e+06 = 1761556.2 1.87982e7 = 18798200 1e3 = 1000 那么在shell中,如何转化科学计数法为数字呢,方法如下:这里以"1.7615562e+06" (或者1.7615562e6)为示例…

words.txt中的内容如下: the day is sunny the the the sunny is is 统计每个单词出现的次数,并降序输出. Unix Pipes脚本如下: cat words.txt | tr -s ' ' '\n' | sort | uniq -c | sort -r | awk '{print $2, $1}' 脚本解释: tr -s ' ' '\n' 表示:连续出现的空格只保留一个,并在空格处以换行符分割文本 sort 表示:对输出文本进行排序 uniq -c…

uniq选项与参数-i:忽略大小写-c:进行计数[zhang@localhost ~]$ cat 2.txt helloHelloWOrldabcabcABChello1 对2.txt进行sort后,进行uniq.[zhang@localhost ~]$ cat 2.txt | sort | uniqabcABChelloHellohello1WOrld 进行sort,使用uniq忽略大小写[zhang@localhost ~]$ cat 2.txt | sort | uniq -iabchel…

…

本教程我们通过实现来讲讲Linux交互式shell脚本中创建各种各样对话框,对话框在Linux中可以友好的提示操作者,感兴趣的朋友可以参考学习一下. 当你在终端环境下安装新的软件时,你可以经常看到信息对话框弹出,需要你的输入.对话框的类型有密码箱,检查表,菜单,等等.他们可以引导你以一种直观的方式输入必要的信息,使用这样的用户友好的对话框的好处是显而易见的.如下图所示: 当你写一个交互式shell脚本,你可以使用这样的对话框来接受用户的输入.whiptail可以在shell脚本中创建基于终端的对…

一.快捷键.通配符.特殊符号 1. 快捷键 CTRL+C:终止目前的命令 CTRL+D:输入结束,EOF CTRL+M:ENTER CTRL+S:暂停屏幕输出 CTRL+Q:恢复屏幕输出 CTRL+U:将整行命令删除 CTRL+Z:暂停目前的命令 2.通配符 *  任意多个字符 ? 任意1个字符 [] 1个括号中的字符,例如[abcd]表示a/b/c/d中的任意1个 [-] 在编码顺序内的所有字符,例如[0-9]表示0,1,2,3,4,5,6,7,8,9所有这些数 [^] 反向选择,[^abc]…

转载 http://www.th7.cn/system/lin/201309/44683.shtml expr bc 在Linux下做算术运算时你是如何进行的呢?是不是还在用expr呢?你会说我还会bc还有其它的呢! 闲话不多扯,干正事! expr expr在使用中要注意一些书写,如表达式中量和运算符号之间的空格及一些运算符号需要转义,还有一点需要记住,expr只适用于整数之间的运算! 表达式 expr的help文档中关于表达式部分如下: ARG1 | ARG2 若ARG1 的值不为0 或者为空…

shell实例手册 0 说明{ 手册制作: 雪松} 1 文件{        ls -rtl                 # 按时间倒叙列出所有目录和文件 ll -rt    touch file              # 创建空白文件    rm -rf 目录名           # 不提示删除非空目录(-r:递归删除 -f强制)    dos2unix                # windows文本转linux文本      unix2dos                #…

1)定义变量 myvar=abc #注:等号前后不能加空格 #或 myvar="abc" #或 myvar='abc' #注:如果变量后面的值中间本身没有空格,加不加引号都无所谓,但值本身如果有空格,则引号是必须的,比如: myvar='abc 123' 2) 使用变量echo $myvar 完整示例: #!/usr/bin/env bash myvar1='ddddddd 111' echo 'myvar1='$myvar1 echo 'myvar1=$myvar1' #注意这一行跟…

shell 命令整理     bash shell 含有许多功能,因此有许多可用的命令:本文档仅罗列了一些常用命令及其使用频率较高的参数.#本文档仅罗列了一些常用命令及其使用频率较高的参数.#version 3.0  2017.1.1#Author woodman 一.bash内建命令 命令 描述 Alias 为指定命令定义一个别名 Cd 切换的指定目录 Declare 声明一个变量或变量类型 Echo 将指定字符串输出到STDOUT Exit 强制shell以指定的退出状态码退出 Export…

一般网站图片上传功能都对文件进行过滤,防止webshelll写入.但不同的程序对过滤也不一样,如何突破过滤继续上传? 本文总结了七种方法,可以突破! 1.文件头+GIF89a法.(php)//这个很好理解,直接在php马最前面写入gif89a,然后上传dama.php 2.使用edjpgcom工具向图片注入代码.(php)//edjpgcom修改,加入php一句话保存为dama.php 3.cmd命令下copy 图片.GIF+shell.php webshell.php (php) //估计和1…

from:http://blog.sina.com.cn/s/blog_4152a9f501013r6c.html 常用的shell脚本 (2012-10-10 22:09:07) 转载▼ 标签: 杂谈 分类: Internet和计算机 1.脚本之间传递参数 "1.sh"的脚本,接受参数.如下,如果有一个参数则赋值个sourceFile这个变量,否则用默认值. Shell代码 #!/bin/bash LANG=en_US.UTF-8 #get parameters sourceFile…

5.文本过滤.正则表达式.相关命令    5.1.正则表达式(什么是正则表达式?正则表达式怎么进行匹配?常用命令)        简介:            一种用来描述文本模式的特殊语法            由普通字符(例如字符a到z)以及特殊字符(成为元字符,如/.*.?等)组成            匹配的字符串            文本过滤工具在某种情况下都支持正则表达式        基本元字符集及其含义            ^    只匹配行首,例子 ^a 表示匹配以a开头的…

shell概念 "shell"既是一种解释型编程语言,也是一个这种编程语言的解释器的名字 shell是解释型语言,就是解释器会一条一条的翻译每一条语句并执行,对比之下,C语言是编译型语言,编译器把整个工程编译成可执行文件才能执行 在没有续行符(\回车)的情况下,shell脚本的一条语句以"回车"为结束 任何一个shell脚本程序都必须在开头用#!标识使用的shell程序,如果用的是bash,那就是#!/bin/sh shell脚本一行中的#之后的部分为注释 刚刚写完…

一般网站图片上传功能都对文件进行过滤,防止webshelll写入.但不同的程序对过滤也不一样,如何突破过滤继续上传? 本文总结了七种方法,可以突破! .文件头+GIF89a法.(php)//这个很好理解,直接在php马最前面写入gif89a,然后上传dama.php .使用edjpgcom工具向图片注入代码.(php)//edjpgcom修改,加入php一句话保存为dama.php .cmd命令下copy 图片.GIF+shell.php webshell.php (php) //估计和1是同样…

原文地址:http://hi.baidu.com/quanzhou722/item/f4a4f3c9eb37f02d46d5c0d9 实在是太好的资料了,不得不转 shell实例手册 0说明{ 手册制作: 雪松 更新日期: -- 欢迎系统运维加入Q群: 请使用"notepad++"打开此文档,"alt+0"将函数折叠后方便查阅 请勿删除信息,转载请说明出处,抵制不道德行为. 错误在所难免,还望指正! # shell实例手册最新下载地址: http://hi.baid…

1.命令替换:`` 反向单引号,也称重音符.键盘上和~键在一起的那个键呦,千万不要敲成单引号. A. 使用了``后,shell首先替换输出中``括起来的date命令,然后执行整个输出命令. B.命令替换还可以用于在变量中存储命令输出,如下: 变量ctr将包含当前目录中名字以.txt结尾的文件的计数. 2.expr 大部分shell不支持数字变量,所有变量会被作为字符串.如var=25,变量var中包含的是字符2和字符5组成的字符串,而不是数字25. Expr命令用来评估算术表达式,命令的输出发送…

linux shell expr 使用 收藏人:春秋百味 -- | 阅: 转: | | 分享 非原创, 摘自:<LINUX与UNIX Shell编程指南> 17.5 expr用法 expr命令一般用于整数值,但也可用于字符串.一般格式为: expr argument operator argument expr也是一个手工命令行计数器. # expr + # expr + # expr / # expr / / (注意运算符左右都有空格) 使用乘号时,必须用反斜线屏蔽其特定含义.因为shell…

最近在梳理bash知识的的过程中,有幸阅读了man bash文档,一时间犹如醍醐灌顶一般,很多当初不明白的地方都豁然开朗,现在就其中的一点做一分享,同时也为man bash做一下广告,当你面对bash问题孤立无援的时候,别忘了还有man bash的陪伴. Bash 支持的扩展种类有:brace expansion, tilde expansion, parameter and variable expansion, command substitution, arithmetic expansi…

命令行参数 命令行参数:允许在运行脚本时向命令行添加数据值 如:$ ./addem 10 30 读取参数 bash shell会将一些称为位置参数的特殊变量分配给命令行输入的所有参数,甚至包括shell执行的程序的名字 位置参数变量是标准的数字 $0:程序名 $1:第一个参数 2:第二个参数,以此类推,直到第9个参数9 $cat test #!/bin/bash total=$[ $1 * $2 ] echo The total value is $total. $./test 2 5 The…

一,Shell原理…

2.2.6.1.case语句(1)shell中的case语句和C语言中的switch case语句作用一样,格式有差异(2)shell中的case语句天生没有break,也不需要break,和C语言中的switch case不同.shell中的case默认就是匹配上哪个执行哪个,不会说执行完了还去执行后面的其他case(就好像shell中的case语言默认都带了break). 2.2.6.2.调用shell程序的传参(1)C语言中可以通过main函数的argc和argv给程序传参(详情参考<4.…

当你在终端环境下安装新的软件时,你可以经常看到信息对话框弹出,需要你的输入,比如:RHEL/CentOS自带的setup,对话框的类型有密码箱.检查表.菜单等等.他们可以引导你以一种直观的方式输入必要的信息,使用这样的用户友好的对话框的好处是显而易见的.如下图所示: 当你写一个交互式shell脚本,你可以使用这样的对话框来接受用户的输入.whiptail可以在shell脚本中创建基于终端的对话框,消息框的过程,类似于Zenity或xdialog GUI脚本代码.whiptail预先安装在所有的L…

环境变量 set 环境变量可供shell以外的程序使用 shell变量 env shell变量仅供shell内部使用 set:显示(设置)shell变量 包括的私有变量以及用户变量,不同类的shell有不同的私有变量 bash,ksh,csh每中shell私有变量都不一样.env:显示(设置)用户变量.export:显示(设置)当前导出成用户变量的shell变量.总结:linux 分 shell变量(set),用户变量(env),shell变量包含用户变量,export是一种命令工具,是显示那些…

bash shell如何获取命令行参数(添加到命令后的数据).命令行选项(确定命令行为的英文字母).键盘输入数据? 操作命令行参数 1 读取参数 bash shell用位置参数变量(positional parameter)存储命令行输入的所有参数,包括程序名.其中,$0表示程序名,$1表示第1个参数,$2表示第2个参数,...,$9表示第9个参数.如果参数个数多于9个,必须如下表示变量:${},${},... ; count <= $; count++)) do echo The number…

read命令:在shell中主要用于读取输入.变量.文本 1. 接受标准输入(键盘)的输入,并将输入的数据赋值给设置的变量      [按回车键——表示输入完毕]      [若输入的数据多于设置的变量数,则将多出的部分全部赋给最后一个变量]     [若没有设置变量,则将输入的数据赋给环境变量REPLAY] #!/bin/bash echo -n "Enter your name:" read name1 name2 echo hello,$name1,$name2 # ./read…

. 显示系统中全部Android平台: android list targets . 显示系统中全部AVD(模拟器): android list avd . 创建AVD(模拟器): android create avd --name 名称 --target 平台编号 . 启动模拟器: emulator -avd 名称 -sdcard ~/名称.img (-skin 1280x800) . 删除AVD(模拟器): android delete avd --name 名称 . 创建SDCard: m…