好久不写,一方面是工作原因,有些东西没发直接发,另外的也是习惯给丢了,内因所致.今天是个好日子,走起! btw,实际上这种格式化输出应该不只限于某一种需求,差不多是通用的. 需求: --基本的:当前Hive查询结果存在数据与表头无法对齐的情况,不便于监控人员直接查看,或者导出到excel中,需要提供一个脚本,将查询结果处理下,便于后续的查看或者操作. --额外的:A.每次查询出来的结果字段数.字段长度不固定:B.每个数据文件中可能包含不只一套查询结果,即存在多个schema. 想法: 对于基本需…

 用途: 根据查询到结果数量来判断,是否需要再执行下个脚本. 1. 查询语句script.q脚本如下: ) as count from test; 2. shell脚本如下: 这里注意hive语句需要包裹在``(左上角~按键)里面,然后可以把输出的结果赋值给一个变量. #!/bin/sh count=`beeline --silent=true --outputformat=csv2 \ --showHeader=false --showWarnings=false \ -u 'jdbc:hiv…

use test select * from vote insert into vote (contents) values(GETDATE()) insert into vote (contents,timess,AAA) values ('ss',GETDATE(),GETDATE()) --插入数据时 不能为空值的列名必须 写上, 能为空的可以不写 ) , AAA, ) from vote where ID=22 111的结果 xxxx/xx/xx; 111换成23的结果是 xxxx-xx…

hive DDL 启动hadoop /apps/hadoop/sbin/start-all.sh 开启MySQL库,用于存放hive的元数据 sudo service mysql start 启动hive hive 在/data/hive3下下载数据库数据 mkdir /data/hive3 cd data/hive3 wget http://192.168.1.100:60000/allfiles/hive3/buyer_log wget http://192.168.1.100:60000/…

#####awk  " 对每一行操作的代码块"  操作的文件  awk -F:   '{print $1,$2,$3,$4,$5}' helloworld.sh      打印字段,-F 指定分隔符   awk是行处理器: 相比较屏幕处理的优点,在处理庞大文件时不会出现内存溢出或是处理缓慢的问题,通常用来格式化文本信息 awk处理过程: 依次对每一行进行处理,然后输出 awk命令形式: awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END…

shell编程系列15--文本处理三剑客之awk格式化输出printf printf的格式说明符 格式符 含义 %s 打印字符串 %d 打印十进制数 %f 打印一个浮点数 %x 打印十六进制数 %o 打印八进制数 %e 打印数学的科学计数法形式 %c 打印单个字符的ASCII码 printf的修饰符 修饰符 含义 - 左对齐 + 右对齐 # 显示8进制在前面加0,显示16进制在前面加0x awk格式化输出之printf总结: 格式符 %s 打印字符串 %d 打印10进制数 %f 打印浮点数 %x…

目录 Shell 文件的格式化与相关处理 printf.awk 格式化打印printf 案例.格式化输出文件内容 输出命令echo 案例 awk数据处理工具 语法格式 处理流程 AWK内置变量 条件 高级操作 next 跳过当前行 if条件判断式 循环 Shell 文件的格式化与相关处理 printf.awk 格式化打印printf 使用场景:将数据格式化输出 语法:printf '打印格式' 实际内容 选项与参数 关于格式方面的几个特殊样式 \n 换行符 \t 水平[tab]按键 \b 后退…

awk -F"分隔符" "command" filename awk -F":" '{print $1}' /etc/passwd 字段引用: $1代表第一列: $2代表第二列: $0代表所有列. 内置变量: FS 代表输入的分隔符,等同于-F OFS 代表输出的分隔符 NF 代表字段数,因为NF是列数,所以$NF代表最后一列 NR 代表当前处理第几行 关系操作符: == 等于 != 不等于 > 大于 < 小于 >= 大于等于…

本文参考自 http://www.cnblogs.com/zhuyp1015/archive/2012/07/11/2586985.html awk:好用的数据处理工具 awk 也是一个非常棒的数据处理工具!sed 常常用于一整个行的处理, awk 则比较倾向于一行当中分成数个『栏位』(或者称为一个域,也就是一列)来处理.因此,awk 相当的适合处理小型的数据数据处理呢!awk 通常运行的模式是这样的: [root@www ~]# awk '条件类型1{动作1}  条件类型2{动作2} ...'…

i249 ~ # ps -efl|head -1|awk '$2~/S/{print $2}'Si249 ~ # ps -efl|awk '$2~/S/{print $2}'SSSS printf -                                      左对齐 Width                                  域的步长,用0表示0步长 .prec                                  最大字符串长度,或小数点右面的位数…