Linux下的文本处理命令,以清晰的列分割数据为高效处理源: awk 的gsub函数可替换指定字符串 echo "<tr><td>col1</td><td>col2</td></tr>"|awk 'gsub("</td><td>"," "){print $0}' | awk 'gsub("<td>","&quo…

在hive上建表与普通分区表创建方法一样: CREATE TABLE `dwa_m_user_association_circle`( `device_number` string, `oppo_number` string, `prov_id_oppo` string, `area_id_oppo` string, `dealer_oppo` string, `short_call_nums` bigint, `long3_call_nums` bigint, `long5_call_nums…

Shell脚本8种字符串截取方法总结转自:https://www.cnblogs.com/ralphdc/p/8032335.html Linux 的字符串截取很有用.有八种方法.假设有变量 var=http://www.aaa.com/123.htm.1. # 号截取,删除左边字符,保留右边字符.代码如下:echo ${var#*//}其中 var 是变量名,# 号是运算符,*// 表示从左边开始删除第一个 // 号及左边的所有字符即删除 http://结果是 :www.aaa.com/123…

表达式 含义 ${var} 变量var的值, 与$var相同 ${var-DEFAULT} 如果var没有被声明, 那么就以$DEFAULT作为其值 * ${var:-DEFAULT} 如果var没有被声明, 或者其值为空, 那么就以$DEFAULT作为其值 * ${var=DEFAULT} 如果var没有被声明, 那么就以$DEFAULT作为其值 * ${var:=DEFAULT} 如果var没有被声明, 或者其值为空, 那么就以$DEFAULT作为其值 * ${var+OTHER} 如果va…

一.单引号 str='this is a string' 单引号字符串的限制: 单引号里的任何字符都会原样输出,单引号字符串中的变量是无效的: 单引号字串中不能出现单引号(对单引号使用转义符后也不行). 二.双引号 your_name='qinjx' str="Hello, I know your are \"$your_name\"! \n" 双引号的优点: 双引号里可以有变量 双引号里可以出现转义字符 三.反引号(``) 命令替换是指shell能够将一个命令的标…

数组 一)定义 #最常用:小括号加空格: a=( ) #键值对形式: b=([]=x []=men []=z) #定义变量的形式 c[]=; c[]=; c[]= #命令结果作为数组元素 d=($(command)) e=(``) 二)打印 ]} echo ${a[@]} echo ${a[*]} echo ${#a[*]} #打印数组个数 三)赋值 a[]=xxx 四)删除 unset a[] unset a 五)截取及替换 :} #截取第一个到第三个元素 /b} #第一号元素替换为b,该操作…

printf printf "%-10s %-10s %-10s\n" NO Name    Height printf "%-10s %-10s %-10d\n" 1  whr     187     2       wsl     198 字符串切片: ${变量名:偏移量:数值个数} ${变量名: -数值个数}[冒号后面一定要加空格] ${变量名:-word} 基于模式取子字符串: 从左至右 ${变量名#pattern} 删除pattern第一次匹配到的 ${变…

假设有变量 var=http://www.aaa.com/123.htm. 1. # 号截取,删除左边字符,保留右边字符. echo ${var#*//} 其中 var 是变量名,# 号是运算符,*// 表示从左边开始删除第一个 // 号及左边的所有字符 即删除 http:// 结果是 :www.aaa.com/123.htm 2. ## 号截取,删除左边字符,保留右边字符. echo ${var##*/} ##*/ 表示从左边开始删除最后(最右边)一个 / 号及左边的所有字符 即删除 http…

假设有变量 var=http://www.google.com/test.htm 一 # 号截取,删除左边字符,保留右边字符.echo ${var#*//}其中 var 是变量名,# 号是运算符,*// 表示从左边开始删除第一个 // 号及左边的所有字符即删除 http://结果是 :www.google.com/test.htm 二 ## 号截取,删除左边字符,保留右边字符.echo ${var##*/}##*/ 表示从左边开始删除最后(最右边)一个 / 号及左边的所有字符即删除 http:/…

前言 之前写过一篇关于shell脚本流程控制总结,这次继续写关于shell脚本的问题.本篇文章主要包含shell脚本中的函数以及数组的用法介绍.同时也涵盖了一些字符串处理以及shell脚本比较使用的小工具的介绍. 函数 函数function是由若干条shell命令组成的语句块,实现代码重用和模块话编程. 它与shell程序形式上是相似的,不同的是它不是一个单独的进程,不能独立运行,而是shell程序的一部分. 函数shell程序比较相似,区别在于: shell程序在shell中运行 而shell…

前段时间和几位同事讨论过一个问题:Shell脚本里面怎样把一个数组传递到awk内部进行处理? 当时没有找到方法.前两天在QQ群里讨论awk的时候,无意间又聊起这个话题.机缘巧合之下找到一个思路,特此分享. 测试环境:  [root]# head -1 /etc/redhat-release Red Hat Enterprise Linux Server release 6.5 (Santiago) [root]# awk --version | head -1 GNU Awk 3.1.7 众所周…

在中括号中,判断变量的值, 加不加双引号的问题? -z 判断 变量的值,是否为空: zero = 0 - 变量的值,为空,返回0,为true - 变量的值,非空,返回1,为false -n 判断变量的值,是否为空 name = 名字 - 变量的值,为空,返回1,为false - 变量的值,非空,返回0,为true [ -z "$pid" ] 单对中括号变量必须要加双引号 [[ -z $pid ]] 双对括号,变量不用加双引号 [ ] 可以使用 -a -o的参数,但是必须在 [ ] 中括…

公司说不准用云笔记了,吓得我赶紧把笔记贴到博客上先..... 近3年前的了,只有一半的章节,后面的没空记录了.... 第1章 可以cat /proc/meminfo文件来观察Linux系统上虚拟内存的当前状态 ipcs命令专门用来查看系统上的当前共享内存页面 Ubuntu使用一个表来管理在系统开机时要自动启动的进程,在/etc/init.d目录,可将开机时启动或停止某个应用的脚本放在这个目录下.这些脚本通过/etc/rcX.d目录下的入口启动,这里X代表运行级(run level) Linux才…

传统的Pascal 语言其数组大小是预先确定的,当你用数组结构声明数据类型时,你必须指定数组元素的个数.专业程序员也许知道些许动态数组的实现技术,一般是采用指针,用手工分配并释放所需的内存. Delphi 4中增加了非常简单的动态数组实现方法,实现过程效仿我前面讲过的动态长字符串.与长字符串一样,动态数组的内存动态分配并且引用记数,不过动态数组不支持 copy-on-write 技术.这不是个大问题,因为你可以把变量值设置为nil释放数组内存. 这样你就可以声明一个不指定元素个数的数组,并用Se…

字符串长度: ${#string}可获取string字符串的长度,如下: jenkins@soft1pc:~$ str="who are you"jenkins@soft1pc:~$ echo ${#str}11 ${string:position:length}表示在字符串string中截取从position开始长度为length的字符串,shell脚本字符串的起始位置与python一致也是从0开始算的 jenkins@soft1pc:~$ str="who are you…

LinuxShell脚本——认识Shell脚本 摘要:本文主要介绍了Shell脚本的一些基本知识. 什么是Shell脚本 shell脚本是利用shell的功能所写的一个程序,这个程序是使用纯文本文件,将一些shell的语法与指令写在里面,然后用正规表示法,管道命令以及数据流重导向等功能,达到所想要的处理目的. shell脚本就像早期dos年代的.bat,最简单的功能就是将许多指令汇整写一起,让使用者很容易地就能够一个操作执行多个命令,而shell脚本更是提供了数组.循环.条件以及逻辑判断等重要功…

前言: 今天给大家分享一篇在我工作中常用的一个shell脚本,里面有一些我们常用到的shell操作.该脚本用于本地电脑和服务器交互上,实现以下功能: 自动拉取自己个人电脑上的源码到服务器上yocto包的源码文件夹. 自动运行compile .strip 自动把编译好的结果回传到个人电脑上. 拷贝执行文件到机器中 作者:良知犹存 转载授权以及围观:欢迎关注微信公众号:羽林君 或者添加作者个人微信:become_me 情节介绍: 在工作中,我们经常会遇到需要把修改的代码放到服务器去编译,然后把编译好…

一.Shell 变量 1.1 定义变量 定义变量时,变量名不加美元符号($),如: your_name="runoob.com" 注意,变量名和等号之间不能有空格,这可能和你熟悉的所有编程语言都不一样.同时,变量名的命名须遵循如下规则: 命名只能使用英文字母,数字和下划线,首个字符不能以数字开头. 中间不能有空格,可以使用下划线(_). 不能使用标点符号. 不能使用bash里的关键字(可用help命令查看保留关键字). 除了显式地直接赋值,还可以用语句给变量赋值,如: #这行也可以使用…

今天上午在写一个需求,要求的比较急,要求当天完成,我大致分析了一下,可以采用从shell脚本中插入一连串的日期,通过调用proc生成的可执行文件,将日期传入后台数据库,在数据库中进行计算.需要切分日期的字符串,转化成整数,插入int 数组中,手工实现太慢,就直接借用系统的strstr函数来用了. 场景模拟: 1. shell脚本: #diao.sh #!/bin/bash date1="20170622,20170623,20170626,20170627,20170628,20170629,2…

最近工作需求中 有遇到这个情况  在web端获取配置文件内容 及 往shell 脚本中动态传入参数 执行shell脚本这个有多种方法   最后还是选择了subprocess这个python标准库 subprocess这个模块可以非常方便的启动一个子进程,并且控制其输入和输出 Class Popen(args,bufsize = 0,executable=None,            stdin =None,stdout =None,stderr =None,            preex…

Shell脚本在运维工作中是极其重要的,而数组在shell脚本里的运用无论是在循环或运算方面都是非常实用的一个环节.下面是对shell脚本中数组方面一些操作在此进行记录,希望能帮助到有兴趣的朋友~1.数组定义[root@bastion-IDC ~]# a=(1 2 3 4 5 6 7 8)[root@bastion-IDC ~]# echo $a1一对括号表示是数组,数组元素用“空格”符号分割开. 2.数组读取与赋值 1)得到长度:[root@bastion-IDC ~]# echo ${#a[…

今天上午在写一个需求,要求的比较急,要求当天完成,我大致分析了一下,可以采用从shell脚本中插入一连串的日期,通过调用proc生成的可执行文件,将日期传入后台数据库,在数据库中进行计算.需要切分日期的字符串,转化成整数,插入int 数组中,手工实现太慢,就直接借用系统的strtok函数来用了. 场景模拟: 1. shell脚本: #diao.sh #!/bin/bash date1="20170622,20170623,20170626,20170627,20170628,20170629,2…

centos   shell脚本编程1 正则  shell脚本结构  read命令  date命令的用法  shell中的逻辑判断  if 判断文件.目录属性  shell数组简单用法 $( ) 和${ } 和$(( )) 与  sh -n  sh -x  sh -v 第三十五节课 Shebang/Sha-bang在计算机科学中, Shebang (也称为Hashbang)是一个由井号和叹号构成的字符串行(#!), 其出现在文本文件的第一行的前两个字符. 在文件中存在Shebang的情况下, 类…

基于数组的shell脚本编写 2017年08月17日 22:56:36 momokuku123 阅读数:369 数据:变量,文件,数组 变量:存储单个元素的内存中的一块存储空间 数组:存储多个元素的内存中的连续的内存空间,数组有数组名,且索引编号从0开始. 数据结构中逻辑结构:集合.线性.树形.图形 数据结构中物理结构(也叫做存储结构):顺序.链式.索引.散列 bash shell 中的数组属于线性表,体现为所有元素的内存地址是连续的 声明一个数组 declare-a NAME:声明索引数组(索…

首先谈一下个人的需求,家里路由拿到了运营商的外网ipv6地址,于是想着将路由的各种服务通过DDNS放到外网上来,这才有下面的动态域名解析折腾.废话不多说,进入正题. 1.首先在godaddy中注册域名,这一点不是本文重点,先掠过. 2.配置DNS,如图: (注意第二条router的解析记录,正是需要通过脚本调用官方api动态更新这一条解析,我这里是ipv6地址,所以是AAAA,如果是ipv4那么选择A类型.) 3.进入 https://developer.godaddy.com/keys 创建k…

在ubuntu 14.04之后,所有的U盘挂载也分用户之分,最近很多操作也和U盘有关,所以就研究了一上午shell脚本函数以及字符串操作的方法. 字符串操作: 获取他的命令输出比较简单,打个简单的比方,我想获取whoami 的用户名,那么直接可以使用如下代码. ```sh #!/bin/sh USER_NAME=$(whoami) main() { sudo cp target/* /media/$USER_NAME/rootfs/ -rf } main ``` ```sh #如果你想操作这些字…

今天用VBS脚本写了几个程序,用到了字典(Dictionary).动态数组(ArrayList).队列(Queue)和堆栈(Stack).现在写篇Blog总结一下 :-) 1.编写环境 今天突发奇想下载了个gVim来写VBS脚本,我用的版本是7.4的 在写脚本前,需要在gVim的安装根目录下,找到文件“_vimrc”,在里面添加下面三行: set number 意思分别是“显示行号”.“按退格键一次删掉4个空格”和“设定Tab长度为4个字符” 这个设置类似于Linux系统下文件“.vimrc”的…

功能说明:设置或显示环境变量. 语 法:export [-fnp][变量名称]=[变量设置值] 补充说明:在shell中执行程序时,shell会提供一组环境变量.export可新增,修改或删除环境变量,供后续执行的程序使用.export的效力仅及于该次登录操作. 参 数: -f 代表[变量名称]中为函数名称. -n 删除指定的变量.变量实际上并未删除,只是不会输出到后续指令的执行环境中. -p 列出所有的shell赋予程序的环境变量.   假设在shell脚本中有如下变量(为了演示问题,没有测试…

shell 分割字符串存至数组 shell编程中,经常需要将由特定分割符分割的字符串分割成数组,多数情况下我们首先会想到使用awk但是实际上用shell自带的分割数组功能会更方便.假如a=”one,two,three,four” 要将$a分割开,可以这样:OLD_IFS=”$IFS”IFS=”,”arr=($a)IFS=”$OLD_IFS”for s in ${arr[@]}doecho “$s”done 上述代码会输出onetwothreefour arr=($a)用于将字符串$a分割到数组$…

简介 昨天在通过shell脚本实现一个功能的时候,由于对shell处理字符串的方法有些不熟悉导致花了不少时间也犯了很多错误,因此将昨日的一些错误记录下来,避免以后再犯. 字符串的定义与赋值 # 定义STR1变量,值为abc STR1 = "abc"(错误写法) STR1="abc"(正确写法) 在编写java代码时会考虑到格式化,往往变量定义时会有一些空格或者换行符等,因此在写shell脚本时也就顺手这么写了,在运行时就会报错:"command not f…