shell脚本可以说作用非常大,在服务器领域,用shell操作事务可比手动点击要方便快捷得多了.虽然只是文字界面,但是其强大的处理功能,会让各种操作超乎想象.而且,也可以将这些习惯移植到日常的工作当中,提升办事效率. 其实shell语法很简单,基本上就是综合一下在命令行下,一个个的命令集合,然后就组成了shell脚本.当然了,不懂语法的,百度搜索一下就好了嘛,毕竟,重要的是思想而非语法. 最近,刚接一需求,如下: DBA会将一些服务规则的数据导出,然后一条条手动去curl某应用接口,从而完成相应

 如何实现shell并发      很多人都问我如何写shell脚本,如何实现同时给三台ftp服务器上传文件,如何同时检测三台服务器是否alive等,其实这就是想实现shell的并发.那么shell并发该如何实现呢?     下面我就拿这个例子来讲:       每次任务都是输出字符“bingfa”,并停留一秒钟,共20次.     按照正常思维,脚本应该这样写: [root@station1 ~]# cat a.sh #!/bin/bash for((i=0;i<20;i++)) do sle

shell神器curl命令的用法举例,如下: ##基本用法(配合sed/awk/grep) $curl http://www.jquerycn.cn ##下载保存 $curl http://www.jquerycn.cn > index.html $curl -o index.html http://www.jquerycn.cn $curl -O http://www.jquerycn.cn/target.tar.gz ##通过代理 $curl -x 123.45.67.89:1080 -o

一般我们在linux上十一shell命令的批量执行操作,一般使用for或者while 循环进行操作,但是这样有一个问题,for或者while本质上是串行的,并不能,如果某一个命令执行耗费的时间比较长,就会等待很长的时间,很浪费时间; 将被执行的命令运行为后台执行,可以实现并发执行多条命令; for ((i=0;i<10;i++));do echo "done ";done & wait 但是上述方法,如果在i的值很大的时候,会产生大量的进行,造成系统严重的问题,所以,需要

今天在linux中使用curl发送一个post请求时,带有json的数据,在发送时发现json中的变量没有解析出来 如下 curl -i -X POST -H 'Content-type':'application/json' -d {"BTime":""$btime""} http://api.baidu.com 变量没有做解析 原来在shell中,"" '还是有很大区别的, 把修改后的curl发送贴出 atime=`dat

1.是用curl抓取的数据是用类似gzip压缩后的数据导致的乱码.乱码:curl www.1ting.com |more乱码:curl -H "Accept-Encoding: gzip"www.1ting.com | more不乱码:curl -H "Accept-Encoding: gzip"www.1ting.com | gunzip | more 不乱码:curl www.1616.net |more乱码:curl -H "Accept-Encod

SaltStack+Shell: salt-master的配置: #cat /etc/salt/master user: root auto_accept: True salt-minion的配置(支持多master的配置): #cat /etc/salt/minion #minion唯一标识 id: $minion_ip module_dirs: - /etc/salt/module master: - master1_ip - master2_ip - master3_ip 说明: 1./e

cURL > Docs > Tutorial:  http://curl.haxx.se/docs/httpscripting.html 下载单个文件,默认将输出打印到标准输出中(STDOUT)中,能够通过http.ftp等方式下载文件,也能够上传文件.其实curl远不止前面所说的那些功能,类似的工具还有wget. curl命令使用了libcurl库来实现,libcurl库常用在C程序中用来处理HTTP请求,curlpp是libcurl的一个C++封装,这几个东西可以用在抓取网页.网络监控等方

#!/bin/bash # ref: https://blog.csdn.net/spch2008/article/details/51433353 token(){ pid=$ # 判断是否有传入pid if [ -z "${pid}" ] then echo "please input pid" exit fi # 设置并发数,默认为5 concurrency= if [ -n "$2" ] then concurrency=$ echo &

官方文档:https://www.gnu.org/software/parallel/parallel_tutorial.html 安装 (wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash 安装完成后就是一个一万多行的perl脚本,把脚本复制到其他机器一样可以用. 各种应用请查看官方文档. 各种参数请查看man文档. 这里引用random233的博客https://www.jianshu.com/p/c

-b 参数 指定使用cookie文件 -c是往cookie文件中写cookie -d 是指定此次登录所需的参数,通过httpfox查看 -L 指定页面自动跳转 #curl -c ck.txt --user-agent Mozilla/4.0 -d "username=****&password=*****&server_id=1&submit=true" 登陆的url #curl -c ck.txt -b ck.txt --user-agent Mozilla/

Mac上Safari不能下载壁纸,遇到好看的很想用作壁纸.写了一小段脚本用来拉取网页图片. curl: -sS 参数用来取消下载状态显示 grep 首先把含有图片网址的行提取了出来,针对这一行再做sed替换. sed刚开始用不是很熟悉. 网上查阅了一下替换的正则形式为 sed 's/一行文本的正则表达/要替换目标文本/' 得到图片URL后,再发起一个curl指令并保存到用户目录下的图片文件夹. bingPath=`curl -sS http://cn.bing.com|grep "s.cn.bi

直接上代码: curl -I -m -o /dev/null -s -w %{http_code} www.baidu.com 参数说明: -I 仅测试HTTP头 -m 10 最多查询10s -o /dev/null 屏蔽原有输出信息 -s silent 模式,不输出任何东西 -w %{http_code} 控制额外输出

#!/bin/bash SEND_THREAD_NUM= #设置进程数. tmp_fifofile="/tmp/$$.fifo" # 脚本运行的当前进程ID号作为文件名 mkfifo "$tmp_fifofile" # 新建一个随机fifo管道文件 exec <>"$tmp_fifofile" # 定义文件描述符6指向这个fifo管道文件 rm "$tmp_fifofile" ;i<$SEND_THREAD_

shell实例手册 0 说明{ 手册制作: 雪松} 1 文件{        ls -rtl                 # 按时间倒叙列出所有目录和文件 ll -rt    touch file              # 创建空白文件    rm -rf 目录名           # 不提示删除非空目录(-r:递归删除 -f强制)    dos2unix                # windows文本转linux文本      unix2dos                #

原文地址:http://hi.baidu.com/quanzhou722/item/f4a4f3c9eb37f02d46d5c0d9 实在是太好的资料了,不得不转 shell实例手册 0说明{ 手册制作: 雪松 更新日期: -- 欢迎系统运维加入Q群: 请使用"notepad++"打开此文档,"alt+0"将函数折叠后方便查阅 请勿删除信息,转载请说明出处,抵制不道德行为. 错误在所难免,还望指正! # shell实例手册最新下载地址: http://hi.baid

转载自:https://github.com/liquanzhou/ops_doc    这里只作为笔记使用,不做他用 shell实例手册 0 说明{ 手册制作: 雪松 更新日期: 2018-09-11 欢迎系统运维加入Q群: 198173206 # 加群请回答问题 欢迎运维开发加入Q群: 365534424 # 不定期技术分享 请使用"notepad++"或其它编辑器打开此文档, "alt+0"将函数折叠后方便查阅 请勿删除信息, 转载请说明出处, 抵制不道德行为

实践出真知 样例 http://xxxx.file.myqcloud.com/yyy/xxxxx/xxxx.jpg #注意xxx,yyy都是马赛克 需求: 1.url条数130万左右,图片都说16kB左右的小图片 2.需要对下载的图片命令成yyy.jpg   注意:yyy是具有唯一性特征的 #不限制进程,默认按实际最大创建前提是高性能的linux主机,放开速度跑.带宽.cpu.内存.处理器,都相对好点 #!/bin/bash #des 单线程读取文件url mkdir smrz while re

原文地址:shell实例手册  作者:没头脑的土豆 shell实例手册 0说明{ 手册制作: 雪松 更新日期: -- 欢迎系统运维加入Q群: 请使用"notepad++"打开此文档,"alt+0"将函数折叠后方便查阅 请勿删除信息,转载请说明出处,抵制不道德行为. 错误在所难免,还望指正! # shell实例手册最新下载地址: http://hi.baidu.com/quanzhou722/item/f4a4f3c9eb37f02d46d5c0d9 # LazyMa

shell实例手册 1文件{ touch file              # 创建空白文件rm -rf 目录名           # 不提示删除非空目录(-r:递归删除 -f强制)dos2unix                # windows文本转linux文本  unix2dos                # linux文本转windows文本enca filename           # 查看编码  安装 yum install -y enca md5sum        

shell实例手册    https://github.com/liquanzhou/ops_doc   0 说明{       手册制作: 雪松   更新日期: 2018-09-11       欢迎系统运维加入Q群: 198173206 # 加群请回答问题   欢迎运维开发加入Q群: 365534424 # 不定期技术分享       请使用"notepad++"或其它编辑器打开此文档, "alt+0"将函数折叠后方便查阅   请勿删除信息, 转载请说明出处,