原文 http://blog.zol.com.cn/2322/article_2321767.html 功能强大的shell:if条件语句 if语句测试条件,测试条件返回真(0)或假(1)后,可相应执行一系列语句.if语句结构对错误检查非常有用.其格式为:if 条件1then 命令1elif 条件2then 命令2else 命令3fi –b 当file存在并且是块文件时返回真 -c 当file存在并且是字符文件时返回真 -d 当pathname存在并且是一个目录时返回真 -e 当pathname

前面写过一篇通过shell脚本去重10G数据的文章,见<用几条shell命令快速去重10G数据>.然而今天又碰到另外一个业务,业务复杂度比上次的单纯去重要复杂很多.找了很久没有找到相应的办法,于是用shell脚本程序去处理.具体业务逻辑: 1.首先根据给定指定进行排序 2.排序后对给定字段进行去重,去重的规则如下: a)排序后如果相邻N行给定字段值相同的行数不超过两行,则两行都保留. a)排序后如果相邻N行给定字段值相同的行数超过两行,则保留首行和尾行. 就这样一个业务逻辑,其实看起来并不是太

问题描述: 最近有个需求,就是rsync每次同步的数据量很多,但是需要保留的数据库bak文件 保留7天就够了,所以需要自动清理文件夹内的bak文件 解决方案: 利用shell脚本来定期删除文件夹内的任务 1.创建shell文件 [root@zabbix script]# vim backup_sql_clean.sh #!/bin/sh -name "*.bak" -exec rm -rf {} \; 参数说明: /data1/backup/KDKDA\$AGKDPAYKT/XNAKS

Shell 命令行 从日志文件中根据将符合内容的日志输出到另一个文件 前面我写了一篇博文Shell 从日志文件中选择时间段内的日志输出到另一个文件,利用循环实现了我想要实现的内容. 但是用这个脚本的同事很郁闷,因为执行时间比较长,越大的文件越长.于是找我,问我能不能实现一个更快的方案. 我想了一下,觉得之前的设计是脱裤子放屁,明明有更加简单的实现方法. 想办法获得我要截取的内容的开始的行号,然后再想办法获得我想截取的文件的结尾的行号,然后用两个行号来进行截断文件并输出.就可以实现这个效果了. 不

Shell脚本使用汇总整理——文件夹及子文件备份脚本 Shell脚本使用的基本知识点汇总详情见连接: https://www.cnblogs.com/lsy-blogs/p/9223477.html 脚本分为三部分配置信息.脚本文件.定时任务: 1.配置信息: backupFilePath=/wocloud/soft/tomcat/yearAppraiseTomcat/tomcat/webapps/yearAppraiseSys/upload saveBackupFilePath=/woclou

shell项目-分发系统-构建文件分发系统 需求背景对于大公司而言,肯定时不时会有网站或者配置文件更新,而且使用的机器肯定也是好多台,少则几台,多则几十甚至上百台.所以,自动同步文件是至关重要的. 实现思路首先要有一台模板机器,把要分发的文件准备好,然后只要使用expect脚本批量把需要同步的文件分发到目标机器即可. 核心命令rsync -av --files-from=list.txt / root@host:/ 文件分发系统的实现 1.rsync.expect 内容 #!/usr/bin/e

C++/Php/Python/Shell 程序按行读取文件或者控制台方法总结. 一.总结 C++/Php/Python/Shell 程序按行读取文件或者控制台(php读取标准输入:$fp = fopen("/dev/stdin", "r");) 1.php读取标准输入:$fp = fopen("/dev/stdin", "r"); 二.C++/Php/Python/Shell 程序按行读取文件或者控制台 写程序经常需要用到从文

1. login shell和nologin shell的理解: 字面意思, 需要登陆的shell和不需要登陆的shell. 正确解释为: 加载用户环境配置的shell 和不加载用户环境配置的shell. nologin shell登陆时只加载/etc/bashrc和 ~/.bashrc两个文件; 而login shell登陆时会加载4个, 系统级和用户级分别两个, 如2中所列文件. 结合su - 命令的使用理解. -为加载用户环境, 没有-即不加载用户环境. 2.和用户登陆shell有关的(要

shell脚本实现读取一个文件中的某一列,并进行循环处理 1) for循环 #!bin/bash if [ ! -f "userlist.txt" ]; then echo "userlist.txt 不存在!" fi for userid in `(cat userlist.txt)` do a=$userid echo $a done #!bin/bash if [ ! -f userlist.txt ]; then echo "userlist.tx

一运行告警系统 创建一个任务计划crontab -e 每一分钟都执行一次 调试时把主脚本里边log先注释掉 再次执行 没有发现502文件说明执行成功了,每日有错误,本机IP 负载不高 二.分发系统-expect讲解 yum install -y expect 自动远程登录 #! /usr/bin/expect set host "192.168.1.106" set passwd "mimA123" spawn ssh root@$host  指向106 expec

shell脚本?在说什么是shell脚本之前,先说说什么是shell. shell是外壳的意思,就是操作系统的外壳.我们可以通过shell命令来操作和控制操作系统,比如Linux中的Shell命令就包括ls.cd.pwd等等.总结来说,Shell是一个命令解释器,它通过接受用户输入的Shell命令来启动.暂停.停止程序的运行或对计算机进行控制. shell 是一个应用程序,它连接了用户和 Linux 内核,让用户能够更加高效.安全.低成本地使用 Linux 内核,这就是 Shell 的本质. s

Shell脚本对Linux进行文件校验 一.需求 有客户等保需求对文件一致性进行校验,想到利用md5sum工具,因此写脚本来对文件进行自定义扫描,后期可以利用其进行校验,快速校验文件发现变更的文件,一定程度及时发现等行为. 二.脚本 利用md5sum将扫描得到的文件保存在/tmp目录下,后缀为时间戳,后期可以利用此文件进行校验 #!/bin/bash #func:scan file #md5sum -c $SCAN_FILE SCAN_DIR=`echo $PATH |sed 's/:/ /g'

https://www.cnblogs.com/yeungchie/ 常见的集成电路版图数据库文件格式有 GDSII 和 OASIS,virtuoso 提供了下面两个工具用来在 Shell 中导出版图数据. strmout (导出为 GDSII 格式) strmout -help Usage: Usage: strmout -library <Input Library> -strmFile <Output Stream File> [-strmVersion] <Strea

写程序经常需要用到从文件或者标准输入中按行读取信息,这里汇总一下.方便使用 1. C++ 读取文件 #include<stdio.h> #include<string.h> int main(){ const char* in_file = "input_file_name"; const char* out_file = "output_file_name"; FILE *p_in = fopen(in_file, "r"

第一个shell脚本 1.       shell编程的方式 交互式shell编程 非交互式shell编程:执行的语句存放到一个文件 shell脚本:可以任意文件名,建议扩展名为sh 2.       shell脚本的语法(algol语法:basic|pascl) 字word:字面值(word),标示字(name),保留字 使用空格tab键 分隔 语句statement: 使用:与newline键(回车)等分隔 块block: 多种:流程控制块/函数块 元字符:容易歧义字符 | ; & ( )

一.问题 Sed和AWK在处理文件方面有很强的优势,还有head和tail等文件处理工具的使用,grep也可实现文本的搜索.上述命令都可以在后面直接加文件名,不需要在前面使用cat添加管道,cat会影响命令执行的效率,本文中cat -n /etc/services实在测试时可很方便的查看到具体的行号. 二.详解 1.查看文件的第20行到30行的内容 以系统的/etc/services为例,cat -n /etc/services可以查看文件的行号. (1)方法一:head和tail head -

在shell中,文件分界符(通常写成EOF,你也可以写成FOE或者其他任何字符串)紧跟在<<符号后,意思是分界符后的内容将被当做标准输入传给<<前面的命令,直到再次在独立的一行遇到这个文件分界符(EOF或者其他任何字符,注意是独立一行,EOF前面不能有空格).通常这个命令是cat,用来实现一些多行的屏幕输入或者创建一些临时文件. 1.最简单的用法 root@ribbonchen-laptop:~# cat<<EOF > ha > haha > haha

用shell实现linux系统文件清理工具 1:原始需求 在系统运维中,会产生大量应用备份文件.落地文件等,这些文件需要定时清理.一般来说,都是使用crontab 拉起一个脚本来清理.类似这样: 30 0,12 * * * find /data02/rating_bak/loading -type f -name "gprs_ol*gz" -atime +1 -exec rm {} \; 但是如果机器很多,目录多,这种方式非常不利于管理,而且也没有一个清晰的配置,来知道什么机器上哪个目

一.sed(以行为单位处理文件) sed意为流编辑器(Stream Editor),在Shell脚本和Makefile中作为过滤器使用非常普遍,也就是把前一个程序的输出引入sed的输入,经过一系列编辑命令转换为另一种格式输出.sed和vi都源于早期UNIX的ed工具,所以很多sed命令和vi的末行命令是相同的. 0.sed命令格式 sed命令行的基本格式为: sed option 'script' file1 file2 ... sed option -f scriptfile file1 fi

功能描述:清理/var/log/路径下的messages历史日志文件(messages-date),但不清理messages文件本身 依赖要求:服务器上安装了bc模块 # clean_logs.sh #!/bin/bash # ========================================== # 功能:清理/var/log/路径下的messages历史日志文件(messages-date),但不清理messages文件本身 # 方法:配合crontab作为定时任务每天执行 #

在shell编程中经常需要获取远程服务器文件.手工操作中使用scp命令完成.为避免脚本执行scp输入密码进行交互,需先建立本机服务器当前用户和远程服务器指定用户的信任关系.具体代码见操作实例,重点关注getRemoteServerFile()函数,编程中可单独提取使用. 基础知识 1.scp,用于远程文件拷贝 #本地文件或目录上传到远程服务器,文件和目录用绝对路径 scp local_file remote_username@remote_ip:remote_dir scp local_file