cron_action
crontab using shell script to automate linux system maintenance tasks
Linux中用crontab例行工作安排_Linux教程_Linux公社-Linux系统门户网站 http://www.linuxidc.com/Linux/2013-06/85441.htm
列出crontab文件:crontab -l
编辑crontab文件:crontab -e
删除crontab文件:crontab -r
新增或修改一行
ubuntu@VM---ubuntu:~$ crontab -e
crontab: installing new crontab
每隔1分钟执行php脚本文件
*/ * * * * php w.php
<?php
$re = fopen(time().'.w','w');
fwrite($re,'www-'.date('Y-m-d H:i:s'));
Linux Crontab 定时任务 命令详解_Linux教程_Linux公社-Linux系统门户网站 http://www.linuxidc.com/Linux/2016-02/128323.htm
minute hour day month dayofweek command
minute - 从0到59的整数
hour - 从0到23的整数
day - 从1到31的整数 (必须是指定月份的有效日期)
month - 从1到12的整数 (或如Jan或Feb简写的月份)
dayofweek - 从0到7的整数,0或7用来描述周日 (或用Sun或Mon简写来表示)
command - 需要执行的命令(可用as ls /proc >> /tmp/proc或 执行自定义脚本的命令)
root表示以root用户身份来运行
run-parts表示后面跟着的是一个文件夹,要执行的是该文件夹下的所有脚本
对于以上各语句,星号(*)表示所有可用的值。例如*在指代month时表示每月执行(需要符合其他限制条件)该命令。
整数间的连字号(-)表示整数列,例如1-4意思是整数1,2,3,4
指定数值由逗号分开。如:3,4,6,8表示这四个指定整数。
符号“/”指定步进设置。“/<interger>”表示步进值。如0-59/2定义每两分钟执行一次。步进值也可用星号表示。如*/3用来运行每三个月份运行指定任务。
以“#”开头的为注释行,不会被执行。
51 3 * * * date ww >> /var/www/wb.log
ubuntu@VM---ubuntu:/var/www$ crontab -e
*/ * * * * date >> /var/www/w.log
* * * date >> /var/www/wb.log # record the memory usage of the system every monday
# at :30AM in the file /tmp/meminfo
* * mon cat /proc/meminfo >> /tmp/meminfo
# run custom scrīpt the first day of every month at :10AM
* * /root/scrīpts/backup.sh
每隔一分钟写日志
ubuntu@VM---ubuntu:/var/www/crontab$ cat /etc/issue
Ubuntu 16.04. LTS \n \l ubuntu@VM---ubuntu:/var/www/crontab$ crontab -e
*/ * * * * date >> /var/www/w.log # Edit this file to introduce tasks to be run by cron.
#
# Each task to run has to be defined through a single line
# indicating with different fields when the task will be run
# and what command to run for the task
#
# To define the time you can provide concrete values for
# minute (m), hour (h), day of month (dom), month (mon),
# and day of week (dow) or use '*' in these fields (for 'any').#
# Notice that tasks will be started based on the cron's system
# daemon's notion of time and timezones.
#
# Output of the crontab jobs (including errors) is sent through
# email to the user the crontab file belongs to (unless redirected).
#
# For example, you can run a backup of all your user accounts
# at a.m every week with:
# * * tar -zcf /var/backups/home.tgz /home/
#
# For more information see the manual pages of crontab() and cron()
#
# m h dom mon dow command
~
~
~
ubuntu@VM---ubuntu:/var/www/crontab$ cat /var/www/w.log
Wed May :: CST
Wed May :: CST
Wed May :: CST
ubuntu@VM---ubuntu:/var/www/crontab$ cat /var/www/w.log
Wed May :: CST
Wed May :: CST
Wed May :: CST
Wed May :: CST
ubuntu@VM---ubuntu:/var/www/crontab$
w
虽然可以定时1秒执行.sh 去更新.html 但是问题是 能否 通过浏览器的http去执行.sh呢?
演示使用 shell 脚本创建 HTML 报告的示例脚本
Sample script to demonstrate the creation of an HTML report using shell scripting
#!/bin/bash
# Sample script to demonstrate the creation of an HTML report using shell scripting
# Web directory
WEB_DIR=/var/www/html
# A little CSS and table layout to make the report look a little nicer
echo "<HTML>
<HEAD>
<style>
.titulo{font-size: 1em; color: white; background:#0863CE; padding: .1em .2em;}
table
{
border-collapse:collapse;
}
table, td, th
{
border:1px solid black;
}
</style>
<meta http-equiv='Content-Type' content='text/html; charset=UTF-8' />
</HEAD>
<BODY>" > $WEB_DIR/report.html
# View hostname and insert it at the top of the html body
HOST=$(hostname)
echo "Filesystem usage for host <strong>$HOST</strong><br>
Last updated: <strong>$(date)</strong><br><br>
<table border=''>
<tr><th class='titulo'>Filesystem</td>
<th class='titulo'>Size</td>
<th class='titulo'>Use %</td>
</tr>" >> $WEB_DIR/report.html
# Read the output of df -h line by line
while read line; do
echo "<tr><td align='center'>" >> $WEB_DIR/report.html
echo $line | awk '{print $1}' >> $WEB_DIR/report.html
echo "</td><td align='center'>" >> $WEB_DIR/report.html
echo $line | awk '{print $2}' >> $WEB_DIR/report.html
echo "</td><td align='center'>" >> $WEB_DIR/report.html
echo $line | awk '{print $5}' >> $WEB_DIR/report.html
echo "</td></tr>" >> $WEB_DIR/report.html
done < <(df -h | grep -vi filesystem)
echo "</table></BODY></HTML>" >> $WEB_DIR/report.html
ubuntu@VM---ubuntu:/var/www$ mkdir auto.sh
ubuntu@VM---ubuntu:/var/www$ mkdir auto.sh
mkdir: cannot create directory 'auto.sh': File exists
ubuntu@VM---ubuntu:/var/www$ ls
auto.sh html html0302am php_funclist.txt share vimrc
ubuntu@VM---ubuntu:/var/www$ cd auto.sh
ubuntu@VM---ubuntu:/var/www/auto.sh$ ls
ubuntu@VM---ubuntu:/var/www/auto.sh$ vim auto_tasks.sh
ubuntu@VM---ubuntu:/var/www/auto.sh$ chmod +x auto_tasks.sh
ubuntu@VM---ubuntu:/var/www/auto.sh$ ./auto_tasks.sh
UPDATING LOCAL FILE DATABASE
updatedb: can not open a temporary file for `/var/lib/mlocate/mlocate.db'
The local file database was not updated correctly. LOOKING FOR FILES WITH PERMISSIONS CHECKING FILE SYSTEM USAGE
ubuntu@VM---ubuntu:/var/www/auto.sh$ ./auto_tasks.sh
UPDATING LOCAL FILE DATABASE
updatedb: can not open a temporary file for `/var/lib/mlocate/mlocate.db'
The local file database was not updated correctly. LOOKING FOR FILES WITH PERMISSIONS CHECKING FILE SYSTEM USAGE
ubuntu@VM---ubuntu:/var/www/auto.sh$ sudo ./auto_tasks.sh
UPDATING LOCAL FILE DATABASE
The local file database was updated correctly. LOOKING FOR FILES WITH PERMISSIONS CHECKING FILE SYSTEM USAGE
ubuntu@VM---ubuntu:/var/www/auto.sh$ cd /
ubuntu@VM---ubuntu:/$ vim /var/lib/mlocate/mlocate.db
ubuntu@VM---ubuntu:/$ vim auto_tasksb.sh
ubuntu@VM---ubuntu:/$ cd -
/var/www/auto.sh
ubuntu@VM---ubuntu:/var/www/auto.sh$ vim auto_tasksb.sh
ubuntu@VM---ubuntu:/var/www/auto.sh$ chmod +x auto_tasksb.sh
ubuntu@VM---ubuntu:/var/www/auto.sh$ ./auto_tasksb.sh
UPDATING LOCAL FILE DATABASE
updatedb: can not open a temporary file for `/var/lib/mlocate/mlocate.db'
The local file database was not updated correctly. LOOKING FOR FILES WITH PERMISSIONS CHECKING FILE SYSTEM USAGE
ubuntu@VM---ubuntu:/var/www/auto.sh$ sudo ./auto_tasksb.sh
UPDATING LOCAL FILE DATABASE
The local file database was updated correctly. LOOKING FOR FILES WITH PERMISSIONS CHECKING FILE SYSTEM USAGE
ubuntu@VM---ubuntu:/var/www/auto.sh$ vim filesystem_usage.sh
ubuntu@VM---ubuntu:/var/www/auto.sh$ chmod +x filesystem_usage.sh
ubuntu@VM---ubuntu:/var/www/auto.sh$ ./filesystem_usage.sh
ubuntu@VM---ubuntu:/var/www/auto.sh$ cd /
ubuntu@VM---ubuntu:/$ cd var/www/html
ubuntu@VM---ubuntu:/var/www/html$ ls
#!/bin/bash
# Sample script to automate tasks:
# -Update local file database:
echo -e "\e[4;32mUPDATING LOCAL FILE DATABASE\e[0m"
updatedb
if [ $? == ]; then
echo "The local file database was updated correctly."
else
echo "The local file database was not updated correctly."
fi
echo ""
# -Find and / or delete files with permissions.
echo -e "\e[4;32mLOOKING FOR FILES WITH 777 PERMISSIONS\e[0m"
# Enable either option (comment out the other line), but not both.
# Option : Delete files without prompting for confirmation. Assumes GNU version of find.
#find -type f -perm -delete
# Option : Ask for confirmation before deleting files. More portable across systems.
find -type f -perm -exec rm -i {} +;
echo ""
# -Alert when file system usage surpasses a defined limit
echo -e "\e[4;32mCHECKING FILE SYSTEM USAGE\e[0m"
THRESHOLD=
while read line; do
# This variable stores the file system path as a string
FILESYSTEM=$(echo $line | awk '{print $1}')
# This variable stores the use percentage (XX%)
PERCENTAGE=$(echo $line | awk '{print $5}')
# Use percentage without the % sign.
USAGE=${PERCENTAGE%?}
if [ $USAGE -gt $THRESHOLD ]; then
echo "The remaining available space in $FILESYSTEM is critically low. Used: $PERCENTAGE"
fi
done < <(df -h --total | grep -vi filesystem)
#!/bin/bash
# 自动化任务示例脚本:
# -更新本地文件数据库:
echo -e "\e[4;32mUPDATING LOCAL FILE DATABASE\e[0m"
updatedb
if [ $? == ]; then
echo "The local file database was updated correctly."
else
echo "The local file database was not updated correctly."
fi
echo ""
# -查找 和/或 删除有 权限的文件。
echo -e "\e[4;32mLOOKING FOR FILES WITH 777 PERMISSIONS\e[0m"
# Enable either option (comment out the other line), but not both.
# Option : Delete files without prompting for confirmation. Assumes GNU version of find.
#find -type f -perm -delete
# Option : Ask for confirmation before deleting files. More portable across systems.
find -type f -perm -exec rm -i {} +;
echo ""
# -文件系统使用率超过定义的阀值时发出警告
echo -e "\e[4;32mCHECKING FILE SYSTEM USAGE\e[0m"
THRESHOLD=
while read line; do
# This variable stores the file system path as a string
FILESYSTEM=$(echo $line | awk '{print $1}')
# This variable stores the use percentage (XX%)
PERCENTAGE=$(echo $line | awk '{print $5}')
# Use percentage without the % sign.
USAGE=${PERCENTAGE%?}
if [ $USAGE -gt $THRESHOLD ]; then
echo "The remaining available space in $FILESYSTEM is critically low. Used: $PERCENTAGE"
fi
done < <(df -h --total | grep -vi filesystem)
RHCE 系列(四): 使用 Shell 脚本自动化 Linux 系统维护任务-技术 ◆ 学习|Linux.中国-开源社区
https://linux.cn/article-6526-1.html
Using Shell Scripting to Automate Linux System Maintenance Tasks - Part 4
http://www.tecmint.com/using-shell-script-to-automate-linux-system-maintenance-tasks/
well@well:/home$ ll
total
drwxr-xr-x. well well Apr : ./
drwxr-xr-x. root root Apr : ../
drwxr-xr-x. well well Apr : bin/
drwxr-xr-x. well well Apr : etc/
-rw-rw-r--. well well Apr : file.img
drwxr-xr-x. well well Apr : project/
-rwxrwxr-x. well well Mar : readme.php*
drwxr-xr-x. well well Apr : well/
well@well:/home$ mkdir auto.scripts
well@well:/home$ ll
total
drwxr-xr-x. well well Apr : ./
drwxr-xr-x. root root Apr : ../
drwxrwxr-x. well well Apr : auto.scripts/
drwxr-xr-x. well well Apr : bin/
drwxr-xr-x. well well Apr : etc/
-rw-rw-r--. well well Apr : file.img
drwxr-xr-x. well well Apr : project/
-rwxrwxr-x. well well Mar : readme.php*
drwxr-xr-x. well well Apr : well/
well@well:/home$ cd auto.scripts
well@well:/home/auto.scripts$ ll
total
drwxrwxr-x. well well Apr : ./
drwxr-xr-x. well well Apr : ../
well@well:/home/auto.scripts$ vim system_info.sh
well@well:/home/auto.scripts$ chmod +x system_info.sh
well@well:/home/auto.scripts$ system_info.sh
-bash: system_info.sh: command not found
well@well:/home/auto.scripts$ ./system_info.sh
***** HOSTNAME INFORMATION *****
./system_info.sh: line : hostnamectl: command not found ***** FILE SYSTEM DISK SPACE USAGE *****
Filesystem Size Used Avail Use% Mounted on
rootfs 50G .5G 45G % /
overlay 50G .5G 45G % /
tmpfs .9G .9G % /dev
tmpfs .9G .9G % /sys/fs/cgroup
/dev/mapper/cl-root 50G .5G 45G % /etc/hosts
shm 64M 64M % /dev/shm
/dev/mapper/cl-home 739G .2G 736G % /home/etc/project
tmpfs .9G .9G % /proc/kcore
tmpfs .9G .9G % /proc/timer_list
tmpfs .9G .9G % /proc/timer_stats
tmpfs .9G .9G % /proc/sched_debug
tmpfs .9G .9G % /sys/firmware ***** FREE AND USED MEMORY *****
total used free shared buffers cached
Mem:
-/+ buffers/cache:
Swap: ***** SYSTEM UPTIME AND LOAD *****
:: up day, :, user, load average: 0.06, 0.04, 0.05 ***** CURRENTLY LOGGED-IN USERS *****
well pts/ Apr : (192.168.95.251) ***** TOP MEMORY-CONSUMING PROCESSES *****
%MEM %CPU COMMAND
0.0 0.0 sshd
0.0 0.0 bash
0.0 0.0 bash
0.0 0.0 sshd
0.0 0.0 system_info.sh Done.
well@well:/home/auto.scripts$ vim system_info.sh chmod +x system_info.sh ./system_info.sh
#!/bin/bash
# RHCE 系列第四部分示例脚本
# 该脚本会返回以下这些系统信息:
# -主机名称:
echo -e "\e[31;43m***** HOSTNAME INFORMATION *****\e[0m"
hostnamectl
echo ""
# -文件系统磁盘空间使用:
echo -e "\e[31;43m***** FILE SYSTEM DISK SPACE USAGE *****\e[0m"
df -h
echo ""
# -系统空闲和使用中的内存:
echo -e "\e[31;43m ***** FREE AND USED MEMORY *****\e[0m"
free
echo ""
# -系统启动时间:
echo -e "\e[31;43m***** SYSTEM UPTIME AND LOAD *****\e[0m"
uptime
echo ""
# -登录的用户:
echo -e "\e[31;43m***** CURRENTLY LOGGED-IN USERS *****\e[0m"
who
echo ""
# -使用内存最多的 个进程
echo -e "\e[31;43m***** TOP 5 MEMORY-CONSUMING PROCESSES *****\e[0m"
ps -eo %mem,%cpu,comm --sort=-%mem | head -n
echo ""
echo -e "\e[1;32mDone.\e[0m"
#!/bin/bash
# Sample script written for Part of the RHCE series
# This script will return the following set of system information:
# -Hostname information:
echo -e "\e[31;43m***** HOSTNAME INFORMATION *****\e[0m"
hostnamectl
echo ""
# -File system disk space usage:
echo -e "\e[31;43m***** FILE SYSTEM DISK SPACE USAGE *****\e[0m"
df -h
echo ""
# -Free and used memory in the system:
echo -e "\e[31;43m ***** FREE AND USED MEMORY *****\e[0m"
free
echo ""
# -System uptime and load:
echo -e "\e[31;43m***** SYSTEM UPTIME AND LOAD *****\e[0m"
uptime
echo ""
# -Logged-in users:
echo -e "\e[31;43m***** CURRENTLY LOGGED-IN USERS *****\e[0m"
who
echo ""
# -Top processes as far as memory usage is concerned
echo -e "\e[31;43m***** TOP 5 MEMORY-CONSUMING PROCESSES *****\e[0m"
ps -eo %mem,%cpu,comm --sort=-%mem | head -n
echo ""
echo -e "\e[1;32mDone.\e[0m"
参数扩展 parameter expansion
查看可用变量列表
[root@bigdata-server- xl_test]# printenv
XDG_SESSION_ID=
HOSTNAME=bigdata-server-
TERM=xterm
SHELL=/bin/bash
HISTSIZE=
SSH_CLIENT=220.112.112.112
SSH_TTY=/dev/pts/
USER=root
LS_COLORS=rs=:di=;:ln=;:mh=:pi=;:so=;:do=;:bd=;;:cd=;;:or=;;:mi=;;;:su=;:sg=;:ca=;:tw=;:ow=;:st=;:ex=;:*.tar=;:*.tgz=;:*.arc=;:*.arj=;:*.taz=;:*.lha=;:*.lz4=;:*.lzh=;:*.lzma=;:*.tlz=;:*.txz=;:*.tzo=;:*.t7z=;:*.zip=;:*.z=;:*.Z=;:*.dz=;:*.gz=;:*.lrz=;:*.lz=;:*.lzo=;:*.xz=;:*.bz2=;:*.bz=;:*.tbz=;:*.tbz2=;:*.tz=;:*.deb=;:*.rpm=;:*.jar=;:*.war=;:*.ear=;:*.sar=;:*.rar=;:*.alz=;:*.ace=;:*.zoo=;:*.cpio=;:*.7z=;:*.rz=;:*.cab=;:*.jpg=;:*.jpeg=;:*.gif=;:*.bmp=;:*.pbm=;:*.pgm=;:*.ppm=;:*.tga=;:*.xbm=;:*.xpm=;:*.tif=;:*.tiff=;:*.png=;:*.svg=;:*.svgz=;:*.mng=;:*.pcx=;:*.mov=;:*.mpg=;:*.mpeg=;:*.m2v=;:*.mkv=;:*.webm=;:*.ogm=;:*.mp4=;:*.m4v=;:*.mp4v=;:*.vob=;:*.qt=;:*.nuv=;:*.wmv=;:*.asf=;:*.rm=;:*.rmvb=;:*.flc=;:*.avi=;:*.fli=;:*.flv=;:*.gl=;:*.dl=;:*.xcf=;:*.xwd=;:*.yuv=;:*.cgm=;:*.emf=;:*.axv=;:*.anx=;:*.ogv=;:*.ogx=;:*.aac=;:*.au=;:*.flac=;:*.mid=;:*.midi=;:*.mka=;:*.mp3=;:*.mpc=;:*.ogg=;:*.ra=;:*.wav=;:*.axa=;:*.oga=;:*.spx=;:*.xspf=;:
MAIL=/var/spool/mail/root
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
PWD=/xl_test
LANG=en_US.UTF-
HISTCONTROL=ignoredups
SHLVL=
HOME=/root
LOGNAME=root
SSH_CONNECTION=220.112.17.99 172.18.245.65
LESSOPEN=||/usr/bin/lesspipe.sh %s
XDG_RUNTIME_DIR=/run/user/
_=/usr/bin/printenv
OLDPWD=/
[root@bigdata-server- xl_test]# echo $HOSTNAME
bigdata-server-
[root@bigdata-server- xl_test]# echo $LANG
en_US.UTF-
[root@bigdata-server- xl_test]#
shell
【quote expansion 引用 + 扩展】
对扩展的抑制程度
double single quote
[root@bigdata-server- xl_test]# echo text ~ /*.txt {a,b} $(echo foo) $((2+2)) $LANG
text /root /*.txt a b foo 4 en_US.UTF-8
[root@bigdata-server-02 xl_test]# echo "text ~ /*.txt {a,b} $(echo foo) $((2+2)) $LANG"
text ~ /*.txt {a,b} foo 4 en_US.UTF-8
[root@bigdata-server-02 xl_test]# echo 'text ~ /*.txt {a,b} $(echo foo) $((2+2)) $LANG'
text ~ /*.txt {a,b} $(echo foo) $((2+2)) $LANG
[root@bigdata-server-02 xl_test]#
磁盘监控
df -h --total | grep -vi filesystem 异常url监控
[root@hadoop1 ~]# cd /home/data/crontab_chk_url/personas/trunk/log
[root@hadoop1 log]# ll -as
总用量 34740
4 drwxr-xr-x 2 root root 4096 12月 1 09:00 .
4 drwxr-xr-x 11 root root 4096 11月 29 10:46 ..
11544 -rw-r--r-- 1 root root 11820577 11月 29 21:45 20171129chk_url_status_ordertab_notexpire.py.log
17880 -rw-r--r-- 1 root root 18308704 11月 30 05:30 20171129chk_url_status.py.log
3504 -rw-r--r-- 1 root root 3586863 11月 30 21:21 20171130chk_url_status_ordertab_notexpire.py.log
1768 -rw-r--r-- 1 root root 1803415 12月 1 00:15 20171130chk_url_status.py.log
24 -rw-r--r-- 1 root root 23272 12月 1 09:00 20171201chk_url_status_ordertab_notexpire.py.log
4 -rw-r--r-- 1 root root 2074 12月 1 09:00 20171201chk_url_status.py.log
4 -rw-r--r-- 1 root root 3425 11月 27 19:18 direct.log
4 -rw-r--r-- 1 root root 2102 12月 1 09:00 ghostdriver.log
0 -rw-r--r-- 1 root root 0 11月 27 19:18 __init__.py
[root@hadoop1 log]# head 20171201chk_url_status.py.log
Fri, 01 Dec 2017 00:00:03 chk_url_status.py[line:59] INFO 无待检测url,程序退出[thread:139683911780160][process:6746]
Fri, 01 Dec 2017 01:00:03 chk_url_status.py[line:59] INFO 无待检测url,程序退出[thread:140432231032640][process:7173]
Fri, 01 Dec 2017 02:00:42 chk_url_status.py[line:59] INFO 无待检测url,程序退出[thread:140236969568064][process:7202]
Fri, 01 Dec 2017 03:00:05 chk_url_status.py[line:59] INFO 无待检测url,程序退出[thread:140363364759360][process:7230]
Fri, 01 Dec 2017 04:00:02 chk_url_status.py[line:59] INFO 无待检测url,程序退出[thread:140475247957824][process:7285]
Fri, 01 Dec 2017 05:00:02 chk_url_status.py[line:59] INFO 无待检测url,程序退出[thread:140162254333760][process:7312]
Fri, 01 Dec 2017 06:00:03 chk_url_status.py[line:59] INFO 无待检测url,程序退出[thread:139798988887872][process:7338]
Fri, 01 Dec 2017 07:00:02 chk_url_status.py[line:59] INFO 无待检测url,程序退出[thread:140112010348352][process:7365]
Fri, 01 Dec 2017 08:00:02 chk_url_status.py[line:59] INFO 无待检测url,程序退出[thread:139676651661120][process:7391]
Fri, 01 Dec 2017 09:00:02 chk_url_status.py[line:151] INFO 20171201 09:00:02 threadID 140520790071040 www.cntrades.com/b2b/touqifa/sell/page-6.html [thread:140520790071040][process:7583]
[root@hadoop1 log]# crontab -l
0 */1 * * * python /home/data/crontab_chk_url/personas/trunk/plugins/spider/chk_url_status.py &> /dev/null
[root@hadoop1 log]#
http://linuxtools-rst.readthedocs.io/zh_CN/latest/tool/crontab.html
鳥哥的 Linux 私房菜 -- 第十五章、例行性工作排程(crontab) http://linux.vbird.org/linux_basic/0430cron.php#whatiscron_type
第十五章、例行性工作排程(crontab)
學習了基礎篇也一陣子了,你會發現到為什麼系統常常會主動的進行一些任務?這些任務到底是誰在設定工作的? 如果你想要讓自己設計的備份程式可以自動的在系統底下執行,而不需要手動來啟動他,又該如何處置? 這些例行的工作可能又分為『單一』工作與『循環』工作,在系統內又是哪些服務在負責? 還有還有,如果你想要每年在老婆的生日前一天就發出一封信件提醒自己不要忘記,可以辦的到嗎? 嘿嘿!這些種種要如何處理,就看看這一章先!
15.1 什麼是例行性工作排程
每個人或多或少都有一些約會或者是工作,有的工作是例行性的, 例如每年一次的加薪、每個月一次的工作報告、每週一次的午餐會報、每天需要的打卡等等; 有的工作則是臨時發生的,例如剛好總公司有高官來訪,需要你準備演講器材等等! 用在生活上面,例如每年的愛人的生日、每天的起床時間等等、還有突發性的 3C 用品大降價 (啊!真希望天天都有!) 等等囉。
像上面這些例行性工作,通常你得要記錄在行事曆上面才能避免忘記!不過,由於我們常常在電腦前面的緣故, 如果電腦系統能夠主動的通知我們的話,那麼不就輕鬆多了!嘿嘿!這個時候 Linux 的例行性工作排程就可以派上場了! 在不考慮硬體與我們伺服器的連結狀態下,我們的 Linux 可以幫你提醒很多任務,例如:每一天早上 8:00 鐘要伺服器連接上音響,並啟動音樂來喚你起床;而中午 12:00 希望 Linux 可以發一封信到你的郵件信箱,提醒你可以去吃午餐了; 另外,在每年的你愛人生日的前一天,先發封信提醒你,以免忘記這麼重要的一天。
那麼 Linux 的例行性工作是如何進行排程的呢?所謂的排程就是將這些工作安排執行的流程之意! 咱們的 Linux 排程就是透過 crontab 與 at 這兩個東西!這兩個玩意兒有啥異同?就讓我們來瞧瞧先!
15.1.1 Linux 工作排程的種類: at, cron
從上面的說明當中,我們可以很清楚的發現兩種工作排程的方式:
- 一種是例行性的,就是每隔一定的週期要來辦的事項;
- 一種是突發性的,就是這次做完以後就沒有的那一種 ( 3C 大降價...)
那麼在 Linux 底下如何達到這兩個功能呢?那就得使用 at 與 crontab 這兩個好東西囉!
- at :at 是個可以處理僅執行一次就結束排程的指令,不過要執行 at 時, 必須要有 atd 這個服務 (第十七章) 的支援才行。在某些新版的 distributions 中,atd 可能預設並沒有啟動,那麼 at 這個指令就會失效呢!不過我們的 CentOS 預設是啟動的!
- crontab :crontab 這個指令所設定的工作將會循環的一直進行下去! 可循環的時間為分鐘、小時、每週、每月或每年等。crontab 除了可以使用指令執行外,亦可編輯 /etc/crontab 來支援。 至於讓 crontab 可以生效的服務則是 crond 這個服務喔!
底下我們先來談一談 Linux 的系統到底在做什麼事情,怎麼有若干多的工作排程在進行呢?然後再回來談一談 at 與 crontab 這兩個好東西!
15.1.2 CentOS Linux 系統上常見的例行性工作
如果你曾經使用過 Linux 一陣子了,那麼你大概會發現到 Linux 會主動的幫我們進行一些工作呢! 比方說自動的進行線上更新 (on-line update)、自動的進行 updatedb (第六章談到的 locate 指令) 更新檔名資料庫、自動的作登錄檔分析 (所以 root 常常會收到標題為 logwatch 的信件) 等等。這是由於系統要正常運作的話, 某些在背景底下的工作必須要定時進行的緣故。基本上 Linux 系統常見的例行性任務有:
- 進行登錄檔的輪替 (log rotate):
Linux 會主動的將系統所發生的各種資訊都記錄下來,這就是登錄檔 (第十八章)。 由於系統會一直記錄登錄資訊,所以登錄檔將會越來越大!我們知道大型檔案不但佔容量還會造成讀寫效能的困擾, 因此適時的將登錄檔資料挪一挪,讓舊的資料與新的資料分別存放,則比較可以有效的記錄登錄資訊。這就是 log rotate 的任務!這也是系統必要的例行任務; - 登錄檔分析 logwatch 的任務:
如果系統發生了軟體問題、硬體錯誤、資安問題等,絕大部分的錯誤資訊都會被記錄到登錄檔中, 因此系統管理員的重要任務之一就是分析登錄檔。但你不可能手動透過 vim 等軟體去檢視登錄檔,因為資料太複雜了! 我們的 CentOS 提供了一隻程式『 logwatch 』來主動分析登錄資訊,所以你會發現,你的 root 老是會收到標題為 logwatch 的信件,那是正常的!你最好也能夠看看該信件的內容喔! - 建立 locate 的資料庫:
在第六章我們談到的 locate 指令時, 我們知道該指令是透過已經存在的檔名資料庫來進行系統上檔名的查詢。我們的檔名資料庫是放置到 /var/lib/mlocate/ 中。 問題是,這個資料庫怎麼會自動更新啊?嘿嘿!這就是系統的例行性工作所產生的效果啦!系統會主動的進行 updatedb 喔! - man page 查詢資料庫的建立:
與 locate 資料庫類似的,可提供快速查詢的 man page db 也是個資料庫,但如果要使用 man page 資料庫時,就得要執行 mandb 才能夠建立好啊! 而這個 man page 資料庫也是透過系統的例行性工作排程來自動執行的哩! - RPM 軟體登錄檔的建立:
RPM (第二十二章) 是一種軟體管理的機制。由於系統可能會常常變更軟體, 包括軟體的新安裝、非經常性更新等,都會造成軟體檔名的差異。為了方便未來追蹤,系統也幫我們將檔名作個排序的記錄呢! 有時候系統也會透過排程來幫忙 RPM 資料庫的重新建置喔! - 移除暫存檔:
某些軟體在運作中會產生一些暫存檔,但是當這個軟體關閉時,這些暫存檔可能並不會主動的被移除。 有些暫存檔則有時間性,如果超過一段時間後,這個暫存檔就沒有效用了,此時移除這些暫存檔就是一件重要的工作! 否則磁碟容量會被耗光。系統透過例行性工作排程執行名為 tmpwatch 的指令來刪除這些暫存檔呢! - 與網路服務有關的分析行為:
如果你有安裝類似 WWW 伺服器軟體 (一個名為 apache 的軟體),那麼你的 Linux 系統通常就會主動的分析該軟體的登錄檔。 同時某些憑證與認證的網路資訊是否過期的問題,我們的 Linux 系統也會很親和的幫你進行自動檢查!
其實你的系統會進行的例行性工作與你安裝的軟體多寡有關,如果你安裝過多的軟體,某些服務功能的軟體都會附上分析工具, 那麼你的系統就會多出一些例行性工作囉!像鳥哥的主機還多加了很多自己撰寫的分析工具,以及其他第三方協力軟體的分析軟體, 嘿嘿!俺的 Linux 工作量可是非常大的哩!因為有這麼多的工作需要進行,所以我們當然得要瞭解例行性工作的處理方式囉!
15.2 僅執行一次的工作排程
首先,我們先來談談單一工作排程的運作,那就是 at 這個指令的運作!
15.2.1 atd 的啟動與 at 運作的方式
要使用單一工作排程時,我們的 Linux 系統上面必須要有負責這個排程的服務,那就是 atd 這個玩意兒。 不過並非所有的 Linux distributions 都預設會把他打開的,所以呢,某些時刻我們必須要手動將他啟用才行。 啟用的方法很簡單,就是這樣:
[root@study ~]# systemctl restart atd # 重新啟動 atd 這個服務 |
重點就是要看到上表中的特殊字體,包括『 enabled 』以及『 running 』時,這才是 atd 真的有在運作的意思喔!這部份我們在第十七章會談及。
- at 的運作方式
既然是工作排程,那麼應該會有產生工作的方式,並且將這些工作排進行程表中囉!OK!那麼產生工作的方式是怎麼進行的? 事實上,我們使用 at 這個指令來產生所要運作的工作,並將這個工作以文字檔的方式寫入 /var/spool/at/ 目錄內,該工作便能等待 atd 這個服務的取用與執行了。就這麼簡單。
不過,並不是所有的人都可以進行 at 工作排程喔!為什麼?因為安全的理由啊~ 很多主機被所謂的『綁架』後,最常發現的就是他們的系統當中多了很多的怪客程式 (cracker program), 這些程式非常可能運用工作排程來執行或蒐集系統資訊,並定時的回報給怪客團體! 所以囉,除非是你認可的帳號,否則先不要讓他們使用 at 吧!那怎麼達到使用 at 的列管呢?
我們可以利用 /etc/at.allow 與 /etc/at.deny 這兩個檔案來進行 at 的使用限制呢! 加上這兩個檔案後, at 的工作情況其實是這樣的:
- 先找尋 /etc/at.allow 這個檔案,寫在這個檔案中的使用者才能使用 at ,沒有在這個檔案中的使用者則不能使用 at (即使沒有寫在 at.deny 當中);
- 如果 /etc/at.allow 不存在,就尋找 /etc/at.deny 這個檔案,若寫在這個 at.deny 的使用者則不能使用 at ,而沒有在這個 at.deny 檔案中的使用者,就可以使用 at 咯;
- 如果兩個檔案都不存在,那麼只有 root 可以使用 at 這個指令。
透過這個說明,我們知道 /etc/at.allow 是管理較為嚴格的方式,而 /etc/at.deny 則較為鬆散 (因為帳號沒有在該檔案中,就能夠執行 at 了)。在一般的 distributions 當中,由於假設系統上的所有用戶都是可信任的, 因此系統通常會保留一個空的 /etc/at.deny 檔案,意思是允許所有人使用 at 指令的意思 (您可以自行檢查一下該檔案)。 不過,萬一你不希望有某些使用者使用 at 的話,將那個使用者的帳號寫入 /etc/at.deny 即可! 一個帳號寫一行。
15.2.2 實際運作單一工作排程
單一工作排程的進行就使用 at 這個指令囉!這個指令的運作非常簡單!將 at 加上一個時間即可!基本的語法如下:
[root@study ~]# at [-mldv] TIME |
老實說,這個 at 指令的下達最重要的地方在於『時間』的指定了!鳥哥喜歡使用『 now + ... 』 的方式來定義現在過多少時間再進行工作,但有時也需要定義特定的時間點來進行!底下的範例先看看囉!
範例一:再過五分鐘後,將 /root/.bashrc 寄給 root 自己 |
事實上,當我們使用 at 時會進入一個 at shell 的環境來讓使用者下達工作指令,此時,建議你最好使用絕對路徑來下達你的指令,比較不會有問題喔!由於指令的下達與 PATH 變數有關, 同時與當時的工作目錄也有關連 (如果有牽涉到檔案的話),因此使用絕對路徑來下達指令,會是比較一勞永逸的方法。 為什麼呢?舉例來說,你在 /tmp 下達『 at now 』然後輸入『 mail -s "test" root < .bashrc 』, 問一下,那個 .bashrc 的檔案會是在哪裡?答案是『 /tmp/.bashrc 』!因為 at 在運作時,會跑到當時下達 at 指令的那個工作目錄的緣故啊!
有些朋友會希望『我要在某某時刻,在我的終端機顯示出 Hello 的字樣』,然後就在 at 裡面下達這樣的資訊『 echo "Hello" 』。等到時間到了,卻發現沒有任何訊息在螢幕上顯示,這是啥原因啊?這是因為 at 的執行與終端機環境無關,而所有 standard output/standard error output 都會傳送到執行者的 mailbox 去啦!所以在終端機當然看不到任何資訊。那怎辦?沒關係, 可以透過終端機的裝置來處理!假如你在 tty1 登入,則可以使用『 echo "Hello" > /dev/tty1 』來取代。
Tips要注意的是,如果在 at shell 內的指令並沒有任何的訊息輸出,那麼 at 預設不會發 email 給執行者的。 如果你想要讓 at 無論如何都發一封 email 告知你是否執行了指令,那麼可以使用『 at -m 時間格式 』來下達指令喔! at 就會傳送一個訊息給執行者,而不論該指令執行有無訊息輸出了!
at 有另外一個很棒的優點,那就是『背景執行』的功能了!什麼是背景執行啊?很難瞭解嗎?其實與 bash 的 nohup (第十六章) 類似啦! 鳥哥提我自己的幾個例子來給您聽聽,您就瞭了!
- 離線繼續工作的任務:鳥哥初次接觸 Unix 為的是要跑空氣品質模式, 那是一種大型的程式,這個程式在當時的硬體底下跑,一個案例要跑 3 天!由於鳥哥也要進行其他研究工作,因此常常使用 Windows 98 (你沒看錯!鳥哥是老人...) 來連線到 Unix 工作站跑那個 3 天的案例!結果你也該知道, Windows 98 連開三天而不當機的機率是很低的~@_@~ 而當機時,所有在 Windows 上的連線都會中斷!包括鳥哥在跑的那個程式也中斷了~嗚嗚~明明再三個鐘頭就跑完的程式, 由於當機害我又得跑 3 天!
- 另一個常用的時刻則是例如上面的範例三,由於某個突發狀況導致你必須要進行某項工作時,這個 at 就很好用啦!
由於 at 工作排程的使用上,系統會將該項 at 工作獨立出你的 bash 環境中, 直接交給系統的 atd 程式來接管,因此,當你下達了 at 的工作之後就可以立刻離線了, 剩下的工作就完全交給 Linux 管理即可!所以囉,如果有長時間的網路工作時,嘿嘿! 使用 at 可以讓你免除網路斷線後的困擾喔! ^_^
- at 工作的管理
那麼萬一我下達了 at 之後,才發現指令輸入錯誤,該如何是好?就將他移除啊!利用 atq 與 atrm 吧!
[root@study ~]# atq |
如此一來,你可以利用 atq 來查詢,利用 atrm 來刪除錯誤的指令,利用 at 來直接下達單一工作排程!很簡單吧! 不過,有個問題需要處理一下。如果你是在一個非常忙碌的系統下運作 at , 能不能指定你的工作在系統較閒的時候才進行呢?可以的,那就使用 batch 指令吧!
- batch:系統有空時才進行背景任務
其實 batch 是利用 at 來進行指令的下達啦!只是加入一些控制參數而已。這個 batch 神奇的地方在於:他會在 CPU 的工作負載小於 0.8 的時候,才進行你所下達的工作任務啦! 那什麼是工作負載 0.8 呢?這個工作負載的意思是: CPU 在單一時間點所負責的工作數量。不是 CPU 的使用率喔! 舉例來說,如果我有一隻程式他需要一直使用 CPU 的運算功能,那麼此時 CPU 的使用率可能到達 100% , 但是 CPU 的工作負載則是趨近於『 1 』,因為 CPU 僅負責一個工作嘛!如果同時執行這樣的程式兩支呢? CPU 的使用率還是 100% ,但是工作負載則變成 2 了!瞭解乎?
所以也就是說,當 CPU 的工作負載越大,代表 CPU 必須要在不同的工作之間進行頻繁的工作切換。 這樣的 CPU 運作情況我們在第零章有談過,忘記的話請回去瞧瞧!因為一直切換工作,所以會導致系統忙碌啊! 系統如果很忙碌,還要額外進行 at ,不太合理!所以才有 batch 指令的產生!
在 CentOS 7 底下的 batch 已經不再支援時間參數了,因此 batch 可以拿來作為判斷是否要立刻執行背景程式的依據! 我們底下來實驗一下 batch 好了!為了產生 CPU 較高的工作負載,因此我們用了 12 章裡面計算 pi 的腳本,連續執行 4 次這隻程式, 來模擬高負載,然後來玩一玩 batch 的工作現象:
範例一:請執行 pi 的計算,然後在系統閒置時,執行 updatdb 的任務 |
使用 uptime 可以觀察到 1, 5, 15 分鐘的『平均工作負載』量,因為是平均值,所以當我們如上表刪除掉四個工作後,工作負載不會立即降低, 需要一小段時間讓這個 1 分鐘平均值慢慢回復到接近 0 啊!當小於 0.8 之後的『整分鐘時間』時,atd 就會將 batch 的工作執行掉了!
什麼是『整分鐘時間』呢?不論是 at 還是底下要介紹的 crontab,他們最小的時間單位是『分鐘』,所以,基本上,他們的工作是『每分鐘檢查一次』來處理的! 就是整分 (秒為 0 的時候),這樣瞭解乎?同時,你會發現其實 batch 也是使用 atq/atrm 來管理的!
15.3 循環執行的例行性工作排程
相對於 at 是僅執行一次的工作,循環執行的例行性工作排程則是由 cron (crond) 這個系統服務來控制的。剛剛談過 Linux 系統上面原本就有非常多的例行性工作,因此這個系統服務是預設啟動的。另外, 由於使用者自己也可以進行例行性工作排程,所以囉, Linux 也提供使用者控制例行性工作排程的指令 (crontab)。 底下我們分別來聊一聊囉!
15.3.1 使用者的設定
使用者想要建立循環型工作排程時,使用的是 crontab 這個指令啦~不過,為了安全性的問題, 與 at 同樣的,我們可以限制使用 crontab 的使用者帳號喔!使用的限制資料有:
- /etc/cron.allow:
將可以使用 crontab 的帳號寫入其中,若不在這個檔案內的使用者則不可使用 crontab; - /etc/cron.deny:
將不可以使用 crontab 的帳號寫入其中,若未記錄到這個檔案當中的使用者,就可以使用 crontab 。
與 at 很像吧!同樣的,以優先順序來說, /etc/cron.allow 比 /etc/cron.deny 要優先, 而判斷上面,這兩個檔案只選擇一個來限制而已,因此,建議你只要保留一個即可, 免得影響自己在設定上面的判斷!一般來說,系統預設是保留 /etc/cron.deny , 你可以將不想讓他執行 crontab 的那個使用者寫入 /etc/cron.deny 當中,一個帳號一行!
當使用者使用 crontab 這個指令來建立工作排程之後,該項工作就會被紀錄到 /var/spool/cron/ 裡面去了,而且是以帳號來作為判別的喔!舉例來說, dmtsai 使用 crontab 後, 他的工作會被紀錄到 /var/spool/cron/dmtsai 裡頭去!但請注意,不要使用 vi 直接編輯該檔案, 因為可能由於輸入語法錯誤,會導致無法執行 cron 喔!另外, cron 執行的每一項工作都會被紀錄到 /var/log/cron 這個登錄檔中,所以囉,如果你的 Linux 不知道有否被植入木馬時,也可以搜尋一下 /var/log/cron 這個登錄檔呢!
好了,那麼我們就來聊一聊 crontab 的語法吧!
[root@study ~]# crontab [-u username] [-l|-e|-r] |
預設情況下,任何使用者只要不被列入 /etc/cron.deny 當中,那麼他就可以直接下達『 crontab -e 』去編輯自己的例行性命令了!整個過程就如同上面提到的,會進入 vi 的編輯畫面, 然後以一個工作一行來編輯,編輯完畢之後輸入『 :wq 』儲存後離開 vi 就可以了! 而每項工作 (每行) 的格式都是具有六個欄位,這六個欄位的意義為:
代表意義 | 分鐘 | 小時 | 日期 | 月份 | 週 | 指令 |
數字範圍 | 0-59 | 0-23 | 1-31 | 1-12 | 0-7 | 呀就指令啊 |
比較有趣的是那個『週』喔!週的數字為 0 或 7 時,都代表『星期天』的意思!另外,還有一些輔助的字符,大概有底下這些:
特殊字符 | 代表意義 |
*(星號) | 代表任何時刻都接受的意思!舉例來說,範例一內那個日、月、週都是 * , 就代表著『不論何月、何日的禮拜幾的 12:00 都執行後續指令』的意思! |
,(逗號) | 代表分隔時段的意思。舉例來說,如果要下達的工作是 3:00 與 6:00 時,就會是:
時間參數還是有五欄,不過第二欄是 3,6 ,代表 3 與 6 都適用! |
-(減號) | 代表一段時間範圍內,舉例來說, 8 點到 12 點之間的每小時的 20 分都進行一項工作:
仔細看到第二欄變成 8-12 喔!代表 8,9,10,11,12 都適用的意思! |
/n(斜線) | 那個 n 代表數字,亦即是『每隔 n 單位間隔』的意思,例如每五分鐘進行一次,則:
很簡單吧!用 * 與 /5 來搭配,也可以寫成 0-59/5 ,相同意思! |
我們就來搭配幾個例子練習看看吧!底下的案例請實際用 dmtsai 這個身份作看看喔!後續的動作才能夠搭配起來!
例題:
假若你的女朋友生日是 5 月 2 日,你想要在 5 月 1 日的 23:59 發一封信給他,這封信的內容已經寫在 /home/dmtsai/lover.txt 內了,該如何進行?
答: 直接下達 crontab -e 之後,編輯成為:
那樣的話,每年 kiki 都會收到你的這封信喔!(當然囉,信的內容就要每年變一變啦!) |
例題:
假如每五分鐘需要執行 /home/dmtsai/test.sh 一次,又該如何?
答: 同樣使用 crontab -e 進入編輯:
|
那個 crontab 每個人都只有一個檔案存在,就是在 /var/spool/cron 裡面啊! 還有建議您:『指令下達時,最好使用絕對路徑,這樣比較不會找不到執行檔喔!』
例題:
假如你每星期六都與朋友有約,那麼想要每個星期五下午 4:30 告訴你朋友星期六的約會不要忘記,則:
答: 還是使用 crontab -e 啊!
|
真的是很簡單吧!呵呵!那麼,該如何查詢使用者目前的 crontab 內容呢?我們可以這樣來看看:
[dmtsai@study ~]$ crontab -l |
看到了嗎? crontab 『整個內容都不見了!』所以請注意:『如果只是要刪除某個 crontab 的工作項目,那麼請使用 crontab -e 來重新編輯即可!』如果使用 -r 的參數,是會將所有的 crontab 資料內容都刪掉的!千萬注意了!
15.3.2 系統的設定檔: /etc/crontab, /etc/cron.d/*
這個『 crontab -e 』是針對使用者的 cron 來設計的,如果是『系統的例行性任務』時, 該怎麼辦呢?是否還是需要以 crontab -e 來管理你的例行性工作排程呢?當然不需要,你只要編輯 /etc/crontab 這個檔案就可以啦!有一點需要特別注意喔!那就是 crontab -e 這個 crontab 其實是 /usr/bin/crontab 這個執行檔,但是 /etc/crontab 可是一個『純文字檔』喔!你可以 root 的身份編輯一下這個檔案哩!
基本上, cron 這個服務的最低偵測限制是『分鐘』,所以『 cron 會每分鐘去讀取一次 /etc/crontab 與 /var/spool/cron 裡面的資料內容 』,因此,只要你編輯完 /etc/crontab 這個檔案,並且將他儲存之後,那麼 cron 的設定就自動的會來執行了!
Tips在 Linux 底下的 crontab 會自動的幫我們每分鐘重新讀取一次 /etc/crontab 的例行工作事項,但是某些原因或者是其他的 Unix 系統中,由於 crontab 是讀到記憶體當中的,所以在你修改完 /etc/crontab 之後,可能並不會馬上執行, 這個時候請重新啟動 crond 這個服務吧!『systemctl restart crond』
廢話少說,我們就來看一下這個 /etc/crontab 的內容吧!
[root@study ~]# cat /etc/crontab |
看到這個檔案的內容你大概就瞭解了吧!呵呵,沒錯!這個檔案與將剛剛我們下達 crontab -e 的內容幾乎完全一模一樣!只是有幾個地方不太相同:
- MAILTO=root:
這個項目是說,當 /etc/crontab 這個檔案中的例行性工作的指令發生錯誤時,或者是該工作的執行結果有 STDOUT/STDERR 時,會將錯誤訊息或者是螢幕顯示的訊息傳給誰?預設當然是由系統直接寄發一封 mail 給 root 啦!不過, 由於 root 並無法在用戶端中以 POP3 之類的軟體收信,因此,鳥哥通常都將這個 e-mail 改成自己的帳號,好讓我隨時瞭解系統的狀況!例如:MAILTO=dmtsai@my.host.name
- PATH=....:
還記得我們在第十章的 BASH 當中一直提到的執行檔路徑問題吧! 沒錯啦!這裡就是輸入執行檔的搜尋路徑!使用預設的路徑設定就已經很足夠了!
- 『分 時 日 月 周 身份 指令』七個欄位的設定
這個 /etc/crontab 裡面可以設定的基本語法與 crontab -e 不太相同喔!前面同樣是分、時、日、月、周五個欄位, 但是在五個欄位後面接的並不是指令,而是一個新的欄位,那就是『執行後面那串指令的身份』為何!這與使用者的 crontab -e 不相同。由於使用者自己的 crontab 並不需要指定身份,但 /etc/crontab 裡面當然要指定身份啦!以上表的內容來說,系統預設的例行性工作是以 root 的身份來進行的。
- crond 服務讀取設定檔的位置
一般來說,crond 預設有三個地方會有執行腳本設定檔,他們分別是:
- /etc/crontab
- /etc/cron.d/*
- /var/spool/cron/*
這三個地方中,跟系統的運作比較有關係的兩個設定檔是放在 /etc/crontab 檔案內以及 /etc/cron.d/* 目錄內的檔案, 另外一個是跟用戶自己的工作比較有關的設定檔,就是放在 /var/spool/cron/ 裡面的檔案群。 現在我們已經知道了 /var/spool/cron 以及 /etc/crontab 的內容,那現在來瞧瞧 /etc/cron.d 裡面的東西吧!
[root@study ~]# ls -l /etc/cron.d |
如果你想要自己開發新的軟體,該軟體要擁有自己的 crontab 定時指令時,就可以將『分、時、日、月、周、身份、指令』的設定檔放置到 /etc/cron.d/ 目錄下! 在此目錄下的檔案是『crontab 的設定檔腳本』。
Tips以鳥哥來說,現在鳥哥有在開發一些虛擬化教室的軟體,該軟體需要定時清除一些垃圾防火牆規則, 那鳥哥就是將要執行的時間與指令設計好,然後直接將設定寫入到 /etc/cron.d/newfile 即可!未來如果這個軟體要升級, 直接將該檔案覆蓋成新檔案即可!比起手動去分析 /etc/crontab 要單純的多!
另外,請注意一下上面表格中提到的最後一行,每個整點的一分會執行『 run-parts /etc/cron.hourly 』這個指令~咦!那什麼是 run-parts 呢? 如果你有去分析一下這個執行檔,會發現他就是 shell script,run-parts 腳本會在大約 5 分鐘內隨機選一個時間來執行 /etc/cron.hourly 目錄內的所有執行檔!因此,放在 /etc/cron.hourly/ 的檔案,必須是能被直接執行的指令腳本, 而不是分、時、日、月、周的設定值喔!注意注意!
也就是說,除了自己指定分、時、日、月、周加上指令路徑的 crond 設定檔之外,你也可以直接將指令放置到(或連結到)/etc/cron.hourly/ 目錄下, 則該指令就會被 crond 在每小時的 1 分開始後的 5 分鐘內,隨機取一個時間點來執行囉!你無須手動去指定分、時、日、月、周就是了。
但是眼尖的朋友可能還會發現,除了可以直接將指令放到 /etc/cron.hourly/ 讓系統每小時定時執行之外,在 /etc/ 底下其實還有 /etc/cron.daily/, /etc/cron.weekly/, /etc/cron.monthly/,那三個目錄是代表每日、每週、每月各執行一次的意思嗎?嘿嘿! 厲害喔!沒錯~是這樣~不過,跟 /etc/cron.hourly/ 不太一樣的是,那三個目錄是由 anacron 所執行的,而 anacron 的執行方式則是放在 /etc/cron.hourly/0anacron 裡面耶~跟前幾代 anacron 是單獨的 service 不太一樣喔!這部份留待下個小節再來討論。
最後,讓我們總結一下吧:
- 個人化的行為使用『 crontab -e 』:如果你是依據個人需求來建立的例行工作排程,建議直接使用 crontab -e 來建立你的工作排程較佳! 這樣也能保障你的指令行為不會被大家看到 (/etc/crontab 是大家都能讀取的權限喔!);
- 系統維護管理使用『 vim /etc/crontab 』:如果你這個例行工作排程是系統的重要工作,為了讓自己管理方便,同時容易追蹤,建議直接寫入 /etc/crontab 較佳!
- 自己開發軟體使用『 vim /etc/cron.d/newfile 』:如果你是想要自己開發軟體,那當然最好就是使用全新的設定檔,並且放置於 /etc/cron.d/ 目錄內即可。
- 固定每小時、每日、每週、每天執行的特別工作:如果與系統維護有關,還是建議放置到 /etc/crontab 中來集中管理較好。 如果想要偷懶,或者是一定要再某個週期內進行的任務,也可以放置到上面談到的幾個目錄中,直接寫入指令即可!
15.3.3 一些注意事項
有的時候,我們以系統的 cron 來進行例行性工作的建立時,要注意一些使用方面的特性。 舉例來說,如果我們有四個工作都是五分鐘要進行一次的,那麼是否這四個動作全部都在同一個時間點進行? 如果同時進行,該四個動作又很耗系統資源,如此一來,每五分鐘的某個時刻不是會讓系統忙得要死? 呵呵!此時好好的分配一些執行時間就 OK 啦!所以,注意一下:
- 資源分配不均的問題
當大量使用 crontab 的時候,總是會有問題發生的,最嚴重的問題就是『系統資源分配不均』的問題, 以鳥哥的系統為例,我有偵測主機流量的資訊,包括:
- 流量
- 區域內其他 PC 的流量偵測
- CPU 使用率
- RAM 使用率
- 線上人數即時偵測
如果每個流程都在同一個時間啟動的話,那麼在某個時段時,我的系統會變的相當的繁忙,所以,這個時候就必須要分別設定啦!我可以這樣做:
[root@study ~]# vim /etc/crontab |
看到了沒?那個『 , 』分隔的時候,請注意,不要有空白字元!(連續的意思)如此一來, 則可以將每五分鐘工作的流程分別在不同的時刻來工作!則可以讓系統的執行較為順暢呦!
- 取消不要的輸出項目
另外一個困擾發生在『 當有執行成果或者是執行的項目中有輸出的資料時,該資料將會 mail 給 MAILTO 設定的帳號 』,好啦,那麼當有一個排程一直出錯(例如 DNS 的偵測系統當中,若 DNS 上層主機掛掉,那麼你就會一直收到錯誤訊息!)怎麼辦?呵呵!還記得第十章談到的資料流重導向吧? 直接以『資料流重導向』將輸出的結果輸出到 /dev/null 這個垃圾桶當中就好了!
- 安全的檢驗
很多時候被植入木馬都是以例行命令的方式植入的,所以可以藉由檢查 /var/log/cron 的內容來視察是否有『非您設定的 cron 被執行了?』這個時候就需要小心一點囉!
- 週與日月不可同時並存
另一個需要注意的地方在於:『你可以分別以週或者是日月為單位作為循環,但你不可使用「幾月幾號且為星期幾」的模式工作』。 這個意思是說,你不可以這樣編寫一個工作排程:
30 12 11 9 5 root echo "just test" <==這是錯誤的寫法 |
本來你以為九月十一號且為星期五才會進行這項工作,無奈的是,系統可能會判定每個星期五作一次,或每年的 9 月 11 號分別進行,如此一來與你當初的規劃就不一樣了~所以囉,得要注意這個地方!
Tips根據某些人的說法,這個月日、周不可並存的問題已經在新版中被克服了~不過,鳥哥並沒有實際去驗證他!目前也不打算驗證他! 因為,周就是周,月日就月日,單一執行點就單一執行點,無須使用 crontab 去設定固定的日期啊!您說是吧?
15.4 可喚醒停機期間的工作任務
想像一個環境,你的 Linux 伺服器有一個工作是需要在每週的星期天凌晨 2 點進行,但是很不巧的,星期六停電了~所以你得要星期一才能進公司去啟動伺服器。 那麼請問,這個星期天的工作排程還要不要進行?因為你開機的時候已經是星期一,所以星期天的工作當然不會被進行,對吧!
問題是,若是該工作非常重要 (例如例行備份), 所以其實妳還是希望在下個星期天之前的某天還是進行一下比較好~那你該怎辦?自己手動執行?如果你跟鳥哥一樣是個記憶力超差的傢伙,那麼肯定『記不起來某個重要工作要進行』的啦! 這時候就得要靠 anacron 這個指令的功能了!這傢伙可以主動幫你進行時間到了但卻沒有執行的排程喔!
15.4.1 什麼是 anacron
anacron 並不是用來取代 crontab 的,anacron 存在的目的就在於我們上頭提到的,在處理非 24 小時一直啟動的 Linux 系統的 crontab 的執行! 以及因為某些原因導致的超過時間而沒有被執行的排程工作。
其實 anacron 也是每個小時被 crond 執行一次,然後 anacron 再去檢測相關的排程任務有沒有被執行,如果有超過期限的工作在, 就執行該排程任務,執行完畢或無須執行任何排程時,anacron 就停止了。
由於 anacron 預設會以一天、七天、一個月為期去偵測系統未進行的 crontab 任務,因此對於某些特殊的使用環境非常有幫助。 舉例來說,如果你的 Linux 主機是放在公司給同仁使用的,因為週末假日大家都不在所以也沒有必要開啟, 因此你的 Linux 是週末都會關機兩天的。但是 crontab 大多在每天的凌晨以及週日的早上進行各項任務, 偏偏你又關機了,此時系統很多 crontab 的任務就無法進行。 anacron 剛好可以解決這個問題!
那麼 anacron 又是怎麼知道我們的系統啥時關機的呢?這就得要使用 anacron 讀取的時間記錄檔 (timestamps) 了! anacron 會去分析現在的時間與時間記錄檔所記載的上次執行 anacron 的時間,兩者比較後若發現有差異, 那就是在某些時刻沒有進行 crontab 囉!此時 anacron 就會開始執行未進行的 crontab 任務了!
15.4.2 anacron 與 /etc/anacrontab
anacron 其實是一支程式並非一個服務!這支程式在 CentOS 當中已經進入 crontab 的排程喔!同時 anacron 會每個小時被主動執行一次喔! 咦!每個小時?所以 anacron 的設定檔應該放置在 /etc/cron.hourly 嗎?嘿嘿!您真內行~趕緊來瞧一瞧:
[root@study ~]# cat /etc/cron.hourly/0anacron |
基本上, anacron 的語法如下:
[root@study ~]# anacron [-sfn] [job].. |
在我們的 CentOS 中,anacron 的進行其實是在每個小時都會被抓出來執行一次, 但是為了擔心 anacron 誤判時間參數,因此 /etc/cron.hourly/ 裡面的 anacron 才會在檔名之前加個 0 (0anacron),讓 anacron 最先進行!就是為了讓時間戳記先更新!以避免 anacron 誤判 crontab 尚未進行任何工作的意思。
接下來我們看一下 anacron 的設定檔: /etc/anacrontab 的內容好了:
[root@study ~]# cat /etc/anacrontab |
我們拿 /etc/cron.daily/ 那一行的設定來說明好了。那四個欄位的意義分別是:
- 天數:anacron 執行當下與時間戳記 (/var/spool/anacron/ 內的時間紀錄檔) 相差的天數,若超過此天數,就準備開始執行,若沒有超過此天數,則不予執行後續的指令。
- 延遲時間:若確定超過天數導致要執行排程工作了,那麼請延遲執行的時間,因為擔心立即啟動會有其他資源衝突的問題吧!
- 工作名稱定義:這個沒啥意義,就只是會在 /var/log/cron 裡頭記載該項任務的名稱這樣!通常與後續的目錄資源名稱相同即可。
- 實際要進行的指令串:有沒有跟 0hourly 很像啊!沒錯!相同的作法啊!透過 run-parts 來處理的!
根據上面的設定檔內容,我們大概知道 anacron 的執行流程應該是這樣的 (以 cron.daily 為例):
- 由 /etc/anacrontab 分析到 cron.daily 這項工作名稱的天數為 1 天;
- 由 /var/spool/anacron/cron.daily 取出最近一次執行 anacron 的時間戳記;
- 由上個步驟與目前的時間比較,若差異天數為 1 天以上 (含 1 天),就準備進行指令;
- 若準備進行指令,根據 /etc/anacrontab 的設定,將延遲 5 分鐘 + 3 小時 (看 START_HOURS_RANGE 的設定);
- 延遲時間過後,開始執行後續指令,亦即『 run-parts /etc/cron.daily 』這串指令;
- 執行完畢後, anacron 程式結束。
如此一來,放置在 /etc/cron.daily/ 內的任務就會在一天後一定會被執行的!因為 anacron 是每個小時被執行一次嘛! 所以,現在你知道為什麼隔了一陣子才將 CentOS 開機,開機過後約 1 小時左右系統會有一小段時間的忙碌!而且硬碟會跑個不停!那就是因為 anacron 正在執行過去 /etc/cron.daily/, /etc/cron.weekly/, /etc/cron.monthly/ 裡頭的未進行的各項工作排程啦!這樣對 anacron 有沒有概念了呢? ^_^
最後,我們來總結一下本章談到的許多設定檔與目錄的關係吧!這樣我們才能了解 crond 與 anacron 的關係:
- crond 會主動去讀取 /etc/crontab, /var/spool/cron/*, /etc/cron.d/* 等設定檔,並依據『分、時、日、月、周』的時間設定去各項工作排程;
- 根據 /etc/cron.d/0hourly 的設定,主動去 /etc/cron.hourly/ 目錄下,執行所有在該目錄下的執行檔;
- 因為 /etc/cron.hourly/0anacron 這個指令檔的緣故,主動的每小時執行 anacron ,並呼叫 /etc/anacrontab 的設定檔;
- 根據 /etc/anacrontab 的設定,依據每天、每週、每月去分析 /etc/cron.daily/, /etc/cron.weekly/, /etc/cron.monthly/ 內的執行檔,以進行固定週期需要執行的指令。
也就是說,如果你每個週日的需要執行的動作是放置於 /etc/crontab 的話,那麼該動作只要過期了就過期了,並不會被抓回來重新執行。但如果是放置在 /etc/cron.weekly/ 目錄下,那麼該工作就會定期,幾乎一定會在一週內執行一次~如果你關機超過一週,那麼一開機後的數個小時內,該工作就會主動的被執行喔! 真的嗎?對啦!因為 /etc/anacrontab 的定義啦!
Tips基本上,crontab 與 at 都是『定時』去執行,過了時間就過了!不會重新來一遍~那 anacron 則是『定期』去執行,某一段週期的執行~ 因此,兩者可以並行,並不會互相衝突啦!
15.5 重點回顧
- 系統可以透過 at 這個指令來排程單一工作的任務!『at TIME』為指令下達的方法,當 at 進入排程後, 系統執行該排程工作時,會到下達時的目錄進行任務;
- at 的執行必須要有 atd 服務的支援,且 /etc/at.deny 為控制是否能夠執行的使用者帳號;
- 透過 atq, atrm 可以查詢與刪除 at 的工作排程;
- batch 與 at 相同,不過 batch 可在 CPU 工作負載小於 0.8 時才進行後續的工作排程;
- 系統的循環例行性工作排程使用 crond 這個服務,同時利用 crontab -e 及 /etc/crontab 進行排程的安排;
- crontab -e 設定項目分為六欄,『分、時、日、月、周、指令』為其設定依據;
- /etc/crontab 設定分為七欄,『分、時、日、月、周、執行者、指令』為其設定依據;
- anacron 配合 /etc/anacrontab 的設定,可以喚醒停機期間系統未進行的 crontab 任務!
15.6 本章習題
( 要看答案請將滑鼠移動到『答:』底下的空白處,按下左鍵圈選空白處即可察看 ) 簡答題:
- 今天假設我有一個指令程式,名稱為: ping.sh 這個檔名!我想要讓系統每三分鐘執行這個檔案一次, 但是偏偏這個檔案會有很多的訊息顯示出來,所以我的 root 帳號每天都會收到差不多四百多封的信件,光是收信就差不多快要瘋掉了! 那麼請問應該怎麼設定比較好呢?
這個涉及資料流重導向的問題,我們可以將他導入檔案或者直接丟棄!如果該訊息不重要的話, 那麼就予以丟棄,如果訊息很重要的話,才將他保留下來!假設今天這個命令不重要, 所以將他丟棄掉!因此,可以這樣寫:
*/3 * * * * root /usr/local/ping.sh > /dev/null 2>&1
- 您預計要在 2016 年的 2 月 14 日寄出一封給 kiki ,只有該年才寄出!該如何下達指令?
at 1am 2016-02-14
- 下達 crontab -e 之後,如果輸入這一行,代表什麼意思?
* 15 * * 1-5 /usr/local/bin/tea_time.sh在每星期的 1~5 ,下午 3 點的每分鐘,共進行 60 次 /usr/local/bin/tea_time.sh 這個檔案。 要特別注意的是,每個星期 1~5 的 3 點都會進行 60 次ㄟ!很麻煩吧~是錯誤的寫法啦~ 應該是要寫成:
30 15 * * 1-5 /usr/local/bin/tea_time.sh - 我用 vi 編輯 /etc/crontab 這個檔案,我編輯的那一行是這樣的:
25 00 * * 0 /usr/local/bin/backup.sh
這一行代表的意義是什麼?這一行代表......沒有任何意義!因為語法錯誤!您必須要瞭解,在 /etc/crontab 當中每一行都必須要有使用者才行!所以,應該要將原本那行改成:
25 00 * * 0 root /usr/local/bin/backup.sh - 請問,您的系統每天、每週、每個月各有進行什麼工作?
因為 CentOS 系統預設的例行性命令都放置在 /etc/cron.* 裡面,所以,你可以自行去: /etc/cron.daily/, /etc/cron.week/, /etc/cron.monthly/ 這三個目錄內看一看, 就知道啦! ^_^
- 每個星期六凌晨三點去系統搜尋一下內有 SUID/SGID 的任何檔案!並將結果輸出到 /tmp/uidgid.files
vi /etc/crontab
0 3 * * 6 root find / -perm /6000 > /tmp/uidgid.files
crontab.guru - the cron schedule expression editor https://crontab.guru/
* | any value |
---|---|
, | value list separator |
- | range of values |
/ | step values |
https://www.cnblogs.com/intval/p/5763929.html
Linux定时任务Crontab命令详解
cron_action的更多相关文章
- 日志分析 第五章 安装logstash
logstash是java应用,依赖JDK,首先需要安装JDK,在安装jdk过程中,logstash-2.3.4使用JDK-1.7版本有bug,使用JDK-1.8版本正常,因此我们安装JDK-1.8版 ...
- Grok patterns 汇总
S3_REQUEST_LINE (?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawreques ...
随机推荐
- 理解shell中的atime,mtime,ctime
所有文件都有3个时间信息,保存在文件系统中 atime (Access time)是文件最后一此读的时间 或者执行文件的时间 mtime (Modified time)是文件最后一次写的时间(是在写入 ...
- Spring事务的传播行为 @Transactional
Spring事务的传播行为http://blog.csdn.net/cuker919/article/details/5957209 在service类前加上@Transactional,声明这个se ...
- vue 销毁组件
销毁组件 // get~ 销毁组件 destroyElement() { this.$destroy(true); this.$el.parentNode.removeChild(this.$el); ...
- McCabe环路复杂度计算方法
环路复杂度用来定量度量程序的逻辑复杂度.以McCabe方法来表示. 在程序控制流程图中,节点是程序中代码的最小单元,边代表节点间的程序流.一个有e条边和n个节点的流程图F,可以用下述3种方法中的任何一 ...
- centos/rhel下实现nginx自启动脚本实例
1. 建立脚本文件nginxd [root@could]# vi /etc/init.d/nginxd 插入以下内容 #!/bin/bash # # chkconfig: - 85 15 # de ...
- GroupCoordinator joingroup源码解析
转发请注明原创地址 http://www.cnblogs.com/dongxiao-yang/p/7463693.html kafka新版consumer所有的group管理工作在服务端都由Group ...
- awk按列求和
awk 'BEGIN{total=0}{total+=$1}END{print total}'
- nginx源码学习_数据结构(ngx_str_t)
nginx中关于字符串的数据结构位于src/core/ngx_string.c和src/core/ngx_string.h中 先来看一下数据结构: typedef struct { size_t le ...
- MySQL的索引(中)
连着发了几天文章,从我收到的反映来说,大家觉着还不错,可以很清晰的看到知识的脉络,但是这个还不错是针对传统的文章的无聊.不明确.完全不考虑考虑用户体验的角度上对比出来的.掌握一门知识还是不容易的,有的 ...
- Havel--Hakimi定理推断可图化 python
介绍: 哈维尔[1955]--哈吉米[1962]算法能够用来判读一个度序列d是否是可图化的. 哈维尔[1955]--哈吉米[1962]定理: 对于N > 1,长度为N的度序列d可以可图化当且仅当 ...