我使用crontab同步一个文件夹时,发现一个问题,我在crontab中设置的1分钟运行一次.但当那个文件夹的内容改变时.1分钟不一定能同步完,但这时第二个rsync进行又起来了. 这个就产生一个问题,二个rsync一起处理相同的文件,这样会出问题.如下 1 * * * * /usr/bin/rsync -avlR /data/files    172.16.xxx.xxx:/data 本来想写个脚本来解决,但太麻烦.所以用了个linux下的锁..呵呵,象下面这个. 1 * * * * floc…

rsync.sh #!/bin/bash tool_path=$(cd `dirname $`; pwd) eval `cat ${tool_path}/conf.properties` rsync_include=${tool_path}/include/rsync_include.lst export RSYNC_PASSWORD=密码 echo `date '+%Y-%m-%d %T'` >> ${tool_path}/rsync.log ;i<;i++)); do dstDate…

使用linux flock 文件锁实现任务锁定,解决冲突 格式: flock [-sxun][-w #] fd# flock [-sxon][-w #] file [-c] command flock --help flock (util-linux-ng 2.17.2) Usage: flock [-sxun][-w #] fd# flock [-sxon][-w #] file [-c] command... flock [-sxon][-w #] directory [-c] comman…

flock文件锁 学习与应用  2016-9-20 作用: 可以使用flock文件锁,避免指定命令的同时执行.(实现任务锁定,解决冲突) 用法: # flock -xn /opt/lock_file -c 'echo "123"'  加了flock限制后,检查到文件已被锁定,则继续等待或直接返回失败. 说明: 1. 锁文件不存在,会自动创建. 2. 命令进程执行完毕后,锁会自动释放. 参数解释:   -s, --shared: 获得一个共享锁 (命令可以同时执行) -x, --excl…

#!/bin/bashsource /etc/profile tool_path=/data/rsync_clientroot_path=/data/log ####yyyy-mm-dd¸ñʽdate_today=`date +"%Y-%m-%d"`date_yesterday=`date -d "yesterday" +%Y-%m-%d` #yyyymmdd¸ñʽdate_today_hadoop=`date +"%Y%m%d"`date_…

转自:http://blog.chinaunix.net/xmlrpc.php?r=blog/article&uid=26807463&id=4577034 之前写过linux下简单的备份的脚本 , 最开始一直用着, 后来觉得有必要改进下它了, 不管是从操作方式上还是工作方式上.有这样的想法是因为一次备份引起的. 我经历过磁盘损坏的痛苦, 花了1500元才勉强将数据拯救回来, 于是导致我对备份要求更加高了, 我期望尽量每周备份, 期望备份的目的地是当前系统的完整镜像,也就是说我能够从备份盘…

vi test.sh #! /bin/bash echo "Hello World" touch test.lock #随便命名 [root@localhost ~]# flock -xn ./test.lock -c "sh /root/test.sh" 运行中... 开启另外一个bash窗口运行 [root@localhost ~]# flock -xn ./test.lock -c "sh /root/test.sh" 前面未获取到锁直接返…

在多个进程同时操作同一份文件的过程中,很容易导致文件中的数据混乱,需要锁操作来保证数据的完整性,这里介绍的针对文件的锁,称之为“文件锁”-flock. flock,建议性锁,不具备强制性.一个进程使用flock将文件锁住,另一个进程可以直接操作正在被锁的文件,修改文件中的数据,原因在于flock只是用于检测文件是否被加锁,针对文件已经被加锁,另一个进程写入数据的情况,内核不会阻止这个进程的写入操作,也就是建议性锁的内核处理策略. flock主要三种操作类型:LOCK_SH,共享锁,多个进程可以使…

概念: kafka是一种消息中间件 作用: 解耦.冗余.提高扩展性.缓冲 保证顺序.灵活.削峰填谷 异步通信 kafla角色 producer: 生产者,负责发布消息 consumer: 消费者,负责读取处理消息 topic: 消息的类别 Partition: 每个Topic包含一个或多个Partition Broker: Kafka集群包含一个或复哦歌服务器 ** Kafka通过Zookeeper管理集群配置,选举Leader 源码安装  /usr/local/kafka/config 修改配…

在做计划任务的时候,可能由于某些问题,任务没有执行完成,导致任务重复的运行,解决这个问题,只需要一个flock命令就可以了. flock --helpflock (util-linux-ng 2.17.2)Usage: flock [-sxun][-w #] fd#flock [-sxon][-w #] file [-c] command...flock [-sxon][-w #] directory [-c] command...-s --shared Get a shared lock #获…