摘要:超过分钟的间隔够,脚本又会执行一次,最后等发现问题时,已经是业务方收到影响了这时就需要的文件锁简介当多个进程可能会执行同一个脚本,这些进程需要保证其它进程没有在操作,以免重复执行。
背景:
在使用crontab管理定时脚本时,如果设定的脚本执行时间间隔较短,例如5分钟执行一次,正常情况下,脚本执行耗时1分钟,在非正常情况下(如服务器压力较大的情况下,或数据量突然增大),脚本执行时间超过5分钟,这时就会造成多个脚本同时执行,严重时甚至拖垮服务器,影响服务器上的其它服务
举个例子,每10分钟更新mysql数据的脚本
5/* * * * * sh /services/scripts/update_mysql_data.sh
通常情况下,脚本执行只需要30s,但是某天突然有人修改数据结构,造成锁表,脚本一直等待执行。超过5分钟的间隔够,脚本又会执行一次,最后等发现问题时,已经是业务方收到影响了
这时就需要Linux的文件锁-flock!
flock简介:
当多个进程可能会执行同一个脚本,这些进程需要保证其它进程没有在操作,以免重复执行。通常,这样的进程会使用一个「锁文件」,也就是建立一个文件来告诉别的进程自己在运行,如果检测到那个文件存在则认为有操作同样数据的进程在工作。
使用方法:
flock -h Usage: flock [options][command args] flock [options] -c flock [options] Options: -s, --shared: 获得一个共享锁 -x, --exclusive: 获得一个独占锁 -u, --unlock: 移除一个锁,通常是不需要的,脚本执行完会自动丢弃锁 -n, --nonblock: 如果没有立即获得锁,直接失败而不是等待 -w, --timeout: 如果没有立即获得锁,等待指定时间 -o, --close: 在运行命令前关闭文件的描述符号。用于如果命令产生子进程时会不受锁的管控 -c, --command: 在shell中运行一个多带带的命令 -h, --help 显示帮助 -V, --version: 显示版本
了解flock了,我们就可以对上面的脚本进行改进
5/* * * * * flock -xn /services/scripts/update_mysql_data.lock -c "sh /services/scripts/update_mysql_data.sh"
当/services/scripts/update_mysql_data.lock被进程占用时,别的进程就不会再重复执行文件。还有一个好处是,不需要手动释放锁,禁止执行完之后会自动释放对lock文件的占用