原文链接地址:https://blog.csdn.net/xufive/article/details/93847372

概述

首先声明,本文讨论的 watchdog,不是单片机里的 watchdog,也不是 linux 中的 watchdog,而是 python 世界里用来监视文件系统变化的一个第三方模块。在 python 中文件监视主要有两个库,一个是 pyinotify,一个是 watchdog。pyinotify 依赖于 linux 平台的 inotify 机制,只能应用在 linux 平台上。watchdog 则对不同平台的的事件都进行了封装,不仅可以监视 windows 文件系统,也可以监视 linux 的文件系统。

文件系统事件类

文件系统事件基类定义如下:

  watchdog.events.FileSystemEvent(event_type, src_path, is_directory=False)
  # event.event_type - 事件类型,为 moved / deleted / created / modified 其中之一
  # event.src_path - 触发该事件的文件或目录路径
  # event.is_directory - 该事件是否由一个目录触发

由 watchdog.events.FileSystemEvent 基类派生的子类如下:

  watchdog.events.FileDeletedEvent() 

  # 文件被删除时触发该事件

  watchdog.events.DirDeletedEvent()
  # 目录被删除时触发该事件

  watchdog.events.FileCreatedEvent()
  # 文件被创建时触发该事件

  watchdog.events.DirCreatedEvent()
  # 目录被创建时触发该事件

  watchdog.events.FileModifiedEvent()
  # 文件被修改时触发该事件(修改文件内容、修改文件inode信息如权限和访问时间,都会触发该事件)

  watchdog.events.DirModifiedEvent()
  # 目录被修改时触发该事件

  watchdog.events.FileMovedEvent()
  # 文件被移动或重命名时触发该事件,因为涉及文件移动,所以除了event.src_path表示原路径,还有event.dest_path表示目的路径

  watchdog.events.DirMovedEvent()
  # 目录被移动或重命名时触发该事件,因为涉及文件移动,所以除了event.src_path表示原路径,还有event.dest_path表示目的路径

文件系统事件处理类

watchdog.events.FileSystemEventHandler 是事件处理器的基类,用于处理事件,用户需继承该类,并在子类中重写对应方法。需要用户重写的方法有:

  self.on_any_event(event)
  # 任何事件发生都会首先执行该方法,该方法默认为空,dispatch()方法会先执行该方法,然后再把 event 分派给其他方法处理

  self.on_moved(event)
  # 处理 DirMovedEvent 和 FileMovedEvent 事件,默认为空

  self.on_created(event)
  # 处理 DirCreatedEvent 和 FileCreatedEvent 事件,默认为空

  self.on_deleted(event)
  # 处理 DirDeletedEvent 和 FileDeletedEvent 事件,默认为空

  self.on_modified(event)
  # 处理 DirModifiedEvent 和 FileModifiedEvent 事件,默认为空

以上方法中,event 有几个属性可用:

  • event.is_directory - 触发事件的是否为文件夹
  • event.src_path - 源路径
  • event.dest_path - 目标路径

最简单的应用示例

下面的例子展示了如何监视 D:\XufiveGit\PEC\client 文件夹内所有文件的 moved / deleted / created / modified。请注意,重命名被视为 moved (移动)。

#-*- coding: utf-8 -*-

from watchdog.observers import Observer
from watchdog.events import *

class FileEventHandler(FileSystemEventHandler):
  def on_any_event(self, event):
    pass

  def on_moved(self, event):
    if event.is_directory:
      print("directory moved from {0} to {1}".format(event.src_path,event.dest_path))
    else:
      print("file moved from {0} to {1}".format(event.src_path,event.dest_path))

  def on_created(self, event):
    if event.is_directory:
      print("directory created:{0}".format(event.src_path))
    else:
      print("file created:{0}".format(event.src_path))

  def on_deleted(self, event):
    if event.is_directory:
      print("directory deleted:{0}".format(event.src_path))
    else:
      print("file deleted:{0}".format(event.src_path))

  def on_modified(self, event):
    if event.is_directory:
      print("directory modified:{0}".format(event.src_path))
    else:
      print("file modified:{0}".format(event.src_path))

if __name__ == "__main__":
  import time
  observer = Observer()
  event_handler = FileEventHandler()
  observer.schedule(event_handler, r"D:\XufiveGit\PEC\client", True)
  observer.start()
  try:
    while True:
      time.sleep(1)

  except KeyboardInterrupt:
    observer.stop()

存在的问题

真正测试过之后,你会发现,上面的例子几乎没有实用价值,因为,文件操作引发的事件比我们想象的多了不少,而且难以在事件函数中做出针对性处理。比如,添加一个文件,势必引发 created 事件,同时也会导致所在文件夹的 modified 事件,如果该文件目录比较深,还会引发多层父级文件夹的 modified 事件。
如果,你觉得这不算什么问题,那么,在 windows 平台上每一次的文件修改引发两次 modified 事件,算不算一个令人头疼的问题呢?在 linux 平台上表现如何,我没有测试过,但在 windows 平台上,由于 watchdog 封装的是 windows 系统的 FileSystemWatcher Events,处理文件的过程中执行了多次文件系统操作,无法避免地触发了多次事件。

改进方案

如果对监视文件的实时性要求不高,又懒得处理一大堆事件,那么,比较事件前后的文件夹快照就是一个值得尝试的改进方案。实现这个思路,有三个前提条件:

快速获取文件夹快照。幸运的是,watchdog 模块为我们提供了 DirectorySnapshot 功能
可以接受200毫秒的延时。文件操作引发的一大堆事件会集中在一个较短的时间内,一般情况下,在文件操作之后200毫秒获取文件夹快照,是一个不错的间隔
快速比较文件夹快照。这也不是问题,watchdog 模块有 DirectorySnapshotDiff 子模块

改进思路是这样的:设置一个定时器, 200毫秒后抓取快照,并与上一张快照比较。每当有事件发生时,检查定时器是否已经启动。如果未启动,则直接启动定时器;否则,说明该事件距离上次事件不足200毫秒,可视为是同一组事件,此时终止定时器,再次重启。具体代码如下:

#-*- coding: utf-8 -*-

import os, threading
from watchdog.observers import Observer
from watchdog.events import *
from watchdog.utils.dirsnapshot import DirectorySnapshot, DirectorySnapshotDiff

class FileEventHandler(FileSystemEventHandler):
  def __init__(self, aim_path):
    FileSystemEventHandler.__init__(self)
    self.aim_path = aim_path
    self.timer = None
    self.snapshot = DirectorySnapshot(self.core.proj_path)

  def on_any_event(self, event):
    if self.timer:
      self.timer.cancel()
    self.timer = threading.Timer(0.2, self.checkSnapshot)
    self.timer.start()

  def checkSnapshot(self):
    snapshot = DirectorySnapshot(self.aim_path)
    diff = DirectorySnapshotDiff(self.snapshot, snapshot)
    self.snapshot = snapshot
    self.timer = None
    #下面是应处理的各种事项
    print("files_created:", diff.files_created)
    print("files_deleted:", diff.files_deleted)
    print("files_modified:", diff.files_modified)
    print("files_moved:", diff.files_moved)
    print("dirs_modified:", diff.dirs_modified)
    print("dirs_moved:", diff.dirs_moved)
    print("dirs_deleted:", diff.dirs_deleted)
    print("dirs_created:", diff.dirs_created)
    # 接下来就是你想干的啥就干点啥,或者该干点啥就干点啥
    pass

class DirMonitor(object):
  """文件夹监视类"""

  def __init__(self, aim_path):
    """构造函数"""
    self.aim_path= aim_path
    self.observer = Observer()

  def start(self):
    """启动"""
    event_handler = FileEventHandler(self.aim_path)
    self.observer.schedule(event_handler, self.aim_path, True)
    self.observer.start()

  def stop(self):
    """停止"""
    self.observer.stop()

if __name__ == "__main__":
monitor = DirMonitor(r"D:\XufiveGit\PEC\client")
monitor.start()

完毕

watchdog监控文件变化使用总结——转载的更多相关文章

  1. Python监控文件变化:watchdog

    Python监控文件变化有两种库:pyinotify和watchdog.pyinotify依赖于Linux平台的inotify,后者则对不同平台的的事件都进行了封装.也就是说,watchdog跨平台. ...

  2. JDK 之 NIO 2 WatchService、WatchKey(监控文件变化)

    JDK 之 NIO 2 WatchService.WatchKey(监控文件变化) JDK 规范目录(https://www.cnblogs.com/binarylei/p/10200503.html ...

  3. mac 监控文件变化并重启php

    自己撸一个框架,需要监控代码变化 安装fswatch brew install fswatch shell重启PHP脚本reload.sh #!/bin/sh do ps -ef | grep php ...

  4. inotifywait命令如何监控文件变化?

    转载自:https://segmentfault.com/a/1190000038351925 文件监控可以配合rsync实现文件自动同步,例如监听某个目录,当文件变化时,使用rsync命令将变化的文 ...

  5. linux 监控文件变化

    介绍 有时候我们常需要当文件变化的时候便触发某些脚本操作,比如说有文件更新了就同步文件到远程机器.在实现这个操作上,主要用到两个工具,一个是rsync,一个是inotifywait .inotifyw ...

  6. Gulp-前端进阶A-3---如何不刷新监控文件变化?

    npm install --save-dev gulp-connect npm install --save-dev gulp-livereload npm其他,前面已有 var gulp = req ...

  7. 使用apache common-io 监控文件变化--转

    package common.io; import org.apache.commons.io.filefilter.FileFilterUtils; import org.apache.common ...

  8. 利用nodejs监控文件变化并使用sftp上传到服务器

    很久没写博客了,因为最近在用react+express做一个自己的工具型网站(其实就是夺宝岛抢拍器) 然后因为经常要改动,而且又要放到服务器上进行测试.总是要webpack,然后手动把文件上传上去,不 ...

  9. 使用apache common-io 监控文件变化

    package common.io; import org.apache.commons.io.filefilter.FileFilterUtils; import org.apache.common ...

随机推荐

  1. C#中ref和out的原理

    去年在CSDN上写的,现在把它搬过来. 一.引发问题 用了那么久的 ref 和 out ,你真的了解它们是如何使得实参与形参的值保持同步的吗? 二.研究前提 要研究这个问题,前提是要了解 C# 中方法 ...

  2. LeetCode 845. Longest Mountain in Array

    原题链接在这里:https://leetcode.com/problems/longest-mountain-in-array/ 题目: Let's call any (contiguous) sub ...

  3. 洛谷 P1717 钓鱼 题解

    每日一题 day46 打卡 Analysis 首先通过题目我们不难发现,为了得到最优解,那么就不能把时间浪费在路上,也就是说不能走回头路.然后很容易可以发现,在每个时刻在不同的鱼塘钓到的鱼的数量是不同 ...

  4. 微信H5中禁止分享好友及分享到朋友圈的方法

    我们可以直接把以下代码加入到页面中,即可限制住各类分享. <script> function onBridgeReady() { WeixinJSBridge.call('hideOpti ...

  5. Python爬虫进阶 | 异步协程

    一.背景 之前爬虫使用的是requests+多线程/多进程,后来随着前几天的深入了解,才发现,对于爬虫来说,真正的瓶颈并不是CPU的处理速度,而是对于网页抓取时候的往返时间,因为如果采用request ...

  6. pgloader 学习(八) pg 2 pg 简单demo

    pg 数据到pg 数据的迁移,同时支持名称的变更 环境准备 docker-compose文件 内容偏多可以忽略部分 version: "3" services: pgloader- ...

  7. 20-ESP8266 SDK开发基础入门篇--C# TCP客户端编写 , 加入数据通信

    https://www.cnblogs.com/yangfengwu/p/11192594.html 自行调整页面 连接上以后主动发个数据 namespace TCPClient { public p ...

  8. 1-移远GSM/GPRS M26 模块 Mini板 开发板(使用说明)

    板子预览 引脚说明 供电 关于串口电压匹配引脚: 上面一版朋友测试反应的问题 (上面的内容不删除,因为已经出售了1套) 1,源码开发完以后,烧录完成 PWRKEY按键不能使用了,需要断电上电,那么就需 ...

  9. [RN] React Native 常见基本问题归纳总结

    [RN] React Native  常见基本问题归纳总结 本问题总结涉及到版本为: "react": "16.8.3","react-native& ...

  10. P2624 [HNOI2008]明明的烦恼

    #include<iostream> #include<cstdio> #include<cstring> #include<cmath> #inclu ...