1. Plugin与Python

插件的历史最早可追溯至1970年代,它是一种程序组件,通过和应用程序的互动,为应用程序增加一些所需要的特定的功能[维基]。插件允许第三方开发者对已有的程序功能进行扩展和完善,具体的例子包括音频播放软件的解码器、浏览器的视频播放插件等。插件需要按照一定的接口规范与应用程序互动,这个规范是调用它的应用程序定义的。

为了在实践上应用,我看了两篇搜索比较靠前的博客文章,它们的代码比较精简,都是通过python package来实现的。

本文组织如下。第二部分介绍python package;第三部分介绍上面两篇博客中实现插件的方法。

2. Python packages

Package是python用名字空间组织module的一种方法,通过"."将各级路径连接起来,以"A.B.C"的形式组成层次结构。每一个python文件是一个module,包含module的目录可以组成一个package,包含package的目录又可以进一步组成更高级的package。

2.1 package的基本结构

不是所有的目录都会被解释为package,其充要条件是目录内包含一个名为__init__.py的文件,这个文件可以是空文件,也可以包含一些定义和初始化代码,包含该文件的目录可以被import。如下目录可以被作为package使用,本例中除了__init__.py文件外,还包含三个module。

myprint/
|---__init__.py
|---print_int.py
|---print_float.py
|---print_complex.py

因为myprint目录下有__init__.py文件,myprint是一个package,可以在python代码或命令行中import它及它包含的module。

import myprint   # import了一个package

import myprint.print_int   #  import了package下的一个module

from myprint import print_int  # import了package下的一个module,引用时可以不带package name

2.2 subpackage

Packages可以形成多层嵌套的结构,tensorflow代码中经常看到import多层的情况。下例中tensorflow、python、framework都是上一层namespace中的package,只有ops是module。

import tensorflow.python.framework.ops

如果有import A.B.C.D,只有D可以是module,A、B、C都必须是package。

2.3 __init__.py文件

文件__init__.py让python将其所属目录视为package,该文件可以是空文件,也可以包含python代码,文件内的代码在package第一次被进程import时执行一次。文件__init__.py中定义的函数、变量,可以通过package name被外部引用。如果上面例子中myprint/__init__.py包含如下代码,则default_int和default_float两个名字可以通过myprint.default_intmyprint.default_float访问。

__all__ = ['print_int', 'print_float']
default_int = 0
default_float = 0.0
import myprint
myprint.print_int
myprint.print_float

如果import的是一个subpackage,则路径上所有package的__init__.py文件会被依次执行。例如,当import A.B.C.D时,A package、B package、C package会被先后初始化,如果D也是package,则D package也会被初始化。

__init__.py文件中还可以定义__all__变量,如上面代码中有__all__ = ['print_int', 'print_float'],当通过代码from myprint import *导入package时,只有__all__中定义的所有name会被导入,而不是把myprint/目录下的所有东西都导入。__all__中定义的name是package下的module或subpackage。

下面介绍的两种实现插件的方法,都用到了__init__.py文件的__all__变量。

3. Python实现的Plugin

下面两篇博客都各自实现了插件结构,都是通过python的package实现,插件被实现为一个module,并列放置在package内,插件的作者需要修改package的__init__.py文件中的__all__变量。

不同之处在于。第一篇博客只是将所有plugin import进来,使用时需要提供plugin的module name,然后通过eval方式引用。第二篇博客有一个反向注册的机制,在插件module被import时,将plugin及其名字注册到一个公共变量中。

我在实际工作中,需要实现一个清理字符串的package,需要的功能可能随着遇到的CASE逐渐完善。因此考虑将所有字符串清理函数串成一个序列结构,依次执行其中的每个功能。我仿照第二篇博客实现,稍微做了一些改动,因为我既需要插件按顺序全部执行,也需要能指定只执行某插件。

3.1 字符串清理Plugin

目录结构如下,package名为text_processor,这是使用方需要import的那个package。具体的处理逻辑在plugins目录下,因为plugins目录下有一个__init__.py文件,所以它也是一个package。

text_processor
|---__init__.py
|---text_processor.py
|---plugins
|---__init__.py
|---clean_dupspace.py
|---clean_htmltag.py
|---clean_punctuation.py
|---clean_q2b.py

从上到下依次看每个文件的内容,首先是text_processor/__init__.py文件。这个文件只有一行语句,从当前目录下的plugins package导入所有模块。所以,当我们通过import text_processor导入text_processor时,就会执行下面这条语句,plugins下的模块也会被导入。

from .plugins import *

接下来是text_processor/text_processor.py文件。这个module是用户需要使用的唯一接口,它有一个普通方法,一个类方法。类方法返回一个闭包,该闭包可以作为类的decorator,来修饰每个plugin module内定义的类。普通方法是用户调用的,用来处理字符串。

class TextProcessor(object):
PLUGIN_NAMES = []
PLUGINS = {} def process(self, text, plugins=()):
if plugins is ():
for plugin_name in self.PLUGIN_NAMES:
text = self.PLUGINS[plugin_name]().process(text)
else:
for plugin_name in plugins:
text = self.PLUGINS[plugin_name]().process(text)
return text @classmethod
def plugin_register(cls, plugin_name):
def wrapper(plugin):
cls.PLUGINS.update({plugin_name:plugin})
cls.PLUGIN_NAMES.append(plugin_name)
return plugin
return wrapper

接下来是text_processor/plugins/__init__.py文件。这个文件只是定义__all__变量,指示了plugins这个package,当通过from plugins import *导入时,都具体导入哪些module。text_processor/plugins/__init__.py文件中的__all__变量,与text_processor/__init__.py文件中的from .plugins import *协作,共同完成对所有插件的导入。

__all__ = ['clean_q2b', 'clean_nbsp, 'clean_htmltag, 'clean_dupspace, 'clean_punctuation']

然后我们以text_processor/plugins/plugins/clean_dupspace.py为例,说明插件是如何与上层package互动的。第一句导入上层的TextProcessor,是为了调用该类的类方法plugin_register。

from ..textProcessor import TextProcessor
import re re_space = re.compile(u'\s+') @TextProcessor.plugin_register('cleanDupSpace')
class CleanDupSpace(object):
def process(self, text):
cleanText = re_space.sub(u' ', text)
cleanText = cleanText.replace(u"\u3000", ' ')
cleanText = cleanText.strip()
return cleanText

这个文件重点需要关注的是用@TextProcessor.plugin_register('cleanDupSpace')修饰了类CleanDupSpace的定义。decorator是Python的一个语法特性,相当于做了下面的事情。

class CleanDupSpace(object):
def process(self, text):
cleanText = re_space.sub(u' ', text)
cleanText = cleanText.replace(u"\u3000", ' ')
cleanText = cleanText.strip()
return cleanText CleanDupSpace = TextProcessor.plugin_register('cleanDupSpace')(CleanDupSpace)

@符号后面的字符串TextProcessor.plugin_register('cleanDupSpace'),eval后应该是个wrapper函数。该wrapper只有一个参数,就是修饰符后定义的东西,并将修饰后的东西(类、函数)赋给原来那个变量CleanDupSpace。这个逻辑是在类定义,也就是import当前module时完成的。

最后,使用该package的方法如下。

from text_processor.text_processor import TextProcessor
tp = TextProcessor()
cleanText = tp.process(rawText)

3.2 其他实现

在Github上还找到一个更复杂的plugin实现,pluginbase。这个代码实现我没有仔细看。

Python实现Plugin的更多相关文章

  1. Python实现Plugin(插件化开发)

    https://www.cnblogs.com/terencezhou/p/10276167.html

  2. 使用Python开发chrome插件

    本文由 伯乐在线 - xianhu 翻译,Daetalus 校稿.未经许可,禁止转载!英文出处:pythonspot.com.欢迎加入翻译小组. 谷歌Chrome插件是使用HTML.JavaScrip ...

  3. HRPlugin For Xcode发布(附源码地址)

    今天给大家介绍的这个插件,是我在IOS平台上开发以来,一些想法的集合体.因为本人时常感觉在开发过程中无论从GOOGLE资料查找和SQL数据库查询,正则表达式测试,SVN等,这些经常要做的操作中,耽误了 ...

  4. VIM使用(一) VIM插件管理利器-vundle

    有关VIM的文件网上一大堆,这里只是记录一下我新配置环境的步骤.以备查看参考. sudo apt-get install gitgit clone https://github.com/gmarik/ ...

  5. elasticsearch插件大全

    Elasticsearch扩展性非常好,有很多官方和第三方开发的插件,下面以分词.同步.数据传输.脚本支持.站点.其它这几个类别进行划分. 分词插件 Combo Analysis Plugin (作者 ...

  6. Notepad++ Emmet安装方法教程

    Notepad++ Emmet安装后出现 unknown exception提示插件无效Python Script Plugin did not accept the script.以下为记录解决方法 ...

  7. 安装elasticsearch

    安装elasticsearch   来自:http://www.cnblogs.com/huangfox/p/3541300.html 一)安装elasticsearch 1)下载elasticsea ...

  8. vim下使用YouCompleteMe实现代码提示、补全以及跳转设置

    配置YouCompleteMe 1. 安装vundle vundle是一个管理vim插件的工具,使用vundle安装YouCompleteMe比较方便. 按照作者在https://github.com ...

  9. vim目录说明

    plugin.autoload.ftplugin有什么区别 很多初用vim的朋友在安装插件时都会有些疑惑.同样的插件,有些教程说安装在plugin目录,有些说安装在ftplugin目录,有些说安装在a ...

随机推荐

  1. Alpha、伪Beta 发布个人感想与体会

    1.Alpha版本 在Alpha版本发布时,我在Fantacy组,那时的体会我已在前面写过,现在回想起来,我觉得自己的决定似乎做的并不是很糟糕,因为来到新的团队里,我学到了很多东西,认识了很多技术很好 ...

  2. Gitblit 的安装使用

    1.下载gitblit,可以网上下载,也可以在下面云盘链接取 gitblit-1.8.0  下载链接:https://pan.baidu.com/s/1x7dnbyDp1FmYjMosJbGR8w 密 ...

  3. BZOJ4127Abs——树链剖分+线段树

    题目描述 给定一棵树,设计数据结构支持以下操作 1 u v d 表示将路径 (u,v) 加d 2 u v 表示询问路径 (u,v) 上点权绝对值的和 输入 第一行两个整数n和m,表示结点个数和操作数 ...

  4. BZOJ3129 SDOI2013方程(容斥原理+扩展lucas)

    没有限制的话算一个组合数就好了.对于不小于某个数的限制可以直接减掉,而不大于某个数的限制很容易想到容斥,枚举哪些超过限制即可. 一般情况下n.m.p都是1e9级别的组合数没办法算.不过可以发现模数已经 ...

  5. Dumb Bones UVA - 10529(概率dp)

    题意: 你试图把一些多米诺骨牌排成直线,然后推倒它们.但是如果你在放骨牌的时候不小心把刚放的骨牌碰倒了,它就会把相临的一串骨牌全都碰倒, 而你的工作也被部分的破坏了. 比如你已经把骨牌摆成了DD__D ...

  6. POJ1860(Currency Exchange)

    题意: 给出一张各种货币交换的网络,问在网络中交换原有的货币,问货币能否增值? 解析: 判断是否存在正环即可  用spfa  负环和正环的判定方法一样  如果一个点的进队次数超过n次 则存在环 代码如 ...

  7. JPQL设置自增长、只读、文本类型等的注解

    JAVA中使用JPQL 一种设置id自动生成,自增长的方法 private long id; @Id @GeneratedValue(generator="_native") @G ...

  8. BZOJ 4556: [Tjoi2016&Heoi2016]字符串(后缀数组 + 二分答案 + 主席树 + ST表 or 后缀数组 + 暴力)

    题意 一个长为 \(n\) 的字符串 \(s\),和 \(m\) 个询问.每次询问有 \(4\) 个参数分别为 \(a,b,c,d\). 要你告诉它 \(s[a...b]\) 中的所有子串 和 \(s ...

  9. 【BZOJ1880】[Sdoi2009]Elaxia的路线(最短路)

    [BZOJ1880][Sdoi2009]Elaxia的路线(最短路) 题面 BZOJ 洛谷 题解 假装我们知道了任意两点间的最短路,那么我们怎么求解答案呢? 不难发现公共路径一定是一段连续的路径(如果 ...

  10. 结构体练习(C)

    结构体存储学生学号.姓名.总分,动态内存分配增加信息,然后排序 # include <stdio.h> # include <malloc.h> //# include < ...