序: 为什么要集成脚本,怎么在工程中集成Python脚本。

在做比较大型的工程时,一般都会分核心层和业务层。核心层要求实现高效和稳定的基础功能,并提供调用接口供业务层调用的一种标准的框架划分。在实际中根据需求会拆分的更细。外部的表现形式就是一个核心动态库,带着一堆业务业务动态库。通过一个调度程序把这些链接起来,外加一堆配置文件,就形成一个完成的项目。

这种模式在一个团队开发中,工作职责比较容易划分。制定API接口后,开发工作基本可以并行实现,包括后期的功能测试(白盒、黑盒)。不管工程使用什么语言,基本都是如此。

c语言无疑是很强大而又灵活的,但是开发比较复杂,开发工期比较长。全部使用c/c++ 进行开发的话,编译调试整合发布,就需要大量时间,包括运营维护的话,呵呵~ 。整个产品的生命周期需要投入大量的人力来维持这个产品。特别是对做定制的最终用户的话,那就可能就是一场旷日持久战。

刚才说的一般工程都会包括2方面,核心和扩展。是公司级产品的话,一定会出于盈利问题,会对核心做保密(商业机密)。扩展是在核心基础上实现的,很大程度上保密等级就没那么高,甚至可以是开放式的。方便有一定能力的用户直接扩展。这是最理想的一种情况。

如果业务层还是使用c/c++的话,估计用户没有几个有能力或者说不太愿意去做扩展。只能公司团队进行维护和扩展。当然开源项目除外,活跃的开源项目还是有很多大侠们愿意去扩展的。当降低扩展的难度,不仅可以缩短开发周期降低成本,降低运营维护成本。如果产品够优秀,还能吸引有一定能力的客户来帮忙做扩展。扩展简单方便,用户自己都能扩展,项目运营成本必定降低。这就皆大欢喜。

脚本是一个非常方便的东西,不需要编译直接运行就能看到结果。不用考虑大量系统相关的开发技巧,更贴近实际业务的描述,修正问题不需要重新编译发布,维护非常方便。能大大提供生产效率,这就是我们所须要的。现在流行的脚本语言有很多Ruby、Perl、Python、Lua、Javascript等等。。。,反正很多。

脚本语言比较:

1、python: 简单易学,有大量扩展可以使用。

2、Ruby: 魔幻型纯面向对象语言,非常灵活,学习相对其他语言有一定难度。

3、Lua: 超轻量级,性能高效。很多游戏使用Lua提供扩展。

使用那种脚本作为扩展,要看实际项目和现有资源的情况而定。本文只介绍python的集成。

废话这么多,主要的目的就下面几个。

扩展目的:

1、高可配性。 解决一些简单配置不能实现的组织、回调功能,避免改动重编重发布。

2、为了使用已有的库。 如原来你有很多积累,写了一些适合工程开发的库。

3、优化程序提升性能。 对脚本程序使用库的一种情况。

集成: 就是通过简单、直接和快速的在不同语言直接调度切换控制,属于无缝连接。就像使用同一种语言在不同的动态库之间调度。而不是那种使用套接字和管道等的间接调度。

混合开发中,不管python或C都可以作为“上层”。因此两方面都要提供入口提供对方调度。这个其实和正常的同一语言编写的插件模式是一致的。核心提供接口和注册入口,扩展注册入口并调用接口。

嵌入接口: C程序中运行Python的代码

扩展接口: Python程序中运行C的代码库

测试环境:

window 7

vs2015

python 3.5

1、准备环境

使用的Python是3.5版本的。

首先肯定是须要个python的运行环境,可以直接从官网python.org下载Python3.x 进行安装。建议直接下源代码编译,因为里面有很多代码可以参考。

windows配置

python安装路径以下为例d:\python,在系统的用户环境变量中添加。

1、 增加python搜索路径,方便代码运行调试

path=d:\python;d:\python\pcbuild\win32

2、 增加python环境路径。加载模块时默认会从配置路径中搜索。

PYTHONPATH=.;d:\python\lib;d:\python\pcbuild\win32;D:\Python\Lib\site-packages;d:\python

3、 增加编译路径。

PyInc=d:\python\include;d:\python\pc
PyLib=d:\python\pcbuild\win32

方便VS搜索路径配置。在工程中,只需引用配置变量路径,可以直接使用$(PyInc) 和 $(PyLib)。

提示: 由于是自己编译的,一些环境参数没有须要自己加。注意大小写

2.1、嵌入Python第一个简单工程

创建测试工程

在VS中创建一个空的VC++控制台程序。在工程选择的搜索目录中加入$(PyInc)

选择菜单:Project->Properties...

VC++ Directories分类的Include Directories中加入先前定义的环境变量$(PyInc)。确保Python的头文件能搜索到。

使用环境变量的一个好处是,方便不同机器不同环境的切换,不需要修改工程配置。

提示: 可以不建工程,直接使用makefile方式进行编译。

创建script.py脚本

在工程中创建一个新文件,直接改名为script.py,复制下面内容。

注意: 编码设置为UTF-8

"""
在C中调用Python模块运行。
调用时须要把文件放在程序当前运行目录(保证在搜索目录中)。
www.moguf.com 2016-05-28
""" message = 'hello life...' def transform(input):
input = input.replace('life', 'Python')
return input.upper()

在Python环境中运行这个脚本,可以得到下面结果。可以看到打印出 hello life... 和转换后的字符串 HELLO PYTHON...

Microsoft Windows [版本 6.1.7601]
版权所有 (c) 2009 Microsoft Corporation。保留所有权利。 C:\Users\CrystalIce>cd /d D:\Dev\MySimple\pythoninc\embedsimple D:\Dev\MySimple\pythoninc\embedsimple>python
Running Release|Win32 interpreter...
Python 3.5.0 (default, Nov 4 2015, 21:58:28) [MSC v.1900 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import script
>>> print(script.message)
hello life...
>>> x = script.message
>>> print(script.transform(x))
HELLO PYTHON...
>>>

创建hello.c

在工程中添加一个新文件,命名为hello.c。复制下面内容。

//
// C code runs Python code in this module in embedded mode.
// print hello string
//
// www.moguf.com 2016-05-28
// #include <python.h> int main()
{
Py_Initialize(); PyRun_SimpleString("print('run python ...')");
PyRun_SimpleString("import script");
PyRun_SimpleString("print(script.message)");
PyRun_SimpleString("x = script.message");
PyRun_SimpleString("print(script.transform(x))"); Py_Finalize();
}

运行程序

在程序最后下个断点,方便查看运行结果。直接运行程序可以看到下面结果。

run python ...
hello life...
HELLO PYTHON...

基本调用流程解析

使用C程序运行Python脚本代码,可以通过使用Python字符串,调用Python对象或模板之类的所有操作。

流程:

1、初始化Python解析器

2、执行Python代码,字符串,对象或模块。

3、关闭Python解析器。

上面代码嵌入过程很容易。但在实际使用中想要更好的整合,须要了解提供的API和不同语言之间的转换。

Python嵌入C的基础API

下面几个基础API,在C中能很容易的执行Python脚本中的代码。包括字典、数组和对象。当然想要更好的混合交互须要熟悉所有的API。

C API 调用 Python 对应
PyImport_ImportModel import module
PyImport_ReloadModule reload(module)
PyImport_GetModuleDict module.__dict__
PyDict_GetItemString dict[key]
PyDict_SetItemString dict[key] = value
PyDict_New dict = {}
PyObject_GetAttrString getattr(obj, attr)
PyObject_SetAttrString setattr(obj, attr, val)
PyObject_CallObject funcobj(*argstuple)
PyEval_CallObject funcobj(*argstuple)
PyRun_String eval(exprstr) , exec(stmtstr)
PyRun_File exec(open(filename().read())

建议: 去官网下载一个手册,方便查看API。https://docs.python.org/3/download.html

2.2、使用C扩展Python

2.1的内容只是通过C程序调用Python脚本,要让Python脚本能调用C代码,就须要扩展。用C扩展Python功能那就简单很多。有很多实例可以参考。Python源代码就是宝库。

创建扩展工程 hello

在VS中创建一个空的动态库hello工程(先不要改名)。在工程配置中增加搜索路径。

在VS生成时有些特殊。生成的后缀选择.pyd主要是为防止和系统.dll产生冲突。

在工程选项界面中设置工程输出名称为$(ProjectName)_d,输出扩展名称为.pyd

并在Linker页面Input组中设置库依赖为python35_d.lib

不同的编译模式的设置:

Release 下使用的依赖库为pythonXY.lib

Debug 下使用依赖库为 pythonXY_d.lib

注意:

debug 模式生成应为 hello_d.pyd

release 模式生成应为 hello.pyd

创建hello.c扩展代码

在工程中新建hello.c文件,复制下面内容。

//
// A simple C extension module for python, called "hello"
//
// www.moguf.com 2016-05-28
// #include <python.h>
#include <string.h> //
// module functions
//
static PyObject * // returns object
message(PyObject *self, PyObject *args)
{
char *fromPython, result[1024];
if (!PyArg_Parse(args, "(s)", &fromPython)) // convert Python -> C
return NULL; // exception null = raise
else {
strcpy(result, "Hello , "); // build up C string
strcat(result, fromPython); // add passed Python string
return Py_BuildValue("s", result); // convert C -> Python
}
} //
// registration methods table
static PyMethodDef hello_methods[] = {
{ "message", message, METH_VARARGS, "func doc" }, // format: name, &func, fmt, doc { NULL, NULL, 0, NULL } // end
}; // module definition structure
static struct PyModuleDef hellomodule = {
PyModuleDef_HEAD_INIT,
"hello", // module name
"mod doc", // module documentation,
-1,
hello_methods // methods table
}; //
// module initializer
PyMODINIT_FUNC
PyInit_hello()
{
return PyModule_Create(&hellomodule);
}

上面的代码主要分为四块。

第一块: 模块功能实现函数

第二块: 注册功能函数

第三块: 定义模块申明

第四块: 初始化模块。动态加载就不需要这块内容,集成时会使用动态加载。

通过上述定义为Python脚本调用提供访问入口,这就是通常所说的胶水代码。具体定义直接看代码注释,就不啰嗦了。

这里须要注意的是定义中的名称hello。在第三块模型注册的时候是名称为hello、第四块中函数的初始化名称PyInit_hello()。在python3中的名称规定比较严格,初始化函数名称格式为PyInit_xxx, xxx为注册的模块名称。

即对Python扩展工程中的工程名称注册名称初始化名称须要保持一致。

编译测试运行

编译hello工程(debug版本),在Python调试版本下运行。python调试环境使用python_d命令进入。

可以看到下面结果,就说明OK了

Microsoft Windows [版本 6.1.7601]
版权所有 (c) 2009 Microsoft Corporation。保留所有权利。 C:\Users\CrystalIce>cd /d D:\Dev\MySimple\pythoninc\Debug D:\Dev\MySimple\pythoninc\Debug>dir
驱动器 D 中的卷是 Docs
卷的序列号是 0002-2203 D:\Dev\MySimple\pythoninc\Debug 的目录 2016-05-28 23:10 <dir> .
2016-05-28 23:10 <dir> ..
2016-05-28 23:10 639 hello_d.exp
2016-05-28 23:10 247,520 hello_d.ilk
2016-05-28 23:10 1,718 hello_d.lib
2016-05-28 23:10 503,808 hello_d.pdb
2016-05-28 23:10 35,840 hello_d.pyd
5 个文件 789,525 字节
2 个目录 27,394,551,808 可用字节 D:\Dev\MySimple\pythoninc\Debug>python_d
Python 3.5.0 (default, Nov 4 2015, 21:57:44) [MSC v.1900 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import hello
>>> print(hello.message('C'))
Hello , C
>>> print(hello.message('module ' + hello.__file__))
Hello , module D:\Dev\MySimple\pythoninc\Debug\hello_d.pyd
>>>

如果在运行调试中出现下面情况,是Python找不到hello模块导致的。

>>> import hello
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
ImportError: No module named 'hello'

大致原因:

编译的模块名称有问题,加载不到模块。Python在debug环境下会调用 xxx_d.pyd,release下会调用 xxx.pyd。

创建hellouse.py 调用hello扩展模块

在工程中新建一个hellouse.py,用于调度hello扩展模块。

注意: 编码设置为UTF-8

内容如下:

"""
import and use a C extension library module
www.moguf.com 2016-05-28
""" import hello print(hello.message('C'))
print(hello.message('module ' + hello.__file__))

把这个脚本复制到hello_d.pyd扩展库所在目录,并执行 。可以看到和刚才测试输出的结果是一致的。

D:\Dev\MySimple\pythoninc\Debug>python_d hellouse.py
Hello , C
Hello , module D:\Dev\MySimple\pythoninc\Debug\hello_d.pyd

相关编译问题:

如果自己建的工程编译或调试,老出现状况。可以直接使用Python提供的PC\example_ntVS示例工程作为参考。

2.3、集成Python,实现双工

先前的的两个示例都是单方面调用,c调用Python 和 Python调用c的扩展模型。并没有交互。在实际工程中不太可能有这种情况,一定是相互交叉调用。

创建duplex工程

在VS中创建一个空的控制台程序,并设置Python代码搜索路径,参照2.1。

创建duplex.c 文件

这个原文件包括了脚本调用和胶水代码的实现。和2.1、2.2的内容基本一致。其中主要的差异在Python模块的注册上

PyImport_AppendInittab("hello_api", &PyInit_hello_api);

实际对外注册的模块在程序启动时执行,并没有作导出。

文件内容如下。

//
// c API module, test c embedding and extending
//
// www.moguf.com 2016-05-29
// #include <python.h>
#include <string.h> void helloWorld(char *param)
{
if (param)
printf("It's c, hello %s", param);
else
printf("It's c, hello ");
} static PyObject *
message(PyObject *self, PyObject *args)
{
char *fromPython;
if (!PyArg_Parse(args, "(s)", &fromPython))
helloWorld(NULL);
else
helloWorld(fromPython); return Py_BuildValue("");
} static PyMethodDef hello_methods[] = {
{ "message", message, METH_VARARGS, "func doc" }, { NULL, NULL, 0, NULL } // end
}; static struct PyModuleDef hello_api = {
PyModuleDef_HEAD_INIT,
"hello_api",
"mod doc",
-1,
hello_methods
}; static PyObject*
PyInit_hello_api(void)
{
return PyModule_Create(&hello_api);
} int main(int argc, char** argv)
{
PyObject* module;
PyObject* func; // add c api to modules
PyImport_AppendInittab("hello_api", &PyInit_hello_api); Py_Initialize();
if (!Py_IsInitialized()) {
PyErr_Print();
printf("Couldn't init python");
return -1;
} module = PyImport_ImportModule("plugins");
if (module) {
func = PyObject_GetAttrString(module, "helloWorld");
if (func && PyCallable_Check(func)) {
PyObject* pArgs = NULL;
PyObject* pReturnVal = PyObject_CallObject(func, pArgs);
}
else {
PyErr_Print();
printf("error: no func\n");
} Py_XDECREF(func);
Py_DECREF(module);
}
else {
PyErr_Print();
printf("err: no module");
} Py_Finalize();
return 0;
}

创建脚本plugins.py

内容如下

"""
Module to test c embedding and extending
www.moguf.com 2016-05-29
""" import hello_api def helloWorld():
print("it's Python, Hello C")
hello_api.message('python')
return

运行测试

在 main函数结束的位置设置断点,这用方便查看结果。运行程序。

it's Python, Hello C
It's c, hello python

可以看到,第一行打印是由Python脚本实现输出,第二行是由python调用程序的API实现打印输出。

3、后续

通过上述简单的三个实例实现了c语言和Python脚本的集成。简单、直接和快速的在不同语言直接调度切换控制。

由于Python开始时本身就是基于C写的,所有对c的支持是非常好的。能在c/c++中很方便的进行集成。不过要想更好的实现脚本和C进行交互,那就须要熟悉并使用提供的API。

后续将会使用Python脚本作为插件扩展一种模式,在实际工程中实现业务的一些方案。

相关参考:

1、官方帮助 https://docs.python.org/3/

2、源代码:https://github.com/cmacro/simple/tree/master/pythoninc

工程脚本插件方案 - c集成Python基础篇的更多相关文章

  1. 工程脚本插件方案 - c集成Python基础篇(VC++嵌入Python)

    序: 为什么要集成脚本,怎么在工程中集成Python脚本. 在做比较大型的工程时,一般都会分核心层和业务层.核心层要求实现高效和稳定的基础功能,并提供调用接口供业务层调用的一种标准的框架划分.在实际中 ...

  2. 面试题之第一部分(Python基础篇) 80题

    第一部分(python基础篇)80题 为什么学习Python?==*== # 1. python应用于很多领域,比如后端,前端,爬虫,机器学习(人工智能)等方面,几乎能涵盖各个开发语言的领域,同时它相 ...

  3. python基础篇-day1

    python基础篇 python是由C语言写的: pass 占位符: del,python中全局的功能,删除内存中的数据: 变量赋值的方法: user,pass = 'freddy','freddy1 ...

  4. python基础篇(六)

    PYTHON基础篇(六) 正则模块re A:正则表达式和re模块案例 B:re模块的内置方法 时间模块time A:时间模块的三种表示方式 B:时间模块的相互转换 随机数模块random A:随机数模 ...

  5. python基础篇(三)

    PYTHON基础篇(三) 装饰器 A:初识装饰器 B:装饰器的原则 C:装饰器语法糖 D:装饰带参数函数的装饰器 E:装饰器的固定模式 装饰器的进阶 A:装饰器的wraps方法 B:带参数的装饰器 C ...

  6. python基础篇之进阶

    python基础篇之进阶 参考博客:http://www.cnblogs.com/wupeiqi/articles/5115190.html python种类 1. cpython  使用c解释器生产 ...

  7. python基础篇(五)

    PYTHON基础篇(五) 算法初识 什么是算法 二分查找算法 ♣一:算法初识 A:什么是算法 根据人们长时间接触以来,发现计算机在计算某些一些简单的数据的时候会表现的比较笨拙,而这些数据的计算会消耗大 ...

  8. python基础篇(一)

    PYTHON基础篇(一) 变量 赋值 输入,输出和导入 A:输入 B:输出 C:导入 运算符 A:算数运算符 B:比较运算符 C:赋值运算符 D:位运算符 E:逻辑运算符 F:成员运算符 G:身份运算 ...

  9. python基础篇(二)

    PYTHON基础篇(二) if:else,缩进 A:if的基础格式和缩进 B:循环判断 C:range()函数和len()函数 D:break,contiue和pass语句 for,while循环 函 ...

随机推荐

  1. 转 mysqli 事务常用方法

    原文:mysqli 事务常用方法 1. //打开(true)或关闭(false)本次数据库连接的自动命令提交事务模式 //参数如果设置为 FALSE,则表示关闭 auto-commit.如果设置为 T ...

  2. Spring Boot—06集成前端模板thymeleaf

    Spring Boot建议使用这些模板引擎,避免使用JSP,若一定要使用JSP将无法实现Spring Boot的多种特性 pom.xml <dependency> <groupId& ...

  3. ORACLE 导出表结构及备注

    https://blog.csdn.net/u013303551/article/details/52354230 SELECT t.table_name,       t.colUMN_NAME,  ...

  4. MQTT介绍(1)简单介绍

    MQTT目录: MQTT简单介绍 window安装MQTT服务器和client java模拟MQTT的发布,订阅 MQTT: MQTT(Message Queuing Telemetry Transp ...

  5. python学习手册中的一些易忘的点(前三部分)

    1.ubuntu下让python脚本可直接运行: test.py文件(后缀可省)#!/usr/bin/pythonprint('wwwww') sudo chmod +x ./test.py (sud ...

  6. 【日常记录】【unity3d】 2D跳跃过快导致角色某帧陷入地面

    如果角色运动过快会导致嵌入地面再反弹出来 : 可以使用更高质量的检测方式 "Continuous" :就可以解决这个问题

  7. Java中的消息框

    JOptionPane.showMessageDialog(newFrame.getContentPane(),"弹出的是消息提示框!", "系统信息", JO ...

  8. NSOperation的使用细节 [1]

    NSOperation的使用细节 [1] NSOperation 使用起来并没有GCD直观,但它有着非常不错的面向对象接口,还可以取消线程操作,这一点是GCD所没有的,NSOperation本身是抽象 ...

  9. Python 系统学习梳理_【All】

    Python学习 1. Python学习---Python安装与基础1205 2. Python学习---PyCharm的使用学习 3. Python学习---Python数据类型1206 4. Py ...

  10. 连接Mysql错误 error 1042 can't get hostname for your address

    背景: 1.etc下的hosts文件有:     127.0.0.1   localhost 2.MySQL的my.ini配置文件:     [mysqld] 节点下已经加入以下两行代码 skip-n ...