初探: 通过pyo3用rust为python写扩展加速
众所周知,python性能比较差,尤其在计算密集型的任务当中,所以机器学习领域的算法开发,大多是将python做胶水来用,他们会在项目中写大量的C/C++代码然后编译为so动态文件供python加载使用。那么时至今日,对于不想学习c/c++的朋友们,rust可以是一个不错的替代品,它有着现代化语言的设计和并肩c/c++语言的运行效率。
本文简单介绍使用rust为python计算性质的代码做一个优化,使用pyo3库为python写一个扩展供其调用,咱们下面开始,来看看具体的过程和效率的提升。(PS:本文只是抛砖引玉,初级教程)
我的台式机环境:
设备名称 DESKTOP
处理器 12th Gen Intel(R) Core(TM) i7-12700 2.10 GHz
机带 RAM 32.0 GB (31.8 GB 可用)
系统类型 64 位操作系统, 基于 x64 的处理器
1. python代码
首先给出python代码,这是一个求积分的公式:
import time
def integrate_f(a, b, N):
s = 0
dx = (b - a) / N
for i in range(N):
s += 2.71828182846 ** (-((a + i * dx) ** 2))
return s * dx
s = time.time()
print(integrate_f(1.0, 100.0, 200000000))
print("Elapsed: {} s".format(time.time() - s))
执行这段代码花费了: Elapsed: 32.59504199028015 s
2. rust
use std::time::Instant;
fn main() {
let now = Instant::now();
let result = integrate_f(1.0, 100.0, 200000000);
println!("{}", result);
println!("Elapsed: {:.2} s", now.elapsed().as_secs_f32())
}
fn integrate_f(a: f64, b: f64, n: i32) -> f64 {
let mut s: f64 = 0.0;
let dx: f64 = (b - a) / (n as f64);
for i in 0..n {
let mut _tmp: f64 = (a + i as f64 * dx).powf(2.0);
s += (2.71828182846_f64).powf(-_tmp);
}
return s * dx;
}
执行这段代码花费了: Elapsed: 10.80 s
3. 通过pyo3写扩展
首先创建一个项目,并安装 maturin
库:
# (replace demo with the desired package name)
$ mkdir demo
$ cd demo
$ pip install maturin
然后初始化一个pyo3项目:
$ maturin init
What kind of bindings to use? · pyo3
Done! New project created demo
整体项目结构如下:
Cargo.toml中的一些字段含义:https://doc.rust-lang.org/cargo/reference/manifest.html
.
├── Cargo.toml // rust包管理文件,会在[lib]中声明目标扩展包的名称
├── src // rust源文件目录, 你的扩展文件就写在这里,这个目录是maturin初始化的时候自动创建
│ └── lib.rs // 扩展文件
├── pyproject.toml // python包管理文件,里面有python的包名字定义
├── .gitignore
├── Cargo.lock
└── demo // 我们的目标模块名称,需手动创建
├── main.py // 用来测试的文件
└── demo.cp312-win_amd64.pyd // 编译生成的动态链接库文件,供import给python使用
在src/lib.rs
下写入:
use pyo3::prelude::*;
/// Caculate the integrate.
#[pyfunction]
fn integrate_f(a: f64, b: f64, n: i32) -> f64 {
let mut s: f64 = 0.0;
let dx: f64 = (b - a) / (n as f64);
for i in 0..n {
let mut _tmp: f64 = (a + i as f64 * dx).powf(2.0);
s += (2.71828182846_f64).powf(-_tmp);
}
return s * dx;
}
/// A Python module implemented in Rust. The name of this function must match
/// the `lib.name` setting in the `Cargo.toml`, else Python will not be able to
/// import the module.
#[pymodule]
fn demo(_py: Python<'_>, m: &PyModule) -> PyResult<()> {
m.add_function(wrap_pyfunction!(integrate_f, m)?)?;
Ok(())
}
然后我们通过两种途径来使用它:
3.1 将扩展安装为python包
$ maturin develop
这个命令会将rust代码转为python的包,并安装在当前python环境内。通过 pip list
就能看到。
3.2 编译成动态文件从python加载
$ maturin develop --skip-install
--skip-install
命令会产生一个 pyd
文件而不是将其安装为python的包 - demo.cp312-win_amd64.pyd
文件在当前目录下,然后python可以直接导入使用。
另外还有一个指令替换
--skip-install
为--release
会生成一个xxxx.whl
文件,也就是Python pip安装的包源文件。
首先我们在rust项目下,与 Cargo.toml
同级目录下,创建一个 demo
目录,然后我们写一个python文件 demo/main.py
,下面是扩展的执行效果:
import time
import demo
s = time.time()
print(demo.integrate_f(1.0, 100.0, 200000000))
print("Elapsed: {} s".format(time.time() - s))
花费时间为:Elapsed: 10.908721685409546 s
可以看到python的执行时间是rust和rust扩展的3倍时长,单进程看着好像不太大是吧,下面还有并行版本。
4 并行加速
4.1 python多进程效果
Python多进程很神奇,你写的不好的话,他比单进程下还要慢。
import math
import os
import time
from functools import partial
from multiprocessing import Pool
def sum_s(i: int, dx: float, a: int):
return math.e ** (-((a + i * dx) ** 2))
def integrate_f_parallel(a, b, N):
s: float = 0.0
dx = (b - a) / N
sum_s_patrial = partial(sum_s, dx=dx, a=a)
with Pool(processes=os.cpu_count()) as pool:
tasks = pool.map_async(sum_s_patrial, range(N), chunksize=20000)
for t in tasks.get():
s += t
return s * dx
if __name__ == "__main__":
s = time.time()
print(integrate_f_parallel(1.0, 100.0, 200000000))
print("Elapsed: {} s".format(time.time() - s))
花费时间: Elapsed: 18.86696743965149 s
,比单进程下时间少了不到一半。
4.2 rust多线程加速给python使用
如果我们使用rust的并行库,将rust进一步加速,速度效果更明显:
将上面的 integrate_f
替换为下面的多线程版本:
use pyo3::prelude::*;
use rayon::prelude::*;
#[pyfunction]
fn integrate_f_parallel(a: f64, b: f64, n: i32) -> f64 {
let dx: f64 = (b - a) / (n as f64);
let s: f64 = (0..n)
.into_par_iter()
.map(|i| {
let x = a + i as f64 * dx;
(2.71828182846_f64).powf(-(x.powf(2.0)))
})
.sum();
return s * dx;
}
/// A Python module implemented in Rust. The name of this function must match
/// the `lib.name` setting in the `Cargo.toml`, else Python will not be able to
/// import the module.
#[pymodule]
fn demo(_py: Python<'_>, m: &PyModule) -> PyResult<()> {
m.add_function(wrap_pyfunction!(integrate_f_parallel, m)?)?;
Ok(())
}
执行上一个标题3.2的步骤,然后在引入python使用:
import time
import demo
s = time.time()
print(demo.integrate_f_parallel(1.0, 100.0, 200000000))
print("Elapsed: {} s".format(time.time() - s))
花费时间为:Elapsed: 0.9684994220733643 s
。这比原先的单线程rust版本又快了10倍。但是差不多是python并行版本的18倍左右,是python单进程版本的32倍左右。如果我们将一些关键的性能通过rust重写,可以节省的时间成本是十分可观的。
总体来看,整体的使用过程相当简洁方便,难点就是rust的学习曲线高,使用起来需要花费精力,但是还是可以慢慢尝试去使用它优化已有的项目性能,哪怕只是一个功能函数,熟能生巧,一切慢慢来。
以上数据比较仅供参考,不同机器可能差异也不同。
- 参考文章:
初探: 通过pyo3用rust为python写扩展加速的更多相关文章
- Python之美[从菜鸟到高手]--一步一步动手给Python写扩展(异常处理和引用计数)
我们将继续一步一步动手给Python写扩展,通过上一篇我们学习了如何写扩展,本篇将介绍一些高级话题,如异常,引用计数问题等.强烈建议先看上一篇,Python之美[从菜鸟到高手]--一步一步动手给Pyt ...
- Python写各大聊天系统的屏蔽脏话功能原理
Python写各大聊天系统的屏蔽脏话功能原理 突然想到一个视频里面弹幕被和谐的一满屏的*号觉得很有趣,然后就想用python来试试写写看,结果还真玩出了点效果,思路是首先你得有一个脏话存放的仓库好到时 ...
- python写红包的原理流程包含random,lambda其中的使用和见简单介绍
Python写红包的原理流程 首先来说说要用到的知识点,第一个要说的是扩展包random,random模块一般用来生成一个随机数 今天要用到ramdom中unifrom的方法用于生成一个指定范围的随机 ...
- Python写地铁的到站的原理简易版
Python地铁的到站流程及原理(个人理解) 今天坐地铁看着站牌就莫名的想如果用Python写其工作原理 是不是很简单就小试牛刀了下大佬们勿喷纯属小弟个人理解 首先来看看地铁上显示的站牌如下: 就想这 ...
- 用Python写一个简单的Web框架
一.概述 二.从demo_app开始 三.WSGI中的application 四.区分URL 五.重构 1.正则匹配URL 2.DRY 3.抽象出框架 六.参考 一.概述 在Python中,WSGI( ...
- 读书笔记汇总 --- 用Python写网络爬虫
本系列记录并分享:学习利用Python写网络爬虫的过程. 书目信息 Link 书名: 用Python写网络爬虫 作者: [澳]理查德 劳森(Richard Lawson) 原版名称: web scra ...
- Python写UTF8文件,UE、记事本打开依然乱码的问题
Python写UTF8文件,UE.记事本打开依然乱码的问题 Leave a reply 现象:使用codecs打开文件,写入UTF-8文本,正常无错误.用vim打开正常,但记事本.UE等打开乱码. 原 ...
- python 写的http后台弱口令爆破工具
今天来弄一个后台破解的Python小程序,哈哈,直接上代码吧,都有注释~~ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 ...
- python写xml文件
为了便于后续的读取处理,这里就将信息保存在xml文件中,想到得到的文件如下: 1 <?xml version="1.0" encoding="utf-8" ...
- 教你用python写:HDU刷题神器
声明:本文以学习为目的,请不要影响他人正常判题 HDU刷题神器,早已被前辈们做出来了,不过没有见过用python写的.大一的时候见识了学长写这个,当时还是一脸懵逼,只知道这玩意儿好屌-.时隔一年,决定 ...
随机推荐
- MySQL概述安装
一,数据库概述 1.为什么要使用数据库 将数据持久化. 持久化主要作用:是将内存中的数据库存储在关系型数据库中,本质也就是存储在磁盘文件中. 数据库在横向上的存储数据的条数,以及在纵向上存储数据的丰富 ...
- Postgresql——jsonb类型
Postgresql Json 最近有个功能,需要用到 NoSQL 数据库.但是又不想因为这个小小的功能给系统增加一个 MongoDB 数据库,于是就想到了 Postgresql 支持 JSON 类型 ...
- 【Android】使用litepal实现数据库的创建和升级
1.配置litepal 配置过程见:2.进行创建和升级数据库,可以省略sql语句的录入 定义一个Note类,代码如下 接下来将note类添加到映射模型列表当中,修改litepal.xml中的代码.如下 ...
- 安卓端出现https请求失败的一次问题排查
背景 某天早上,正在一个会议时,突然好几个同事被叫出去了:后面才知道,是有业务同事反馈到领导那里,我们app里面某个功能异常. 具体是这样,我们安卓版本的app是禁止截屏的(应该是app里做了拦截), ...
- vue-test --------事件修饰符
<template> <h3>事件修饰符</h3> <a @click="clickHandle" href="www.baid ...
- 使用Redis实现一个分布式的全局ID
当然实现方式有很多中,这里主要是记录一下使用Redis的实现方式 import lombok.extern.slf4j.Slf4j; import org.springframework.beans. ...
- 假如这个地方可能为null,那他一定会为null
假如你的代码,在某个地方(比如controller层)提示你:这个方法调用可能会产生null,那么千万不要视而不见,在某一瞬间它一定会是null,势必报错. /** * 修改保存管理员 */ @Pos ...
- Python——第二章:字符串操作——格式化
1. 字符串的格式化问题 举例:要按照如下格式输出一句话 我叫xxx, 我住在xxxx, 我今年xx岁, 我喜欢做xxxxx 这里首先引入占位符概念: %s 占位字符串%d 占位整数%f 占位小数 因 ...
- javascript中的标识符(JS)
1.在javascript(JS)中所有的可以由我们自主命名的都可以称为是标识符. 例如:变量名.函数名.属性名都属于标识符. 2.标识符命名一个标识符时需要遵守如下的规则: 1.标识符中可以含有字母 ...
- ubuntu 之 lftp 上传 和下载
1. 安装 sudo apt-get install lftp 2. 简单教程 2.0 声明:上传或下载文件 用get 或 mget,这种方式 不包含文件夹本身,如果需要连文件夹一起上传或下载则需要使 ...