推荐5个机器学习Python 库,国内外评价超高
机器学习令人无比神往,但从事这个工作的人可能并不这么想。
机器学习的工作内容往往复杂枯燥又困难——通过大量重复工作进行提升必不可少:
汇总工作流及传输渠道、设置数据源以及在内部部署和云部署的资源之间来回分流。
所以使用工具提升你的工作效率实在很关键,而且像这样的工具越多越好。
好在你学的是Python,作为一门威力巨大的工具语言,Python可以给你提供足够的辅助工具,让你在大数据和机器学习项目中游刃有余。
唯一的问题在于Python海量的资源库让患有选择困难症的你难以取舍,因此糖豆贴心的给你找来了目前评价最高的五个Python库。
1. PyWren
项目地址:https://github.com/ericmjonas/pywren
PyWren项目
PyWren,简单而强大,用于进行基于Python的科学计算工作。
项目 At The New Stack 的简介这样描述 PyWren:
把 AWS Lambda 作为一个巨大的平行处理系统,以处理那些可被切割成诸多小任务的项目,同时还可以节约很多内存和硬盘空间。
Lambda 函数的一个缺点是运行时间最长不能超过 300 秒。
但是,如果你有一个只花费几分钟就能完成却需要在数据集中运行数千次的工作,那么 PyWren 也许是一个好选择,它可以在云端完成一种用户硬件上不可用的规模平行化的工作。
2. Tfdeploy
项目地址:https://github.com/riga/tfdeploy
Tfdeploy项目
如果你需要使用基于谷歌的 TensorFlow 框架的训练模型却不想使用框架本身的话,Tfdeploy可以帮你。
借由 Tfdeploy,可以在 Python 中使用模型,而且仅仅需要Numpy 的数学和统计库作为支撑。
几乎所有能在 TensorFlow 上跑的运行也能在 Tfdeploy 上跑,而且你可以通过标准 Python 隐喻方式来延伸库的行为(比如,超载一个类别)。
但是,Tf 部署并不支持 GPU 加速。
3.Luigi
项目地址:https://github.com/spotify/luigi
Luigi项目
编写成批作业通常只是处理海量数据的其中一步:你也不得不将所有这些工作串联起来,做成类似工作流程的东西。
Luigi 是 Spotify 打造的,用于解决所有通常与长期运行成批处理作业有关的管道问题。
有了 Luigi,研发人员就可以从事几个很难、与数据无关的任务处理——「 Hive 询问,在 Jave 上完成的 Hadoop 任务, Scala 上的 Spark 任务,从数据库中导出表格」——创造一个端到端运行它们的工作流。
对任务的整个描述以及依存性被打造为 Python 模块,和 XML 配置文档或其他数据形式不同,因此,可以被组合到其他以 Python 为中心的项目中去。
4.Kubelib
项目地址:https://github.com/safarijv/kubelib
Kubelib项目
如果你采用 Kubernetes 作为完成机器学习工作的编排系统(orchestration system),那你可能要小心的维护以免其自身运行的BUG比它能解决的问题都多。
Kubelib 为 Kubernetes 提供了一系列的 Python 接口,虽说需要 Jekins ing 作为支持,但没有 Jenkins 的情况下也能够使用。
它能够完成 暴露在 kubectl CLI 或者 Kubernetes API 中的所有事。
5.PyTorch
项目地址:https://github.com/pytorch/pytorch
PyTorch项目
最后一个成员还比较新,但却已经制造了足够大的声势:Python 库新成员 Pytorch,这一个Torch 机器学习框架工具。
PyTorch 不仅为 Torch 添加了 Python 端口,也增加了许多其他的便利,比如 GPU 加速,共享内存完成多重处理(multiprocessing,特别是多核上隔离开的工作。)
最大的亮点在于它们能为 Numpy 中的无加速功能提供 GPU 驱动的替代选择。
推荐5个机器学习Python 库,国内外评价超高的更多相关文章
- 机器学习 python库 介绍
开源机器学习库介绍 MLlib in Apache Spark:Spark下的分布式机器学习库.官网 scikit-learn:基于SciPy的机器学习模块.官网 LibRec:一个专注于推荐算法的j ...
- 推荐11个实用Python库
1.delorea 非常酷的日期/时间库 from delorean import Delorean EST = "US/Eastern"d = Delorean(timezone ...
- 推荐一些相见恨晚的 Python 库 「一」
扯淡 首先说明下,这篇文章篇幅过长并且大部分是链接,因此非常适合在电脑端打开访问. 本文内容摘自 Github 上有名的 Awesome Python.这是由 vinta 在 14 年发起并持续维护的 ...
- 程序员用于机器学习数据科学的3个顶级 Python 库
NumPy NumPy(数值 Python 的简称)是其中一个顶级数据科学库,它拥有许多有用的资源,从而帮助数据科学家把 Python 变成一个强大的科学分析和建模工具.NumPy 是在 BSD 许可 ...
- 20个必不可少的Python库也是基本的第三方库
个属于我常用工具的Python库,我相信你看完之后也会觉得离不开它们.他们是: Requests.Kenneth Reitz写的最富盛名的http库.每个Python程序员都应该有它. Scrapy. ...
- Python 库大全
作者:Lingfeng Ai链接:http://www.zhihu.com/question/24590883/answer/92420471来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非 ...
- 哪些 Python 库让你相见恨晚?【转】
原文链接:https://www.zhihu.com/question/24590883/answer/92420471 原文链接:Python 资源大全 ---------------- 这又是一个 ...
- 9个用来爬取网络站点的 Python 库
上期入口:10个不到500行代码的超牛Python练手项目 1️⃣Scrapy 一个开源和协作框架,用于从网站中提取所需的数据. 以快速,简单,可扩展的方式. 官网:https://scrapy.or ...
- Python库资源大全
转载地址:https://zhuanlan.zhihu.com/p/27350980 本文是一个精心设计的Python框架.库.软件和资源列表,是一个Awesome XXX系列的资源整理,由BigQu ...
随机推荐
- 关于In-App Purchase(内购)的注意事项
前言:关于In-App Purchase(内购)的注意事项 一点注意事项: 内购应该有游客身份的购买选项,不然可能被拒,前一段时间我这边一直是因为没有游客身份购买被拒. 在验证内购结果的时候要注意使用 ...
- Oracle system 忘记密码,怎么修改密码
1.win键+R键,输入cmd,打开命令提示符.(小黑窗) 2.输入:sqlplus /nolog 3.输入conn /as sysdba(以超级管理员身份登录 4.输入alter user syst ...
- 工作流,WEB框架,UI组件网络收集整理
工作流,WEB框架,UI组件网络收集整理 在博客园上逛了好多年,随手收录了一些工作流,WEB开发框架,UI组件,现在整理一下与大家分享. 由于个人能力与精力有限,望各位园友在评论中补充,我将全部整理到 ...
- NEC 框架规范 css reset
/* reset */html,body,h1,h2,h3,h4,h5,h6,div,dl,dt,dd,ul,ol,li,p,blockquote,pre,hr,figure,table,captio ...
- SP1716 GSS3 - Can you answer these queries III(单点修改,区间最大子段和)
题意翻译 nnn 个数, qqq 次操作 操作0 x y把 AxA_xAx 修改为 yyy 操作1 l r询问区间 [l,r][l, r][l,r] 的最大子段和 题目描述 You are give ...
- LVS NAT,DR,TUN三种负载原理
负载均衡简单介绍 用通俗的话来说负载均衡,就是通过不同的调度机制将用户的请求分派到后端不同的服务器.缓解服务器的请求压力,实现负载均衡的方案有多种,下面简单说说了解的几种方式: DNS 负载:利用DN ...
- samba文件共享服务的配置
samba文件共享服务的配置 服务端配置 一.安装samba软件包 命令:yum -y install samba 查看是否安装samba. [root@Centos7-Server haha]# [ ...
- 出现java.lang.NoSuchMethodError错误的原因
作为Java开发者我们都遇到过java.lang.NoSuchMethodError错误,究其根源,是JVM的"双亲委托模型"引发的问题.如果在类路径下放置了多个不同版本的类包,如 ...
- php post提交xml文件
<?php header("Content-type: text/xml;"); // xml code demo $xmlData = '<?xml version= ...
- Hadoop参数调优
转自:http://blog.sina.com.cn/s/blog_6a67b5c50100vop9.html dfs.block.size 决定HDFS文件block数量的多少(文件个数),它会间接 ...