在我多年的 Python 编程经历以及在 Github 上的探索漫游过程中,我发掘到一些很不错的 Python 开发包,这些包大大简化了开发过程,而本文就是为了向大家推荐这些开发包。
请注意我特别排除了像 SQLAlchemy 和 Flask 这样的库,因为其实在太优秀了,无需多提。
下面开始:
1. PyQuery (with lxml)
安装方法 pip install pyquery
Python 解析 HTML 时最经常被推荐的是 Beautiful Soup ,而且它的确也表现很好。提供良好的 Python 风格的 API,而且很容易在网上找到相关的资料文档,但是当你需要在短时间内解析大量文档时便会碰到性能的问题,简单,但是真的非常慢。
下图是 08 年的一份性能比较图:
这个图里我们发现 lxml 的性能是如此之好,不过文档就很少,而且使用上相当的笨拙!那么是选择一个使用简单但是速度奇慢的库呢,还是选择一个速度飞快但是用起来巨复杂的库呢?
谁说二者一定要选其一呢,我们要的是用起来方便,速度也一样飞快的 XML/HTML 解析库!
而 PyQuery 就可以同时满足你的易用性和解析速度方面的苛刻要求。
看看下面这几行代码:
1 |
from pyquery import PyQuery |
2 |
page = PyQuery(some_html) |
4 |
last_red_anchor = page( '#container > a.red:last' ) |
很简单吧,很像是 jQuery,但它却是 Python。
不过也有一些不足,在使用迭代时需要对文本进行重新封装:
1 |
for paragraph in page( '#container > p' ): |
2 |
paragraph = PyQuery(paragraph) |
3 |
text = paragraph.text() |
2. dateutil
安装方法:pip install dateutil
处理日期很痛苦,多亏有了 dateutil
01 |
from dateutil.parser import parse |
03 |
>>> parse( 'Mon, 11 Jul 2011 10:01:56 +0200 (CEST)' ) |
04 |
datetime.datetime( 2011 , 7 , 11 , 10 , 1 , 56 , tzinfo = tzlocal()) |
06 |
# fuzzy ignores unknown tokens |
08 |
>>> s = """Today is 25 of September of 2003, exactly |
09 |
... at 10:49:41 with timezone -03:00.""" |
10 |
>>> parse(s, fuzzy = True ) |
11 |
datetime.datetime( 2003 , 9 , 25 , 10 , 49 , 41 , |
12 |
tzinfo = tzoffset( None , - 10800 )) |
3. fuzzywuzzy
安装方法:pip install fuzzywuzzy
fuzzywuzzy 可以让你对两个字符串进行模糊比较,当你需要处理一些人类产生的数据时,这非常有用。下面代码使用Levenshtein 距离比较方法来匹配用户输入数组和可能的选择。
01 |
from Levenshtein import distance |
03 |
countries = [ 'Canada' , 'Antarctica' , 'Togo' , ...] |
05 |
def choose_least_distant(element, choices): |
06 |
'Return the one element of choices that is most similar to element' |
07 |
return min (choices, key = lambda s: distance(element, s)) |
09 |
user_input = 'canaderp' |
10 |
choose_least_distant(user_input, countries) |
这已经不错了,但还可以做的更好:
1 |
from fuzzywuzzy import process |
3 |
process.extractOne( "canaderp" , countries) |
4. watchdog
安装方法:pip install watchdog
watchdog 是一个用来监控文件系统事件的 Python API和shell实用工具。
5. sh
安装方法:pip install sh
sh 可让你调用任意程序,就好象是一个函数一般:
01 |
from sh import git, ls, wc |
03 |
# checkout master branch |
04 |
git(checkout = "master" ) |
06 |
# print(the contents of this directory |
09 |
# get the longest line of this file |
10 |
longest_line = wc(__file__, "-L" ) |
6. pattern
安装方法:pip install pattern
Pattern 是 Python 的一个 Web 数据挖掘模块。可用于数据挖掘、自然语言处理、机器学习和网络分析。
7. path.py
安装方法:pip install path.py
当我开始学习 Python 时,os.path 是我最不喜欢的 stdlib 的一部分。尽管在一个目录下创建一组文件很简单。
6 |
for f in os.listdir(some_dir): |
7 |
files.append(os.path.joinpath(some_dir, f)) |
但 listdir 在 os 而不是 os.path 中。
而有了 path.py ,处理文件路径变得简单:
3 |
some_dir = path( '/some_dir' ) |
5 |
files = some_dir.files() |
其他的用法:
04 |
>>> path( 'a/b/c' ).splitall() |
05 |
[path(' '), ' a ', ' b ', ' c'] |
08 |
>>> path( 'a' ) / 'b' / 'c' |
11 |
>>> path( 'ab/c' ).relpathto( 'ab/d/f' ) |
是不是要好很多?
- 063 Python必备库-从人机交互到艺术设计
目录 一.概述 二.Python库之图形用户界面 2.1 PyQt5 2.2 wxPython 2.3 PyGObject 三.Python库之游戏开发 3.1 PyGame 3.2 Panda3D ...
- Python开发:部分第三方库无法在线安装解决方法
前言:Python开发:Python2和Python3的共存和切换使用 一.问题如下: 1.截图: 2.错误信息: Could not find a version that satisfies th ...
- Python 开发安卓Android及IOS应用库Kivy安装尝试
Python 开发安卓Android及IOS应用库Kivy安装尝试: 先来看看这货可以用来制作什么应用: Create a package for Windows Create a package f ...
- 天下武功,无快不破,Python开发必备的6个库
01 Python 必备之 PyPy PyPy 主要用于何处? 如果你需要更快的 Python 应用程序,最简单的实现的方法就是通过 PyPy ,Python 运行时与实时(JIT)编译器.与使用普通 ...
- python 开发技巧(1)-- 用PyCharm安装第三方库
在python开发中,我们经常需要安装一些python的第三方类库,包等等,用PyCharm就会安装就会超级方便 1.打开上面的小扳手 2.点击页面左边的Project Interpreter 3.点 ...
- Python开发WebService--使用soaplib库
Python开发WebService--使用soaplib库 使用soaplib开发基于Python语言的WebService主要有以下四个步骤:一.准备环境 S1:下载插件Python.s ...
- 安装Python算法库
安装Python算法库 主要包括用NumPy和SciPy来处理数据,用Matplotlib来实现数据可视化.为了适应处理大规模数据的需求,python在此基础上开发了Scikit-Learn机器学习算 ...
- 常用python机器学习库总结
开始学习Python,之后渐渐成为我学习工作中的第一辅助脚本语言,虽然开发语言是Java,但平时的很多文本数据处理任务都交给了Python.这些年来,接触和使用了很多Python工具包,特别是在文本处 ...
- [Python] 机器学习库资料汇总
声明:以下内容转载自平行宇宙. Python在科学计算领域,有两个重要的扩展模块:Numpy和Scipy.其中Numpy是一个用python实现的科学计算包.包括: 一个强大的N维数组对象Array: ...
随机推荐
- C/C++ 宏中的 #、#@、##的作用
宏中的# 功能是将其后面的宏参数进行字符串化操作(Stringizing operator), 简单说就是在它引用的宏变量的左右各加上一个双引号. #define STRING(x) #x 下面二条语 ...
- Hibernate的关联映射——双向1-N关联
Hibernate的关联映射--双向1-N关联 对于1-N的关联,Hibernate推荐使用双向关联,而且不要让1的一端控制关联关系,而是用N的一端控制关联关系.双线的1-N关联和N-1关联是两种相同 ...
- 配置cas
在给tomcat配置好证书的基础上做一下操作(可以根据上一篇博客进行配置) 1.cas服务端配置(最后更改一下服务器tomcat的端口号) 第一步:下载cas-server-3.4.2.1-relea ...
- jquery之remove(),detach()方法详解
一:remove()方法 remove()函数用于从文档中移除匹配的元素. 你还可以使用选择器进一步缩小移除的范围,只移除当前匹配元素中符合指定选择器的部分元素. 与detach()相比,remove ...
- Learning Roadmap of Deep Reinforcement Learning
1. 知乎上关于DQN入门的系列文章 1.1 DQN 从入门到放弃 DQN 从入门到放弃1 DQN与增强学习 DQN 从入门到放弃2 增强学习与MDP DQN 从入门到放弃3 价值函数与Bellman ...
- immutableJS一些API
原生js转换为immutableData Immutable.fromJS([1,2]) // immutable的 list Immutable.fromJS({a: 1}) // immutabl ...
- grunt压缩合并代码
module.exports = function(grunt) { // 配置 grunt.initConfig({ pkg : grunt.file.readJSON('package.json' ...
- 学习mongo系列(六)limit(munber),skip(number)
> db.user.find().pretty(){ "_id" : ObjectId("56946fba3a18f4867aecbcd1"), &quo ...
- Google Protocol Buffer的安装与.proto文件的定义
什么是protocol Buffer呢? Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准. 我理解的就是:它是一种轻便高效的结构 ...
- 转:[置顶] 从头到尾彻底理解KMP(2014年8月22日版)
[置顶] 从头到尾彻底理解KMP(2014年8月22日版)