对于想用每个想用Python开发网络爬虫的开发者来说,Scrapy无疑是一个极好的开源工具.今天安装之后觉得Scrapy的安装确实不易啊.所以在此博文一篇,往后来着少走弯路. 废话不多说了,如果你还不知道Scrapy是何物,可登陆在其官网http://scrapy.org/一览究竟,在此不再赘述. scrapy在国内目前使用的人比较少,除了他比较新以外,还在于他本身还有很多弊端,比如:需要的支持包比较多,这些支持包相互之间的依赖关系,导致人们在安装他的时候各种吐血,而且吐血了还不一定又正确…

文本处理 FlashText     大规模关键字搜索利器,据说多余500个关键字时性能会明显优于正则表达式,暂未评测! 调试利器 pysnooper     不需要使用print进行调试…

本文完整示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/PythonPracticalSkills 这是我的系列文章「Python实用秘技」的第8期,本系列立足于笔者日常工作中使用Python积累的心得体会,每一期为大家带来一个几分钟内就可学会的简单小技巧. 作为系列第8期,我们即将学习的是:一行代码解析地址信息. 在日常数据处理的过程中,有时候拿到手的是完整的地址信息,如果需要从地址信息中解析出相应的各级行政单元名称,方式有很多,而今天要介绍…

http://algosolo.com/ 分析对比了常见的python机器学习工具包,包括: scikit-learn mlpy Modular toolkit for Data Processing (MDP) PyBrain Theano MILK Gensim NLTK Orange statsmodels pyMVPA 各工具包功能对比如下:…

AutoPy首页.文档和下载 - 跨平台的Python GUI工具包 - 开源中国社区 AutoPy是一个简单跨平台的 Python GUI工具包,可以控制鼠标,键盘,匹配颜色和屏幕上的位图.使用纯ANSI C编写而成,可运行在Mac OS X, Windows和 X11上. 示例代码: import autopydef hello_there_world():    autopy.alert.alert("Hello, world")hello_there_world() 下载二进制…

1. scikit-learn: Machine Learning in Python scikit-learn是一个基于NumPy, SciPy, Matplotlib的开源机器学习工具包,主要涵盖分类,回归和聚类算法, 例如SVM, 逻辑回归,朴素贝叶斯,随机森林,k-means等算法,代码和文档都非常不错,在许多Python项 目中都有应用. 官方主页:http://scikit-learn.org/ 2. Milk:Machine learning toolkit in Python M…

引子 在 批量下载网站图片的Python实用小工具 一文中,讲解了开发一个Python小工具来实现网站图片的并发批量拉取.不过那个工具仅限于特定网站的特定规则,本文将基于其代码实现,开发一个更加通用的图片下载工具. 通用版 思路 我们可以做成一个下载图片资源的通用框架: 制定生成网页资源的规则集合 PageRules: 根据 PageRules 抓取网站的网页内容集合 PageContents: 制定从网页内容集合 PageContents 获取资源真实地址的规则集合或路径集合 Resource…

python实用库:PrettyTable 学习 PrettyTable说明 PrettyTable 是python中的一个第三方库,可用来生成美观的ASCII格式的表格,十分实用. 以下为官方介绍: A simple Python library for easily displaying tabular data in a visually appealing ASCII table format. PrettyTable is a simple Python library designe…

scikit-learn这个非常强大的python机器学习工具包 http://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html S1. 导入数据 大多数数据的格式都是M个N维向量,分为训练集和测试集.所以,知道如何导入向量(矩阵)数据是最为关键的一点.这里要用到numpy来协助.假设数据格式是: Stock prices    indicator1    indicator2 2.0             123  …

这篇文章主要介绍了Python实用日期时间处理方法汇总,本文讲解了获取当前datetime.获取当天date.获取明天/前N天.获取当天开始和结束时间(00:00:00 23:59:59).获取两个datetime的时间差.获取本周/本月/上月最后一天等实用方法 ,需要的朋友可以参考下 原则, 以datetime为中心, 起点或中转, 转化为目标对象, 涵盖了大多数业务场景中需要的日期转换处理 步骤: 1. 掌握几种对象及其关系2. 了解每类对象的基本操作方法3. 通过转化关系转化涉及对象 1.…

Python 实用爬虫-04-使用 BeautifulSoup 去水印下载 CSDN 博客图片 其实没太大用,就是方便一些,因为现在各个平台之间的图片都不能共享,比如说在 CSDN 不能用简书的图片,在博客园不能用 CSDN 的图片. 当前想到的方案就是:先把 CSDN 上的图片都下载下来,再手动更新吧. 所以简单写了一个爬虫用来下载 CSDN 平台上的图片,用于在其他平台上更新图片时用 更多内容,请看代码注释 效果演示 Python 源代码 提示: 需要先下载 BeautifulSoup 哦,…

Python 实用脚本 脚本写的好,下班下得早!程序员的日常工作除了编写程序代码,还不可避免地需要处理相关的测试和验证工作. 例如,访问某个网站一直不通,需要确定此地址是否可访问,服务器返回什么,进而确定问题在于什么.完成这个任务,如果一味希望采用编译型语言来编写这样的代码,实践中的时间和精力是不够的,这个时候就需要发挥脚本的神奇作用! 毫不夸张的说,能否写出高效实用的脚本代码,直接影响着一个程序员的幸福生活[下班时间].下面整理 8 个实用的 Python 脚本,需要的时候改改直接用,建议收藏…

python实用30个小技巧 展开1.原地交换两个数字Python 提供了一个直观的在一行代码中赋值与交换(变量值)的方法,请参见下面的示例: In [1]: x,y = 10 ,20 In [2]: print(x,y) 10 20 In [3]: x, y = y, x In [4]: print(x,y) 20 10 赋值的右侧形成了一个新的元组,左侧立即解析(unpack)那个(未被引用的)元组到变量 <x> 和 <y>. 一旦赋值完成,新的元组变成了未被引用状态并且被标记…

往期回顾 Python实现自动监测Github项目并打开网页 Python实现文件自动归类 Python实现帮你选择双色球号码 Python实现每日更换"必应图片"为"桌面壁纸" 前言: 今天我们就利用python脚本实现批量加水印.直接开整~ 效果展示 有时候,为了保护版权,需要给作品中的图片加上水印. 一种是把水印(logo)加在图片的一个角落,就像有的是公众号会在后台把水印打开. 更厉害的一种是,水印在整个图上有很多,有个轻微的透明度,更安全. PYTHON自…

往期回顾 Python实现文件自动归类 前言: 今天我们就利用Python脚本实现Github项目的更新,提醒方式是邮箱.直接开整~ 项目地址: https://github.com/kenwoodjw/python_interview_question 实现过程 获取数据 Github官方提供了详细的数据接口,并且数据是以Json字符串的方式保存的.项目的数据地址: https://api.github.com/repos/kenwoodjw/python_interview_question…

往期回顾 Python实现自动监测Github项目并打开网页 Python实现文件自动归类 Python实现帮你选择双色球号码 前言: 今天我们就利用python脚本实现每日更换"必应图片"为"桌面壁纸".直接开整~ 效果展示 思路整理 1.通过网页,获取图片地址 2.保存图片到绝对路径 3.设置该绝对路径所指向的图片为壁纸 4.批处理壁纸自动切换 需要用到的模块如下: import urllib.request import requests import os.…

往期回顾 Python实现自动监测Github项目并打开网页 Python实现文件自动归类 前言: 今天我们就利用python脚本实现帮你选择双色球号码.直接开整~ 开发工具: python版本: 3.9.6 函数: random 效果展示 原理简介 双色球,顾名思义,就是两种颜色的球,红色和蓝色. 红球从1-33中取出6个,篮球从1-16取出1个.注意,红球为不放回采样,也就是不能有重复的. 那么,带大家用python来选择双色球号码. 其实很简单,只用到一个随机数模块. 先说红球共6个,每次…

前言: 今天我们就利用Python脚本实现文件自动归类吧.直接开整~ 预备知识 这个脚本实现比较简单,我把涉及的知识点列了出来. 1.相对路径.绝对路径,绝对路径就是最完整的路径. 'D:/code/gitpython.py' 相对路径的相对指的就是相对于当前文件夹路径,就是你编写的这个py文件所放的文件夹路径. 'gitpython.py' 或者 './gitpython.py' 2.os模块和shutil模块 os.listdir(path) path--需要列出的目录路径 import o…

本文完整示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/PythonPracticalSkills 这是我的新系列文章「Python实用秘技」的第1期,本系列立足于笔者日常工作中使用Python辅助办公的心得体会,每一期为大家带来一个3分钟即可学会的简单小技巧. 作为系列第1期,我们即将学习的是:复杂zip文件的解压. 废话不多说,直接看问题,使用过Python中的标准库zipfile解压过zip格式压缩包的朋友们,可能遇到过,当压缩文件中的目…

本文完整示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/PythonPracticalSkills 这是我的系列文章「Python实用秘技」的第2期,本系列立足于笔者日常工作中使用Python辅助办公的心得体会,每一期为大家带来一个3分钟即可学会的简单小技巧. 作为系列第2期,我们即将学习的是:为Python函数添加执行超时检查功能. 某些常用的库如requests的get()函数,具有特定的参数timeout,设置后可以在其运行超过一定时间还…

本文完整示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/PythonPracticalSkills 这是我的系列文章「Python实用秘技」的第3期,本系列立足于笔者日常工作中使用Python积累的心得体会,每一期为大家带来一个3分钟即可学会的简单小技巧. 作为系列第3期,我们即将学习的是:导出项目的极简环境依赖. 很多朋友都知道,利用pip也好,利用conda也好,我们可以使用pip freeze.conda export等语句来对当前的Py…

本文完整示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/PythonPracticalSkills 这是我的系列文章「Python实用秘技」的第4期,本系列立足于笔者日常工作中使用Python积累的心得体会,每一期为大家带来一个3分钟即可学会的简单小技巧. 作为系列第4期,我们即将学习的是:为pdf文件批量添加文字水印. 有些情况下我们需要为单个或多个pdf文件添加文字水印,尤其是那种需要在每一页按照一定间距铺满的文字水印.而借助reportl…

本文完整示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/PythonPracticalSkills 这是我的系列文章「Python实用秘技」的第5期,本系列立足于笔者日常工作中使用Python积累的心得体会,每一期为大家带来一个几分钟内就可学会的简单小技巧. 作为系列第5期,我们即将学习的是:Python中短路机制的妙用. 不同于物理学中的短路(Short circuit)那般危险,Python中的短路机制非常有用,跟很多其他编程语言中的短路机…

本文完整示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/PythonPracticalSkills 这是我的系列文章「Python实用秘技」的第6期,本系列立足于笔者日常工作中使用Python积累的心得体会,每一期为大家带来一个几分钟内就可学会的简单小技巧. 作为系列第6期,我们即将学习的是:一行代码分析Python代码行级别内存消耗. 很多情况下,我们需要对已经写好的Python程序的内存消耗进行优化,但是一段代码在运行过程中的内存消耗是动态…

本文完整示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/PythonPracticalSkills 这是我的系列文章「Python实用秘技」的第7期,本系列立足于笔者日常工作中使用Python积累的心得体会,每一期为大家带来一个几分钟内就可学会的简单小技巧. 作为系列第7期,我们即将学习的是:在pandas中实现自然排序顺序. 自然排序顺序(Natural sort order),不同于默认排序针对字符串逐个比较对应位置字符的ASCII码的方式…

本文完整示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/PythonPracticalSkills 这是我的系列文章「Python实用秘技」的第9期,本系列立足于笔者日常工作中使用Python积累的心得体会,每一期为大家带来一个几分钟内就可学会的简单小技巧. 作为系列第9期,我们即将学习的是:在Python中实现简单好用的函数运算缓存. 函数运算缓存,顾名思义就是我们可以针对指定的函数,让其记住过往参数输入和返回结果,使得后续接收到相同的参数时…

本文完整示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/PythonPracticalSkills 这是我的系列文章「Python实用秘技」的第10期,本系列立足于笔者日常工作中使用Python积累的心得体会,每一期为大家带来一个几分钟内就可学会的简单小技巧. 作为系列第10期,我们即将学习的是:深度比较Python对象间差异. 很多情况下我们需要对两条数据之间的差异进行比较,如果仅仅是针对数值型对象,那么两者的差值就是所谓的差异,但是如果要比…

本文完整示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/PythonPracticalSkills 这是我的系列文章「Python实用秘技」的第11期,本系列立足于笔者日常工作中使用Python积累的心得体会,每一期为大家带来一个几分钟内就可学会的简单小技巧. 作为系列第11期,我们即将学习的是:在Python中快捷加密数据. 数据安全作为老生常谈的话题,是我们日常使用Python进行诸如web应用开发等任务时绕不开的话题,我们希望通过网络传输…

在本期文章中,小生向您介绍了自然语言工具包(Natural Language Toolkit),它是一个将学术语言技术应用于文本数据集的 Python 库.称为“文本处理”的程序设计是其基本功能:更深入的是专门用于研究自然语言的语法以及语义分析的能力. 鄙人并非见多识广, 语言处理(linguistic processing) 是一个相对新奇的领域.如果在对意义非凡的自然语言工具包(NLTK)的说明中出现了错误,请您谅解.NLTK 是使用 Python 教学以及实践计算语言学的极好工具.此外,计…

NumPy 目录 关于 numpy numpy 库 numpy 基本操作 numpy 复制操作 numpy 计算 numpy 常用函数 1 关于numpy / About numpy NumPy系统是Python的一种开源的数值计算扩展包.这种工具可用来存储和处理大型矩阵,比Python自身的嵌套列表(nested list structure)结构要高效的多(该结构也可以用来表示矩阵(matrix)).据说NumPy将Python相当于变成一种免费的更强大的MatLab系统.参考官网解释, N…