绘制图形所需的数据源通常是不固定的,比如,有时我们会需要从网页抓取, 也可能需从文件或数据库中获取. 利用抓取网页数据技术,把我国 1990 年到 2016 年的 GDP 数据抓取出来 ,再利用 MatplotUb 进行绘图显示 . 经搜索发现, http://value500.com/M2GDP.html 网页中有我们所需数据 . 将鼠标移到表格每一行的“年份”处井右击,在弹出的快捷菜单中选择“检查” 选项. Chrome 会打开网页开发工具,并自动显示鼠标位置的 html 程序代码,我们可根…

现在我们把我国 1990 年到 2017 年的 GDP 数据抓取出 来,井用 Bokeh 绘 出散点统计图 . 由网页爬取所需数据,并用 Bokeh 绘制散点图 . import requests #导入网页内容抓取包 import matplotlib.pyplot as plt #导入绘图模块,重命名为plt from bokeh.plotting import figure, show, output_file from bs4 import BeautifulSoup as bs #导入…

Fire base 是专为移动开发提供的后端服务平台, Firebase 数据库与传统数据库不同,它不是用数据表来存储数据, 而是用 Key . Value 的字典型结构来存储数据,所以它不仅 是轻量级的,在结构上非常具有弹性,而且可能做到实时 响应 . Python 可以通过 python-直rebase 包来操作 Firebase 数 据库,从而能够开发出实用的应用程序 . 通过在 Python 中使用 python-firebase 包,才巴英 文单词的数据存储在 Firebase 实时数…

PM2.5 对人体的健康影响很大,所以空气中的 PM2.5 实时信息受到越来越多的关注. Python 的 Pandas 套件不但可以自动读取网页中的表格 数据 , 还可对数据进行修改.排序等处理,也可绘制统计 图表,对于信息抓取.整理以及显示是不可多得的好工具. 将开发一个 PM2.5 实时监测显示器程序 . 本程序 可以直接读取行指定网站上的 PM2.5 数据,并在整理后显 示,这样就可以方便地让用户随时看到最新的 PM2.5 监测 数据. 应用程序总览 执行程序后,会自动选取第 1 条数据…

有时候,手工生成 Pandas 的 DataFrame 数据是件非常麻烦的事情,所以我们通 常会先把数据保存在 Excel 或数据库中,然后再把数据导入 Pandas . 另 一种情况是抓 取网页中成千上万的表格数据导入 Pandas ,作为 DataFrame 数据. Pandas 常用的导入数据方法有: 下面,我们示范用 read html 方法抓取网页中的表数据. Pandas 的 read_html 方法会用到 html5lib 套件,可通过命令来安装:pip install html5…

import pandas as pd datas = [[65,92,78,83,70], [90,72,76,93,56], [81,85,91,89,77], [79,53,47,94,80]] indexs = ["林大明", "陈聪明", "黄美丽", "熊小娟"] columns = ["语文", "数学", "英文", "自然", &…

要想在没有安装 Python 集成环境的电脑上运行开发的 Python 程序,必须把 Python 文件打包成 .exe 格式的可执行 文件. Python 的打包工作 PyInstaller 提供了两种把 .py 文件包 成 .exe 文件的方式: 第一种方式是把由 .py 文件打包而成的 .exe 文件及相 关文件放在一个目录中 . 这种方式是默认方式,称为 onedir 方式. 第二种方式是加上-F 参数后把制作出的 .exe 打包成一 个独立的 .exe 格式的可执行文件 , 称为 on…

在多个文本文件中查找 我们首先来学习文本文件的查找字符 . 我们通过 os.walk 扩大查找范围, 查找指定目录和子目录下的文件. 应用程序总览 读取 当 前目录及子目录下的所有 PY 和 txt 文本文件,搜索这些文件中是否包含 指定的字符“ shutil ”. 应用程序内容 import os cur_path=os.path.dirname(__file__) # 取得当前路径 sample_tree=os.walk(cur_path) keyword="shutil" for…

用 Python 进行数据分析处理,其中最炫酷的就属 Pa ndas 套件了 . 比如,如果我 们通过 Requests 及 Beautifulsoup 来抓取网页中的表格数据 , 需要进行较复 杂的搜寻才能抓取 , 但通过 Pandas 不但可以自动读取网页中的表格数据,还能对数 据进行修改.排序等处理,以及给制统计图表 . Pandas 主要的数据类型有两种: Series 是一维数据结构, 其用法与列表类 似: DataFrame 是 二维数据结 构, 表格 即为 DataFrame 的典…

动画是游戏开发中不可或缺的要素,游戏中的角色只有动起来才会拥有“生命”, 但动画处理也是最让游戏开发者头痛的部分.Pygame 包通过不断重新绘制绘图窗口,短短几行代码就可以让图片动起来! 动画处理程序的基本架构 import pygame pygame.init() screen = pygame.display.set_mode((640, 320)) pygame.display.set_caption("动画基本架构") background = pygame.Surface(…

游戏开发在软件开发领域占据了非常重要的位直.游 戏开发需要用到的技术相当广泛,除了多媒体.图片.动 画的处理外,程序设计更是游戏开发的核心内容. Py game 是为了让 Python 能够进行游戏开发而发展出 来的包,通过它, Python 可以实现对音效.音乐.图片. 动画的控制,可以说这是一个功能强大而完整的包. Pygame 是专门为游戏开发而推出的 Python 包,它是从 Simple Directmedia Layer CS DL) 延伸而来的. SDL 与 DirectX 类似,…

除了对图片. Word 等普通格式的文件进行处理外, Python 还有强大的多媒体文件操作能力,如对音频.视频 文件的操作 . 如果要播放音乐,我们可以用 pygame 包中的 mixer 对 象. mixer 对象中可以用 Sound 和 music 对象进行音乐播放. Sound 对象适合播放较短的音乐,如 OGG 和 WAV 格式的 音频文件:而 music 对象除了可播放 OGG 和 WAV 音频文 件外,还可以播放 MP3 文件,并进行相关的控制 . 关于音乐与音乐的播放 pygam…

Python 在文件处理方面表现突出,关于文件的处理 也是很多人经常用到的功能. 对 Python 的文件处理的技巧进行综合应用,比如把大量文件 的复制.按指定的文件名进行保存.找出重复的照片.将 所有的图片更改为相同大小等. 除此之外,用户还可以利用 Python 程序来实现文件的 查找功能. 文件管理应用 包括大量文件的 复制.! 根据指定的名称保存文件.找出 重复照片.将所有的图片更改为相同的大小 . 在日常生活中,我们也许还有过这样的体会:经常忘记以前创建的文件的保存 位置,这也可以利用…

Python 程序通过 python-firebase 包可以存取 Firebase 数据库. 使用 python-firebase 包 首先必须安装 python-firebase 包,安装方法如下: firebase 对象的方法 利用 firebase 对象方法可以对数据库进行操作,包括新增 .修改和删除数据. fire base 提供了下列方法: from firebase import firebase url = 'https://chiouapp01-74bde.firebaseio…

用 Selenium 包实现网页自动化操作的案例中,发现很多网页都因 需输入图形验证码而导致实验无法进行 . 解决的办法就是对验证码进行识别 . 识 别的方法之 一 是通过图形处理包将验证码的大部分背景去除,再用 OCR COptical Character Recognition ,光学字符识别)来识别出图片文字 . 不同的图形验证码需要 不同图形处理技术去除背景 简单的 OCR-丁esseract 包 Tesseract 是一个流行的 OCR 链接库,最初是由惠普公司(田)在 1985 年开…

Open CV 是一个开源.跨平台的计算机视觉库,它可 以在商业和研究领域中免费使用,目前已广泛应用于人机 互动.人脸识别.动作识别.运动跟踪等领域. 要识别特定的图像,最重要的是要有识别对象的特征 文件, Open CV 已内直了人脸识别的特征文件,我们只需 通过 OpenCV 的 CascadeClassifier 类就可以进行人脸识别 的操作 . 图形验证码是很多网站用于阻挡用户的不当或恶意访 问操作而采取的一种技术手段.要破解验证码图片,需要 将验证码图片转换为文字,而 Python 可…

python下载安装各种模块的whl文件网址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml…

Pandas 通过 drop 函数删除 DataFrarne 数据,语法为: 例如,删除陈聪明(行标题)的成绩: import pandas as pd datas = [[65,92,78,83,70], [90,72,76,93,56], [81,85,91,89,77], [79,53,47,94,80]] indexs = ["林大明", "陈聪明", "黄美丽", "熊小娟"] columns = ["语文…

用 df.va lue s 读取数据的前提是必须知道学生及科目的位置,非常麻烦 . 而 df.loc 可直接通过行.列标题读取数据,使用起来更为方便 . 使用 df.loc 的语法为: 行标题或列标题若是包含多个项目,则用小括号将项目括起来,项目之间以逗 号分隔,如“( ” 数学 ” , ” 自然 ”) ”:若要包含所有项目,则用冒号“．”表示. 例如读取学生陈聪明的所有成绩: import pandas as pd datas = [[65,92,78,83,70], [90,72,76,93…

读取行数据 读取一个列数据的语法为: 例如,读取所有学生自然科目的成绩 : import pandas as pd datas = [[65,92,78,83,70], [90,72,76,93,56], [81,85,91,89,77], [79,53,47,94,80]] indexs = ["林大明", "陈聪明", "黄美丽", "熊小娟"] columns = ["语文", "数学&qu…

Office 文件是我们日常工作生活中都经常用到的文件格 式,其中以 Word 格式的文件最为常用 . Python 可通过 Win32com 纽件对 Micro so位 Office 文件 进行存取,并且 Python 己内直了 Win32com 纽件,不需要 另外安装. 使用 Win32com 纽件处理 Microsoft Office 文件, 计算机必须己安装 Microso企 Office . 实现新建文件并保存 下面我们导入 Win32com 组件 的 client 模块: 处理 Wo…

使用 Matplotlib 组件绘图时,经常要与 Numpy 组件搭配使用 . 使用 Matplotlib 绘图首先要导入 Matplotlib 组件 , 由于大部分绘图功能是在 matplotlib . pyplot 中 ,所 以通常会在导入 matplotlib . pyplot 时设置一个简短的别名 , 以 方便输入. 例如,我们可把别名取为 pit: Matplotlib 给图的主要功能是给制 x . y 坐标图 .绘 图时,我们需要把 x . y 坐标 保存在列表变量中并传给 Matp…

打开 www. 5 l eta . com 网站,如果己经通过某用户名进行了登录,那么先退出登录 . 登录该网站 的步骤一般如下 : ( 1 )单击右上角的“登录”按钮. ( 2 )先输入账号. ( 3 )再输入密码 , 然后单击“登录 ” 按钮. 现在 , 我们要改用 Python 程序,自动完成上面登录 51 CTO 网站的操作 . 通过 Python 打开 51CTO 网站, 自动输入账号和密码后单击“ 登录”按钮,从而 完成 5 1 CTO 网站的自动登录 . from time imp…

一般情况下,我们都是用手工操作的方式来对浏览器进行各种操作 . 实际上, 只要我们安装一个自动化操作组件, Python 就可以让我们的很多操作实现自动化 . Selenium 组件 在开发网页时,用户接口的测试向来是一件相当不容易的事情,如果用手动方 式进行测试的各种操作,不仅效率低而且容易出错 . Selenium 的出现就是为了解决 这个问题,它可以通过指令实现对网页操作的自动化,从而完成自动测试的功能. 除此之外, Selenium 还可以将许多其他的网页操作实现自动化,井能在指定时间自…

Python 可实现的网页测试的功能十分强大,甚至能通 过编程来实现让绝大多数的测试过程自动化. 这对很多开 发者来说,绝对是不可多得的神器. hash lib 纽件可以判别文件是否有过更改,只需要用 md5 方法对指定的文件进行编码,即可进行比对. Selenium 是相当著名的网页自动化测试纽件,它可以 通过指令自动对网页进行测试. Selenium 还能使开发网页 时的大量重复性操作实现自动化,并在设直的时间内自动 运行, 功能相当强大. 检查网蜡数据是否更新 抓取网站的数据时通常需要把数…

我们所抓取的网页源代码一般都是 HTML 格式的文件,只要研究明白 HTML 中 的标签( Tag )结构,就很容易进行解析并取得所需数据 . HTML 网页结构 HTML 网 页是由许多标签( Tag )构成,标签需用 .字符括起来 . 大部分标签 成对出现,与开始标签对应的结束标签前多 一个“/ ” 字符,例如 < html><斤itml>. 少 数标签非成对出现 ,如 <i mg src=’’image. g”〉 . HTML 网页主要结构如下 : 比较简单的标签如“&…

Web 数据抓取技术具有非常巨大的应用需求及价值, 用 Python 在网页上收集数据,不仅抓取数据的操作简单, 而且其数据分析功能也十分强大. 通过 Python 的时lib 组件中的 urlparse 函数,可轻松解 析指定网址的内容,在接收返回的 ParseResult 对象后,即 可通过其属性取出网址中各项有用信息 . Python 还可进一步用 requests 函数抓取网页源代码, 再通过相关语句或正则表达式搜索得到指定的数据. 如果要抓取的数据比较复杂, Python 还可以通过功…

本文主要介绍如何部署简单的 WSGI 应用和常见的 Web 框架. 以 Ubuntu/Debian 为例,先安装依赖包: apt-get install build-essential python-dev Python 安装 uWSGI 1.通过 pip 命令: pip install uwsgi 2.下载安装脚本: curl http://uwsgi.it/install | bash -s default /tmp/uwsgi 将 uWSGI 二进制安装到 /tmp/uwsgi ,你可以修…

MongoDB 是目前最流行的 NoSQL 数据库之一,使用的数据类型 BSON(类似 JSON). PyMongo Python 要连接 MongoDB 需要 MongoDB 驱动,这里我们使用 PyMongo 驱动来连接. pip 安装 pip 是一个通用的 Python 包管理工具,提供了对 Python 包的查找.下载.安装.卸载的功能. 安装 pymongo: $ python3 -m pip3 install pymongo 也可以指定安装的版本: $ python3 -m pip3…

Python 程序能用很多方式处理日期和时间,转换日期格式是一个常见的功能. Python 提供了一个 time 和 calendar 模块可以用于格式化日期和时间. 时间间隔是以秒为单位的浮点小数. 每个时间戳都以自从1970年1月1日午夜(历元)经过了多长时间来表示. Python 的 time 模块下有很多函数可以转换常见日期格式.如函数time.time()用于获取当前时间戳 import time; # 引入time模块 ticks = time.time() print ("当前时间…