获取上海地区AQI质量数据Python脚本

一个获取上海地区AQI质量的Python脚本 https://github.com/yanyueoo7/Raspberrypi/blob/master/GetPmData_Shanghai.py #!/usr/bin/env python # -*- coding: utf-8 -*- #Author:Tea import time import sys import json import random import requests reload(sys) sys.setdefaultenc…

python脚本监控股票价格钉钉推送

关注股市,发家致富问题:一天天盯着股市多累,尤其上班,还不能暴露,股票软件,红红绿绿,这么明显的列表页面,一看就知道在摸鱼.被领导发现饭碗就没了解决:搞个脚本监听一下自己关注的股票,一到价格就发个钉钉消息推送,上班摸鱼两不误. 一.配置centos的python版本 centos7自带了python2,但是安装模块的时候各种报错,基本上都是版本的原因,pip install 默认都下载了最新版本的模块包,但是最新版本的模块包都不支持python2,需要python3,不闲累的话,可以指定版本…

python 全栈开发，Day94(Promise,箭头函数,Django REST framework,生成json数据三种方式,serializers,Postman使用,外部python脚本调用django)

昨日内容回顾 1. 内容回顾 1. VueX VueX分三部分 1. state 2. mutations 3. actions 存放数据修改数据的唯一方式异步操作修改state中数据的步骤: 1. 页面上交互触发数据的变化 2. 去后端获取新的数据(异步操作 ajax请求) 3. dispatch('获取新数据') --> 放在actions中 4. 拿到了新数据了 5. 去更新state中对应的数据(同步操作 state.noteList=[xx,xx,xx])--> 放在muta…

除了binlog2sql工具外，使用python脚本闪回数据（数据库误操作）

利用binlog日志恢复数据库误操作数据在人工手动进行一些数据库写操作的时候(比方说数据修改),尤其是一些不可控的批量更新或删除,通常都建议备份后操作.不过不怕万一,就怕一万,有备无患总是好的.在线上或者测试环境误操作导致数据被删除或者更新后,想要恢复,一般有两种方法. 方法一.利用最近的全量备份+增量binlog备份,恢复到误操作之前的状态,但是随着数据量的增大,binlog的增多,恢复起来很费时.方法二.如果binlog的格式为row,那么就可以将binlog解析出来生成反向的原始SQL…

【转】用python比对数据库表数据的脚本

最近在做一个数据库异构复制的项目,客户表示需要一个数据比对的工具,我就自己写了一个异构数据库的比对python脚本.这个比对脚本只能比对数量,不能比对具体的记录.使用的sql语句也是最基础的select count(*) 这种,没有开并发所以对大表可能比对时间稍长. 基本原理是将需要比对的数据写到一张表里,先读取那个表里的数据,取出需要比对的表.然后创建多进程,同时在原端和目标端count.然后将count的结果写到一个excel文件中. 其中最关键的就是那张表.只要将那张表里的数据搞对了,基本…

php外挂python脚本抓取ajax数据

之前我写过一遍php外挂python脚本处理视频的文章.今天和大家分享下php外挂python实现输入关键字搜索的脚本首先我们先来分析一波网站: http://www.dzdpw.com/s.php 我们可以看到,普通的抓取网站已经不能满足我们的需求了.此网站采用了二次获取数据.我们再来看看头部: 可以看到数据是通过ajax获取的.我们吧拿到的链接放到浏览器直接打开报错了.有些网站是直接拿到链接就能获取数据,但是明显,这个接口采用post接口请求我们先来请求一波: 代码走起: # -*- c…

一个获取指定目录下一定格式的文件名称和文件修改时间并保存为文件的python脚本

摘自:http://blog.csdn.net/forandever/article/details/5711319 一个获取指定目录下一定格式的文件名称和文件修改时间并保存为文件的python脚本 @for&ever 2010-07-03 功能: 获取指定目录下面符合一定规则的文件名称和文件修改时间,并保存到指定的文件中脚本如下: #!/usr/bin/env python# -*- coding: utf-8 -*- '''Created on 2010-7-2 @author: fore…

Python脚本控制的WebDriver 常用操作 <十九> 获取测试对象的状态

下面将使用webdriver来模拟测试中观察测试对象的状态的操作测试用例场景在web自动化测试中,我们需要获取测试对象的四种状态是否显示.使用element.is_displayed()方法: 是否存在.使用find_element_by_xxx方法,捕获其抛出的异常, 如果存在异常的话则可以确定该元素不存在: 是否被选中.一般是判断表单元素,比如radio或checkbox是否被选中.使用element.is_selected()方法: 是否enable,也就是是否是灰化状态.使用ele…

Python脚本控制的WebDriver 常用操作 <十七> 获取测试对象的属性及内容

测试用例场景获取测试对象的内容是前端自动化测试里一定会使用到的技术.比如我们要判断页面上是否显示了一个提示,那么我们就需要找到这个提示对象,然后获取其中的文字,再跟我们的预期进行比较.在webdriver中使用element.attribute()方法可以获取dom元素(测试对象)的属性. 获取测试对象的属性能够帮我们更好的进行对象的定位.比如页面上有很多class都是'btn'的div,而我们需要定位其中1个有具有title属性的div.由于selenium-webdriver是不支持直接使…

Delphi中使用python脚本读取Excel数据

Delphi中使用python脚本读取Excel数据2007-10-18 17:28:22标签:Delphi Excel python原创作品,允许转载,转载时请务必以超链接形式标明文章原始出处 .作者信息和本声明.否则将追究法律责任.http://seewind.blog.51cto.com/249547/46669前段时间,在正式项目中使用Python来读取Excel表格的数据.具体需求是,项目数据库中有些数据需要根据Excel表格里面的数据进行一些调整,功能应该比较简单.为了学习Pyth…

Python获取股票历史、实时数据与更新到数据库

要做量化投资,数据是基础,正所谓"巧妇难为无米之炊" 在免费数据方面,各大网站的财经板块其实已提供相应的api,如新浪.雅虎.搜狐...可以通过urlopen相应格式的网址获取数据而TuShare正是这么一个免费.开源的python财经数据接口包,已将各类数据整理为dataframe类型供我们使用. 主要用到的函数: 1.实时行情获取 tushare.get_today_all() 一次性获取当前交易所有股票的行情数据(如果是节假日,即为上一交易日,结果显示速度取决于网速) 2.历史…

python脚本批量生成数据

在平时的工作中,经常会遇到造数据,特别是性能测试的时候更是需要大量的数据.如果一条条的插入数据库或者一条条的创建数据,效率未免有点低.如何快速的造大量的测试数据呢?在不熟悉存储过程的情况下,今天给大家介绍一种方法,很简单的也很实用.思路是用python代码写一段小程序,生成一定数量的SQL语句,再把这些SQL语句拷贝黏贴到数据库工具执行SQL即可. 假如有个联系人的学生表student,其表结构为姓名name.学校school.电话telphone.邮箱email. 以Mysq为例子,sql语句…

利用python脚本（xpath）抓取数据

有人会问re和xpath是什么关系?如果你了解js与jquery,那么这个就很好理解了. 上一篇:利用python脚本(re)抓取美空mm图片 # -*- coding:utf-8 -*- from lxml import etree html = """ <!DOCTYPE html> <html> <head lang="en"> <title>我的文档</title> <meta ht…

LPSN获取菌python脚本

本文转载于https://mp.weixin.qq.com/s?__biz=MzIxNzEzODA5NQ==&mid=2649373408&idx=1&sn=232c2cb36dfde647a5c1f5103d213ddd&chksm=8fe0cc20b897453613450906548a7344d17b3a850be9103cb33b58b0c521212c81de1750e160&mpshare=1&scene=23&srcid=0619cPV…

python脚本获取本机公网ip

1.获取公网IP地址方式,访问:http://txt.go.sohu.com/ip/soip 2.python脚本实现: #!/usr/bin/python # -*- coding:utf8 -*- # By 飞走不可 import urllib2 url = urllib2.urlopen("http://txt.go.sohu.com/ip/soip") text = url.read() key1 = 'user_ip' key2 = ';' s = text.find(key…

Java调用Python脚本并获取返回值

在Java程序中有时需要调用Python的程序,这时可以使用一般的PyFunction来调用python的函数并获得返回值,但是采用这种方法有可能出现一些莫名其妙的错误,比如ImportError.在这种情况下可以采用另一种方法:使用Java的Runtime,像在命令行直接调用python脚本那样调用python程序.此时可以通过文件作为脚本参数来传递Python程序所需要的参数,并从脚本的输入输出流来获取本来该打印在控制台的结果. 先准备好一个python文件: def get_path(fi…

2.3 Hive的数据类型讲解及实际项目中如何使用python脚本对数据进行ETL

一.hive Data Types https://cwiki. apache. org/confluence/display/HiveLanguageManual+Types Numeric Types · TINYINT(1-byte signed integer, from-128 to 127) · SMALLINT(2-byte signed integer, from-32,768 to 32,767) · INT(4-byte signed integer, from-2,147,…

Python Elasticsearch api，组合过滤器，term过滤器，正则查询，match查询，获取最近一小时的数据

Python Elasticsearch api 描述:ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.下面介绍了利用Python API接口进行数据查询,方便其他系统的调用. 安装API pip install elasticsearch 建立es连接 from elasticsearch import Elasticsearch es = Elasticsearch([{'host':'10.10.…

Python脚本控制的WebDriver 常用操作 <十八> 获取测试对象的css属性

测试用例场景当你的测试用例纠结细枝末节的时候,你就需要通过判断元素的css属性来验证你的操作是否达到了预期的效果.比如你可以通过判断页面上的标题字号以字体来验证页面的显示是否符合预期.当然,这个是强烈不推荐的.因为页面上最不稳定的就是css了,css变动频繁,次方法不常使用 Python脚本测试用HTML代码: <html> <head> <meta http-equiv="content-type" content="text/html;c…

获取kafka的lag, offset, logsize的shell和python脚本

python脚本 #!/usr/bin/env python import os import re import sys group_id=sys.argv[1] pn=sys.argv[2] kafka_ip=os.popen('sudo docker inspect elements_kafka_1 | grep KAFKA_ADVERTISED_HOST_NAME').read() kafka_ip=re.match('^.*=(.*)",', kafka_ip).group(1) ka…

Jsoup获取全国地区数据（省市县镇村）(续) 纯干货分享

前几天给大家分享了一下,怎么样通过jsoup来从国家统计局官网获取全国省市县镇村的数据.错过的朋友请点击这里.上文说到抓取到数据以后,我们怎么转换成我们想要格式呢?哈哈,解析方式可能很简单,但是有一点我是知道的,很多人是伸手党,那么我就把我的处理过程给大家分享出来,觉得不错的,请点个赞. 第一步:将获取到的txt文件转换成数据库文件: 这里需要备注一下,下文所有的资源压缩文件,解压密码都是我的博客园昵称.为什么要加密码给大家解释一下:前期发出的博文被其他很多站点爬取了,但是都没有原文链接或者转载…

python学习 —— 获取系统运行情况信息并在Linux下设置定时运行python脚本

代码: # -*- coding:utf-8 -*- from psutil import * def cpu_usage_rate(): for i, j in zip(range(1, cpu_count(logical=False) + 1), cpu_percent(interval=1, percpu=True)): print 'CPU' + str(i) + ':' + str(j) + '%' def memory_usage_rate(): vime = virtual_mem…

天气类API调用的代码示例合集：全国天气预报、实时空气质量数据查询、PM2.5空气质量指数等

以下示例代码适用于 www.apishop.net 网站下的API,使用本文提及的接口调用代码示例前,您需要先申请相应的API服务. 全国天气预报:数据来自国家气象局,可根据地名.经纬度GPS.IP查询对应地区的预报. 实时空气质量数据查询:空气质量实时发布的数据 PM2.5空气质量指数:支持全国367个城市空气质量指数,提供实时空气质量情况,每小时更新,服务支持功能包括:实时查询空气质量,小时粒度:实时给出空气质量级别和首要污染物等全国天气查询-简易版:返回地点.温度.空气湿度.风向.风力等…

某互联网后台自动化组合测试框架RF+Sikuli+Python脚本

某互联网后台自动化组合测试框架RF+Sikuli+Python脚本 http://www.jianshu.com/p/b3e204c8651a 字数949 阅读323 评论1 喜欢0 一.**RobotFramework 1.**工具介绍:Robotframework在测试中作为组织测试用例和BDD关键字的平台,主要使用RIDE进行管理,它不是一个工具,而仅仅是一个框架,使用Python进行开发,同时支持WEB测试(Selenium).Java GUI 测试,启动线程.终端.SSH等.支持BDD…