本文档是因为每周需要统计线上数据库中客户新增资源,手动执行实在是麻烦,就写了个脚本导出到Excel,顺便发一封邮件. (当然这不是线上的真实脚本,不过根据个人需求稍微修改下,还是可以直接用的.拿去不谢!!) 将想发出邮件的SQL语句写到exec.sql: vim /tmp/exec.sql select * from db; 编辑Python脚本: root@localhost:/tmp# vim exportsql.py #!/usr/bin/python # coding: utf- imp

在 文章 <python实现指定目录下批量文件的单词计数:串行版本>中, 总体思路是: A. 一次性获取指定目录下的所有符合条件的文件 -> B. 一次性获取所有文件的所有文件行 -> C. 解析所有文件行的单词计数 -> D. 按单词出现次数排序并输出TOPN.  A,B,C,D 是完全串行的 本文实现 并发版本. 并发版本的主要思路是: A. 每次获取一个符合条件的文件 -> B. 获取单个文件的所有文件行 -> C. 解析单个文件的所有单词计数 ->

Excel文件导入数据库多个Sheet if exists(select 1 from sysobjects where name=N'p_import_excel' and type='P')drop proc p_import_excelgo--调用示例exec p_import_excel 'c:\123.xls','Sheet1;Sheet2;Sheet3','tbl'create proc p_import_excel@excfilename nvarchar(100),--文件路径@

这个工具类十分简单和简洁. sql拼接方法 # encoding=utf-8 from django.http import HttpResponse from anyjson import serialize from django.http import HttpResponse from anyjson import serialize import MySQLdb def safe(s): return MySQLdb.escape_string(s) def get_i_sql(tab

def init(self,cr): tools.sql.drop_view_if_exists(cr, 'custrom_product_infomation_report') cr.execute(""" create or replace view custrom_product_infomation_report as ( select t0.id,t0.hpartner_id as hpartner_id, t0.khwl_code as khwl_code,t1.

需求 给出制定目录(路径),获取该目录下所有文件的绝对路径: 实现 方式一: import os def get_file_path_by_name(file_dir): ''' 获取指定路径下所有文件的绝对路径 :param file_dir: :return: ''' L = [] for root, dirs, files in os.walk(file_dir): # 获取所有文件 for file in files: # 遍历所有文件名 if os.path.splitext(file

AS3程序在编译的过程中,有一个特点是这样的,不管是项目中的类,还是标准库或者第三方库的类,编译的时候只会把用到的那些类文件编译进去,也就是说,某一些类,只要没有被主程序引用到,那这个文件是不会被编译进来的.实际的表现是,在程序运行的过程中,getDefinitionByName是不能获取到没有引用的类,因为这个类根本就不在主程序运行的域里面. 这也就带来一个问题,在一些应用场合下,我需要用到某个类,但用到他却是通过反射机制来获取的(通过getDefinitionByName去获取).举例来说,

需求:每天生成一份txt文件数据,供第三方通过http方式调用 方法: 1.新建存储过程: USE [LocojoyMicroMessage] GO /****** Object: StoredProcedure [dbo].[sp_ExportTxt] Script Date: 03/24/2014 10:08:46 ******/ SET ANSI_NULLS ON GO SET QUOTED_IDENTIFIER ON GO -- =============================

程序设计思路:1. 利用os.walk()找出所有的文件;2.利用正则找到指定后缀的文件:3.找到需要的txt文件后,通过open().readlines()读取文件中每行数据;4.读取后,保存正则匹配到数据的文件:5.你懂的. #!/usr/bin/env python #coding:utf8 import os import re regtxt = r'.+?\.txt' #扫描对象为txt文件. regcontent = r'what is your name' #列出内容含有'what

要说明的是, 串行版本足够快了, 在我的酷睿双核 debian7.6 下运行只要 0.2s , 简直是难以超越. 多进程版本难以避免大量的进程创建和数据同步与传输开销, 性能反而不如串行版本, 只能作为学习的示例了. 以后再优化吧. 并发程序设计的两种基本模式: 1.  将大数据集分解为多个小数据集并行处理后合并. 其难点在于负载均衡. 2.  将一个复杂任务分解为多个子任务流水线并发处理. 其难点在于子任务之间的协调与同步. 发送者与接收者必须制定某种协议,避免接收者过早退出. 实际场景: 1

import os # 查找当前目录下所有包含关键字的文件 def findFile(path, filekw): return[os.path.join(path,x) for x in os.listdir(path) if os.path.isfile(x) and os.path.split(x)[1].find(filekw)>-1] # 获取指定目录下的次级目录 def findDir(path1): return[os.path.join(path1,x) for x in os.

一: os.listdir(path) 把path目录下的所有文件保存在列表中: >>> import os>>> import re>>> path = "/home/popt/fiile">>> print (os.listdir(path))['Temp.conf', 'del2.py', 'ha.conf.bak', 'ha.conf', 'del.py', 'rename.py']>>>

直接上代码. 练习目标: 1.  使用 Python 面向对象的方法封装逻辑和表达 : 2.  使用异常处理和日志API : 3.  使用文件目录读写API : 4.  使用 list, map, tuple 三种数据结构 : 5.  lambda .正则使用及其它. 下一篇将实现并发版本. #------------------------------------------------------------------------------- # Name: wordstat_seria

只需要在 settings.py 文件中加入以下配置即可. LOGGING = { 'version': 1, 'disable_existing_loggers': False, 'handlers': { 'console':{ 'level':'DEBUG', 'class':'logging.StreamHandler', }, }, 'loggers': { 'django.db.backends': { 'handlers': ['console'], 'propagate': Tr

select * from ( SELECT t1.Table_Name AS "表名称", t3.comments AS "表说明",  t1.Column_Name AS "字段名称", t1.Data_Type AS "数据类型", t1.Data_Length AS "长度", t1.NullAble AS "是否为空", t2.Comments AS "字段说明&qu

. 问题描述 在做爬虫的时候,数据量很大,大约有五百百万条数据,假设有个字段是conmany_name(拍卖公司名称),我们现在需要从五百万条数据里面查找出来五十家拍卖公司, 并且要求字段 time(时间) 大于7月一号,小于10月31号. . 问题解决 我们首先想到的解决办法是添加索引,对拍卖公司字段添加索引,但是因为日期是大于7月1号,小于10月31号,在这里用索引的效率很低, 并且要重复的查询出来五十家公司,效率很低,有没有好的解决方案呢??? .解决问题思路 .查询五百条数据,我们会发现

如下图: username在表中是字符串类型的,所以传入的参数要加上引号

在工作我们常常要批量生成sql文件,因为业务部门经常给我们的是excel文件,根据我的经验,推荐两种批量生成sql文件方式 1.excel批量生成sql ,sql语句如下 INSERT INTO TableName(ID,USERNAME,MANAGERID2) VALUES('"&列名&"','"&列名&"','"&列名&"'); 但是这个里面会有问题如果是有时间类型呢 ,就会出现数字,那么怎么解

背景 公司有一个数据处理线,上面的数据经过不同环境处理,然后上线到正式库.其中一个环节需要将数据进行处理然后导入到另外一个库(Sql Server).这个处理的程序是老大用python写的,处理完后进入另外一个库后某些字段出现了乱码. 比如这个字符串:1006⁃267X(2020)02⁃0548⁃10 另外一个库变成:1006?267X(2020)02?0548?10 线上人员反馈回来后老大由于比较忙,一直没有排查,然后我问了下估计是什么原因.老大说他python里面转了utf8,可能是编码问题

知识点梳理 课堂讲义 一.Mybatis注解开发单表操作 *** 1.1 MyBatis的常用注解 之前我们在Mapper映射文件中编写的sql语句已经各种配置,其实是比较麻烦的 而这几年来注解开发越来越流行,Mybatis也可以使用注解开发方式,这样我们就可以减少编写Mapper映射文件了 常用注解 @Select("查询的 SQL 语句"):执行查询操作注解 @Insert("查询的 SQL 语句"):执行新增操作注解 @Update("查询的 SQL

1 使用原生SQL语句更新--Database.ExecuteSqlCommand 假设你有一张如图9-1所示的Payment数据库表. 图9-1 1.1 实体类型: public class Payment { public int PaymentId { get; set; } public decimal Amount { get; set; } public string Vendor { get; set; } } 1.2 数据访问类: public class EF6RecipesC