diff_mysql_table_exec.py
#!/usr/bin/env python
#-*- encoding: utf8 -*- import mysql.connector
import sys
import re
import datetime
import xlrd # 定义要导出文件路径
my_dump_dir = "/data1/lgj/temp2/" # 配置信息文件,对比的时候,同一行源端和目标端要一一对应,对比的时候同一行作对比。
# 源端 : 第一列是IP, 第二列是账号, 第三列是DB, 第四列是密码, 第五列是端口号。
# 目标端 : 第七列是IP, 第八列是账号, 第九列是DB, 第十列是密码, 第十一列是端口号。
dbinfo = "/data1/lgj/temp2/dbinfo.xlsx" # 生成create table 语句文件
create_table_sql_file = my_dump_dir+"create_table_output_" + datetime.datetime.now().strftime('%Y_%m_%d')+".sql" # 生成alter table modify 语句文件
alter_table_modify_sql_file = my_dump_dir+"alter_table_modify_output_" + datetime.datetime.now().strftime('%Y_%m_%d')+".sql" # 生成alter table add 语句文件
alter_table_add_sql_file = my_dump_dir+"alter_table_add_output_" + datetime.datetime.now().strftime('%Y_%m_%d')+".sql" class DiffTable:
# fromdbconfig 参数是一个列表,是源端数据库, todbconfig 参数也是一个列表,是目标端数据库(也就是要修改的数据库),第一列是IP,第二列是DB,第三列是账号,第四列是密码,第五列是端口号。
def __init__(self, fromdbconfig,todbconfig):
self.fromdbconfig = fromdbconfig
self.todbconfig = todbconfig def _get_sql_info(self, sql, host, db, user, password, port):
cnn = mysql.connector.connect(host=host, db=db, user=user, password=password,port=port)
cursor = cnn.cursor()
cursor.execute(sql)
return cursor.fetchall() # 获取指定数据库source_list 里面存在,但是target_list不存在的对象,获取这些表,用于生成create table 语句。
def generate_create_statement(self):
select_source_sql = "select table_name from information_schema.tables where table_schema='%s' order by table_name;" %(self.fromdbconfig[1])
select_target_sql = "select table_name from information_schema.tables where table_schema='%s' order by table_name;" %(self.todbconfig[1])
return_get_source_table_name = self._get_sql_info(select_source_sql, self.fromdbconfig[0], self.fromdbconfig[1], self.fromdbconfig[2], self.fromdbconfig[3], self.fromdbconfig[4])
return_get_target_table_name = self._get_sql_info(select_target_sql, self.todbconfig[0], self.todbconfig[1], self.todbconfig[2], self.todbconfig[3], self.todbconfig[4])
create_table_ret_list = []
for i in range(len(return_get_source_table_name)):
if return_get_source_table_name[i] not in return_get_target_table_name:
create_table_ret_list.append(return_get_source_table_name[i])
cnn = mysql.connector.connect(host=self.fromdbconfig[0], db=self.fromdbconfig[1], user=self.fromdbconfig[2], password=self.fromdbconfig[3],port=self.fromdbconfig[4])
cursor = cnn.cursor()
for item in range(len(create_table_ret_list)):
show_create_table_sql = "show create table %s;" % (create_table_ret_list[item][0])
cursor.execute(show_create_table_sql)
for i in cursor:
create_table_name = i[1] + i[1].join(u';')
create_table_name_statement = "\r\nuse %s;\r\n%s \r\n" %(self.todbconfig[1],create_table_name)
with open(create_table_sql_file,"aw") as f:
f.write(create_table_name_statement.encode('utf-8')) # 获取指定数据库source_list 里面存在,但是 get_create_table_list 不存在的对象,获取这些表,用于生成 alter table 语句,获取的内容中既有可能有alter table add ,也有可能有alter table modify 。
def get_alter_table_list(self):
select_source_sql = "select table_name from information_schema.tables where table_schema='%s' order by table_name;" %(self.fromdbconfig[1])
select_target_sql = "select table_name from information_schema.tables where table_schema='%s' order by table_name;" %(self.todbconfig[1])
return_get_source_table_name = self._get_sql_info(select_source_sql, self.fromdbconfig[0], self.fromdbconfig[1], self.fromdbconfig[2], self.fromdbconfig[3], self.fromdbconfig[4])
return_get_target_table_name = self._get_sql_info(select_target_sql, self.todbconfig[0], self.todbconfig[1], self.todbconfig[2], self.todbconfig[3], self.todbconfig[4])
alter_table_ret_list = []
for i in range(len(return_get_source_table_name)):
if return_get_source_table_name[i] in return_get_target_table_name:
if return_get_source_table_name[i] not in alter_table_ret_list:
alter_table_ret_list.append(return_get_source_table_name[i])
return alter_table_ret_list def get_alter_statement(self, host, db, user, password, port ,table_name):
result_tables={}
cnn = mysql.connector.connect(host=host, db=db, user=user, password=password,port=port)
cursor = cnn.cursor()
for item in range(len(table_name)):
result_columns=[]
show_create_table_sql = "show create table %s;" % (table_name[item][0])
cursor.execute(show_create_table_sql)
for j in cursor:
j_1 = re.split('CREATE TABLE',j[1])[1]
j_2 = re.split('` \(\n',j_1,1)[1]
j_3 = re.split('\n\) ENGINE',j_2)[0]
for j_4 in re.split(',\n',j_3):
if j_4.startswith(' KEY') or j_4.startswith(' UNIQUE KEY') or j_4.startswith(' KEY'):
pass
else:
if j_4 not in result_columns:
result_columns.append(j_4)
result_tables[table_name[item][0]]=result_columns
return result_tables # 获取生成alter table的相关语句,并输出到文件
def generate_alter_statement(self):
source_alter_statement = self.get_alter_statement(self.fromdbconfig[0], self.fromdbconfig[1], self.fromdbconfig[2], self.fromdbconfig[3], self.fromdbconfig[4], self.get_alter_table_list())
target_alter_statement = self.get_alter_statement(self.todbconfig[0], self.todbconfig[1], self.todbconfig[2], self.todbconfig[3], self.todbconfig[4], self.get_alter_table_list())
#保存目标端列,键是列名,值是 target_column_info 用于后续判断源端列是否存在于源端表中。
target_column_info_dict = {}
#保存需要生成alter alter add 语句的列,键是列名,值是列,这部分数据来源于源端表。
source_alter_add_column = {}
#保存需要生成alter alter modify 语句的列,键是列名,值是列,这部分数据来源于源端表
source_alter_modify_column = {}
for key in source_alter_statement:
#保存目标端列,用于后续判断源端列是否存在于源端表中。
target_column_info = []
#保存目标端列名,用于后续判断源端列名是否存在于源端表中。
target_column_append = []
#保存需要生成alter alter modify 语句的列,这部分数据来源于源端表。
source_alter_add_name = []
#保存需要生成alter alter modify 语句的列,这部分数据来源于源端表。
source_alter_modify_name = []
for j in range(len(target_alter_statement[key])):
if re.split(r'`',target_alter_statement[key][j])[1] not in target_column_append:
target_column_append.append(re.split(r'`',target_alter_statement[key][j])[1])
if target_alter_statement[key][j] not in target_column_info:
target_column_info.append(target_alter_statement[key][j])
for i in range(len(source_alter_statement[key])):
# 判断源端的列名在目标端是否存在,如果不存在,就保存在 source_alter_add_column 字典中。
if re.split(r'`',source_alter_statement[key][i])[1] not in target_column_append:
if re.sub(r',$','',source_alter_statement[key][i]) not in source_alter_add_name:
source_alter_add_name.append(re.sub(r',$','',source_alter_statement[key][i]))
# 如果存在,再比较列信息是否一致,这部分信息保存在 source_alter_modify_name 字典中。
else:
if source_alter_statement[key][i] not in target_column_info:
if re.sub(r',$','',source_alter_statement[key][i]) not in source_alter_modify_name:
source_alter_modify_name.append(re.sub(r',$','',source_alter_statement[key][i]))
source_alter_add_column[key] = source_alter_add_name
source_alter_modify_column[key] = source_alter_modify_name
# 生成alter table add语句到指定的文件
for key in source_alter_add_column:
for item in range(len(source_alter_add_column[key])):
alter_table_add = source_alter_add_column[key][item] + source_alter_add_column[key][item].join(u';')
alter_table_add_statement = "\r\nuse %s;\r\n alter table %s add %s \r\n" %(self.fromdbconfig[1],key,alter_table_add)
with open(alter_table_add_sql_file,"aw") as f:
f.write(alter_table_add_statement.encode('utf-8'))
# 生成alter table add语句到指定的文件
for key in source_alter_modify_column:
for item in range(len(source_alter_modify_column[key])):
alter_table_modify = source_alter_modify_column[key][item] + source_alter_modify_column[key][item].join(u';')
alter_table_modify_statement = "\r\nuse %s;\r\n alter table %s modify %s \r\n" %(self.fromdbconfig[1],key,alter_table_modify)
with open(alter_table_modify_sql_file,"aw") as f:
f.write(alter_table_modify_statement.encode('utf-8')) class GetConn:
def __init__(self,fromfile):
self.fromfile = fromfile def get_csv(self):
csv_file = xlrd.open_workbook(self.fromfile,'rb')
csv_sheet = csv_file.sheet_by_index(0)
nrows = csv_sheet.nrows
csv_data = []
for i in range(nrows):
csv_row = csv_sheet.row_values(i)
csv_data.append(csv_row)
return csv_data checkdbconfig = GetConn(dbinfo).get_csv() for i in range(len(checkdbconfig)):
fromdbconfig_from = [checkdbconfig[i][0],checkdbconfig[i][2],checkdbconfig[i][1],checkdbconfig[i][3],int(checkdbconfig[i][4])]
todbconfig_to = [checkdbconfig[i][6],checkdbconfig[i][8],checkdbconfig[i][7],checkdbconfig[i][9],int(checkdbconfig[i][10])]
create_table_result = DiffTable(fromdbconfig_from,todbconfig_to).generate_create_statement()
alter_table_result = DiffTable(fromdbconfig_from,todbconfig_to).generate_alter_statement()
diff_mysql_table_exec.py的更多相关文章
- python调用py中rar的路径问题。
1.python调用py,在py中的os.getcwd()获取的不是py的路径,可以通过os.path.split(os.path.realpath(__file__))[0]来获取py的路径. 2. ...
- Python导入其他文件中的.py文件 即模块
import sys sys.path.append("路径") import .py文件
- import renumber.py in pymol
cp renumber.py /usr/local/lib/python2.7/dist-packages/pymol import renumber or run /path/to/renumber ...
- python gettitle.py
#!/usr/bin/env python # coding=utf-8 import threading import requests import Queue import sys import ...
- 解决 odoo.py: error: option --addons-path: The addons-path 'local-addons/' does not seem to a be a valid Addons Directory!
情况说明 odoo源文件路径-/odoo-dev/odoo/: 我的模块插件路径 ~/odoo-dev/local-addons/my-module 在my-module中创建了__init__.py ...
- caffe机器学习自带图片分类器classify.py实现输出预测结果的概率及caffe的web_demo例子运行实例
caffe机器学习环境搭建及python接口编译参见我的上一篇博客:机器学习caffe环境搭建--redhat7.1和caffe的python接口编译 1.运行caffe图片分类器python接口 还 ...
- 【转】Windows下使用libsvm中的grid.py和easy.py进行参数调优
libsvm中有进行参数调优的工具grid.py和easy.py可以使用,这些工具可以帮助我们选择更好的参数,减少自己参数选优带来的烦扰. 所需工具:libsvm.gnuplot 本机环境:Windo ...
- MySqlNDB使用自带的ndb_setup.py安装集群
在用Mysql做集群时,使用Mysql的NDB版本更易于集群的扩展,稳定和数据的实时性. 我们可以使用Mysql自带的工具进行集群安装与管理:ndb_setup.py.位于Mysql的安装目录bin下 ...
- 将做好的py文件打包成模块,供别人安装调用
现在要将写完的3个py文件,打包. 步骤: 1.新建一个文件夹setup(名字随便取),在setup文件夹下,再新建一个文件夹financeapi. 2.将上面4个py文件拷贝至financeapi文 ...
随机推荐
- spring boot 热启动
spring boot热启动有两种方式 1. 以Maven插件的形式去加载,所以启动时使用通过Maven命令mvn spring-boot:run启动,而通过Application.run方式启动的会 ...
- HDU 2563 统计问题 (递推)
A - 统计问题 Time Limit:1000MS Memory Limit:32768KB 64bit IO Format:%I64d & %I64u Submit Sta ...
- 推广一下新Blog www.hrwhisper.me
新博客地址:www.hrwhisper.me 欢迎互访加友链~
- Spring学习总结(5)——IOC注入方式总结
一.构造注入 在类被实例化的时候,它的构造方法被调用并且只能调用一次.所以它被用于类的初始化操作.<constructor-arg>是<bean>标签的子标签.通过其<v ...
- 修改tomcat小猫图标,设置项目的favicon图标
修改tomcat小猫图标,设置项目的favicon图标,方式有两种:全局方式和局部方式 1.全局方式: 进入tomcat服务器\webapps\ROOT,然后用自己项目的favicon.ico替换to ...
- .condarc(conda 配置文件)
Configuration - Conda documentation .condarc以点开头,一般表示 conda 应用程序的配置文件,在用户的家目录(windows:C:\\users\\use ...
- PowerApps和Flow,Power BI开发
为PowerApps和Flow,Power BI开发自定义连接器 作者:陈希章 发表于 2017年12月20日 前言 我在之前用了几篇文章来介绍新一代微软商业应用平台三剑客(PowerApps,Mic ...
- Spring MVC handler interceptors example--转载
原文地址:http://www.mkyong.com/spring-mvc/spring-mvc-handler-interceptors-example/ Spring MVC allow you ...
- 关于ES6(ES2015)的知识点详细总结
ECMAScript6 ECMAScript简称就是ES,你可以把它看成是一套标准,JavaScript就是实施了这套标准的一门语言,现在主流浏览器使用的是ECMAScript5. http://ba ...
- css实现背景半透明文字不透明的效果
<!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title> ...