一个通用的脚本，处理MySQL WorkBench导出表的JSON数据进SQLITE3，创建的是FTS4的虚拟表

# -*- coding:utf-8 -*-

import json

import sqlite3

import os,  sys

def join_key_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        result += item + ','

    result = result.rstrip(',')

    return result

def join_value_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        if isinstance(dict_info[item], str):

            result += "'" + dict_info[item].replace("'",  "''") + "',"

        else:

            result += str(dict_info[item]) + ","

        # result += dict_info[item] + ','

    result = result.rstrip(',')

    return result

def create_tbl_by_json(json_file,  tbl_name,  db_conn):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    line = json_handle.readline()

    json_handle.close()

    # 清除左边的[，右边的,

    line = line.lstrip('[').rstrip('\r\n ,')

    json_line = json.loads(line)

    # 获取到所有key，构建表的创建命令

    create_tbl_str = "create virtual table %s USING fts4( %s );" % (tbl_name,  join_key_by_dict(json_line))

    # 打开光标

    cur = db_conn.cursor()

    cur.execute(create_tbl_str)

    db_conn.commit()

    cur.close()

    print('create %s table success[%s]' % (tbl_name,  json_file) )

def insert_record_by_json(json_file, tbl_name,  db_conn):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    cur = db_conn.cursor()

    count = 0

    for line in json_handle:

        json_line = json.loads(line.lstrip('[').rstrip('\r\n ,]'))

        # 获取到所有key，构建表的创建命令

        key_str = join_key_by_dict(json_line)

        val_str = join_value_by_dict(json_line)

        # 组装命令并执行

        insert_record_str = "INSERT INTO %s (%s) VALUES(%s);" % (tbl_name,  key_str, val_str)

        cur.execute(insert_record_str)

        count += 1

    db_conn.commit()

    cur.close()

    json_handle.close()

    print('insert record finish, count: %s' % count )

def convert_json_to_db(json_file,  db_file):

    # 检查json_file是否存在

    if not os.path.exists(json_file):

        print('file not exist: %s' % json_file)

        return

    # 打开数据库连接

    db_conn = sqlite3.connect(db_file)

    tbl_name,  _ = os.path.splitext(os.path.basename(json_file))

    # 开始创建表

    create_tbl_by_json(json_file,  tbl_name,  db_conn)

    # 开始插入记录

    insert_record_by_json(json_file,  tbl_name,  db_conn)

    # 关闭数据库

    db_conn.close()

    print('Operation done successfully')

if __name__ == '__main__':

    if len(sys.argv) != 3:

        print('Usage: python %s json_file db_file' % os.path.basename(__file__))

        exit(1)

    json_file = sys.argv[1]

    db_file = sys.argv[2]

    convert_json_to_db(json_file,  db_file)

一个通用的脚本，处理MySQL WorkBench导出表的JSON数据进SQLITE3，创建的是通用表

# -*- coding:utf-8 -*-

import json

import sqlite3

import os,  sys

def join_key_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        result += item + ','

    result = result.rstrip(',')

    return result

def join_value_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        if isinstance(dict_info[item], str):

            result += "'" + dict_info[item].replace("'",  "''") + "',"

        else:

            result += str(dict_info[item]) + ","

        # result += dict_info[item] + ','

    result = result.rstrip(',')

    return result

def join_keyvalue_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        if isinstance(dict_info[item], int):

            result += str(item) + " INTEGER,"

        else:

            result += str(item) + " TEXT,"

        # result += dict_info[item] + ','

    result = result.rstrip(',')

    return result

def create_tbl_by_json(json_file,  tbl_name,  db_conn):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    line = json_handle.readline()

    json_handle.close()

    # 清除左边的[，右边的,

    line = line.lstrip('[').rstrip('\r\n ,')

    json_line = json.loads(line)

    # 获取到所有key，构建表的创建命令

    create_tbl_str = "create table %s (%s);" % (tbl_name,  join_keyvalue_by_dict(json_line))

    # 打开光标

    cur = db_conn.cursor()

    cur.execute(create_tbl_str)

    db_conn.commit()

    cur.close()

    print('create %s table success[%s]' % (tbl_name,  json_file) )

def insert_record_by_json(json_file, tbl_name,  db_conn):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    cur = db_conn.cursor()

    count = 0

    for line in json_handle:

        json_line = json.loads(line.lstrip('[').rstrip('\r\n ,]'))

        # 获取到所有key，构建表的创建命令

        key_str = join_key_by_dict(json_line)

        val_str = join_value_by_dict(json_line)

        # 组装命令并执行

        insert_record_str = "INSERT INTO %s (%s) VALUES(%s);" % (tbl_name,  key_str, val_str)

        cur.execute(insert_record_str)

        count += 1

    db_conn.commit()

    cur.close()

    json_handle.close()

    print('insert record finish, count: %s' % count )

def convert_json_to_db(json_file,  db_file):

    # 检查json_file是否存在

    if not os.path.exists(json_file):

        print('file not exist: %s' % json_file)

        return

    # 打开数据库连接

    db_conn = sqlite3.connect(db_file)

    tbl_name,  _ = os.path.splitext(os.path.basename(json_file))

    # 开始创建表

    create_tbl_by_json(json_file,  tbl_name,  db_conn)

    # 开始插入记录

    insert_record_by_json(json_file,  tbl_name,  db_conn)

    # 关闭数据库

    db_conn.close()

    print('Operation done successfully')

if __name__ == '__main__':

    if len(sys.argv) != 3:

        print('Usage: python %s json_file db_file' % os.path.basename(__file__))

        exit(1)

    json_file = sys.argv[1]

    db_file = sys.argv[2]

    convert_json_to_db(json_file,  db_file)

　　

一个通用的脚本，处理MySQL WorkBench导出表的JSON数据进SQLITE3，输出的是可以执行的SQL语句

# -*- coding:utf-8 -*-

import json

import os,  sys

def join_key_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        result += item + ','

    result = result.rstrip(',')

    return result

def join_value_by_dict(dict_info):

    result = ""

    for item in dict_info.keys():

        if isinstance(dict_info[item], str):

            result += "'" + dict_info[item].replace("'",  "''") + "',"

        else:

            result += str(dict_info[item]) + ","

        # result += dict_info[item] + ','

    result = result.rstrip(',')

    return result

def create_tbl_by_json(json_file,  tbl_name,  sql_file):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    line = json_handle.readline()

    json_handle.close()

    # 清除左边的[，右边的,

    line = line.lstrip('[').rstrip('\r\n ,')

    json_line = json.loads(line)

    # 获取到所有key，构建表的创建命令

    create_tbl_str = 'create virtual table %s USING fts4( %s );\n' % (tbl_name,  join_key_by_dict(json_line))

    sql_file.write(create_tbl_str)

    # 打开光标

    #print('create %s table success[%s]' % (tbl_name,  json_file) )

def insert_record_by_json(json_file, tbl_name,  sql_file):

    # 打开文件，

    json_handle = open(json_file,  "r")

    # 读取第一行，转换成json数据

    count = 0

    for line in json_handle:

        json_line = json.loads(line.lstrip('[').rstrip('\r\n ,]'))

        # 获取到所有key，构建表的创建命令

        key_str = join_key_by_dict(json_line)

        val_str = join_value_by_dict(json_line)

        # 组装命令并执行

        insert_record_str = "INSERT INTO %s (%s) VALUES(%s);\n" % (tbl_name,  key_str, val_str)

        sql_file.write(insert_record_str)

        count += 1

    json_handle.close()

    #print('insert record finish, count: %s' % count )

def convert_json_to_sql(json_file,  sql_file):

    # 检查json_file是否存在

    if not os.path.exists(json_file):

        print('file not exist: %s' % json_file)

        return

    # 检查sql_file是否存在

    if os.path.exists(sql_file):

        print('file is exist: %s, will overwrite it.' % sql_file)

    # 打开文件

    sql_handle = open(sql_file, "w")

    tbl_name,  _ = os.path.splitext(os.path.basename(json_file))

    # 开始创建表

    create_tbl_by_json(json_file,  tbl_name,  sql_handle)

    # 开始插入记录

    insert_record_by_json(json_file,  tbl_name,  sql_handle)

    # 关闭文件

    sql_handle.close()

    print('Operation done successfully')

if __name__ == '__main__':

    if len(sys.argv) != 3:

        print('Usage: python %s json_file db_file' % os.path.basename(__file__))

        exit(1)

    json_file = sys.argv[1]

    sql_file = sys.argv[2]

    convert_json_to_sql(json_file,  sql_file)

　　

 
 
 
 
 
 

三个通用的脚本，处理MySQL WorkBench导出表的JSON数据进SQLITE3的更多相关文章

  1. MySQL Workbench 6 不能删除数据等问题（“Error Code: 1175”） 和入门教程

    网络资料收集 当用MySQL Workbench进行数据库的批量更新时,执行一个语句会碰到以下错误提示: Error Code: 1175 You are using safe...without a ...

  2. [笔记] MySql Workbench 导出表结构和数据报错 mysqldump: [ERROR] unknown variable 'delayed-insert=FALSE'

    下午使用MySql Workbench导出数据库表结构,设置完导出选项后执行导出,报如下错误: :: Dumping nacweixindb (tb_app) Running: mysqldump.e ...

  3. 只要三步！阿里云DLA帮你处理海量JSON数据

    概述 您可能有大量应用程序产生的JSON数据,您可能需要对这些JSON数据进行整理,去除不想要的字段,或者只保留想要的字段,或者仅仅是进行数据查询. 那么,利用阿里云Data Lake Analyti ...

  4. 利用PHP脚本辅助MySQL数据库管理5-检查异常数据

    <?php $dbi = new DbMysql; $dbi->dbh = 'mysql://root:mysql@127.0.0.1/coffeetest'; $map = array( ...

  5. mysql workbench 导出表结构

    Server->Data Export 选择数据库(我的是 lhc库) -> 选择对应表(我的是  device表), Dump Structre and Data 导出表数据和表结构 D ...

  6. Mysql 导入导出表结构与数据

    1.导出整个数据库 mysqldump -u用户名 -p密码  数据库名 > 导出的文件名  C:\Users\jack> mysqldump -uroot -pmysql account ...

  7. mysql只导出表结构或数据

    唯一的非导电结构指南数据 mysqldump -t 数据库名称 -uroot -p > xxx.sql 指南结构不仅指导数据 mysqldump    --opt -d  数据库名 -u -p ...

  8. MySQL Workbench的使用教程 （初级入门版）

    MySQL Workbench 是 MySQL AB 最近释放的可视数据库设计工具.这个工具是设计 MySQL 数据库的专用工具. MySQL Workbench 拥有很多的功能和特性:这篇由Djon ...

  9. （转）MySQL Workbench的使用教程 （初级入门版）

    转自:http://www.cnblogs.com/yqskj/archive/2013/03/01/2938027.html MySQL Workbench 是 MySQL AB 最近释放的可视数据 ...

随机推荐

  1. 2015/9/2 Python基础(7)：元组

    为什么要创造一个和列表差别不大的容器类型?元组和列表看起来不同的一点是元组用圆括号而列表用方括号.而最重要的是,元组是不可变类型.这就保证了元组的安全性.创造元组给它赋值和列表完全一样.除了一个元素的 ...

  2. [洛谷P2375] [NOI2014]动物园

    洛谷题目链接:[NOI2014]动物园 题目描述 近日,园长发现动物园中好吃懒做的动物越来越多了.例如企鹅,只会卖萌向游客要吃的.为了整治动物园的不良风气,让动物们凭自己的真才实学向游客要吃的,园长决 ...

  3. java 8新特性 instant

    Java 8目前已经开始进入大众的视线,其中笔者在写本文之前,留意到其中Java 8预览版中将会出现新的关于日期和时间的API(遵守JSR310规范).在本系列文章中,将对这些新的API进行举例说明. ...

  4. Canvas 基本绘图方法总结

    一.基本内容  1.简单来说,HTML5提供的新元素<canvas>  2.Canvas在HTML页面提供画布的功能,在画布中绘制各种图形  3.Canvas绘制的图形与HTML页面无关, ...

  5. NDK---使用，开发步骤

    使用NDk的场景: 1.某些方法,是使用C,C++本地代码实现的,然后,我想在Java中调用这些方法.这个时候,就需要使用到JNI技术. 应用NDK的时候,分两个部分,Java部分,JNI层部分,本地 ...

  6. {转}用ADMM求解大型机器学习问题

    [本文链接:http://www.cnblogs.com/breezedeus/p/3496819.html] 从等式约束的最小化问题说起:                               ...

  7. Fermat2018游记

    day (-22) 2018年2月5日 Devin大佬给我发了一份Waterloo AIF的原件截图,发现里面居然直接问你的Fermat分数,那么这么重要的考试当然不能错过啊 若干天之后刚开学不久的一 ...

  8. dot.js使用心得

    一.dot.js介绍 最近用到的数据模板引擎有很多,今天讲的doT.js也是其中一种. doT.js的特点是体积小,速度快,并且不依赖其他插件. 官网下载:http://olado.github.io ...

  9. bzoj 1030 ac自动机

    比较容易看出来先建立ac自动机,然后在自动机上做DP,设w[0..1][i][j]为当前不包括/包括字典中的字符串,当前在自动机中走到第i个节点,完成的文本的长度为j的方案数,那么比较容易的转移w[i ...

  10. nodejs安装express以后，使用express显示不是内部或外部命令

    1.问题描述 在命令窗口通过npm install -g express 安装express以后,通过express -e express新建工程失败,提示express不是内部或外部命令 2.解决方 ...