使用JDBC连接MySQL数据库进行数据插入的时候,特别是大批量数据连续插入(10W+),如何提高效率呢? 在JDBC编程接口中Statement 有两个方法特别值得注意: void addBatch() throws SQLException Adds a set of parameters to this PreparedStatement object's batch of commands. int[] executeBatch() throws SQLException Submits…
目录 1.第一个demo:创建工作簿,创建sheet页,创建单元格    2.创建一个时间格式的单元格    3.遍历工作簿的行和列并获取单元格内容    4.文本提取    5.单元格对齐方式    6.单元格边框处理    7.单元格填充色和颜色操作    8.单元格合并    9.字体处理   10.读取和重写工作簿   11.单元格中使用换行   12.创建用户自定义数据格式   13.批量导出数据   14.demo: 利用 poi 实现数据的批量导出   15.demo: 利用 po…
1.导入poi相关jar包 对于只操作2003及以前版本的excel,只需要导入poi-XXX.jar ,如果还需要对2007及以后版本进行操作,则需要导入 poi-ooxml-XXX.jar poi-ooxml-schemas-XXX.jar Maven方式 <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>3.1…
一.mysql的分表策略 根据经验,Mysql表数据一般达到百万级别,查询效率会很低,容易造成表锁,甚至堆积很多连接,直接挂掉: 1,水平分割: 水平(横向)拆分:将同一个表的数据进行分块保存到不同的数据库中,来解决单表中数据量增长出现的压力. 表结构设计水平切分.常见的一些场景包括a). 比如在线电子商务网站,订单表数据量过大,按照年度.月度水平切分 b). Web 2.0网站注册用户.在线活跃用户过多,按照用户ID范围等方式,将相关用户以及该用户紧密关联的表做水平切分 c). 例如论坛的置顶…
  简单举个例子: drop table if exists demo1 create table demo1 ( id int primary key auto_increment, name ) ) desc demo1 -- 随机字符串函数用于插入数据 drop function if exists rand_str; delimiter // create function rand_str(size int,type int) ) begin ) ; ) '; ) default 'q…
最近公司新增功能要求导入excel,并读取其中数据批量写入数据库.于是就开始了这个事情,之前的文章,记录了上传文件,本篇记录如何通过POI读取excel数据并封装为对象上传. 上代码: 1.首先这是一个依赖第三方的事情,故而需要导入jar包 <!-- read excel start --> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId&…
如下excel: 需要处理成下面的效果: 方法: 在 C2 中输入公式: ="{"""&"code"&""""&":"&""""&A2&""""&","&""""&"d…
CREATE PROCEDURE `sp_delete_pushmsg_data`() BEGIN ); ); declare l_dutyno int; ; ; ; ; day),'%Y-%m-%d'); /*删除90天之前的*/ set l_state_date=date_format(now(),'%Y%m%d'); ; /* set @strsql01 = CONCAT('delete from db_pushmsg.app_message_',i,' where create_time…
一.1.通过csv文件批量导入数据 1 from selenium import webdriver from time import ctime,sleep import csv #循环读取每一行每一个字段csv bid_info = csv.DictReader(open('E:\\script\\python-script\\demo_test_courses.csv','r')) dict_data = [] for lines in bid_info: if bid_info.line…
一.前言 在工作的过程中,我们有时可能会面临将Excel表格转换成CSV格式文件的需求.这尤其在游戏开发中体现的最为明显,策划的数据文档大多是一些Excel表格,且不说这些表格在游戏中读取的速度,但就论占用内存来说,同样的数据量Excel表格所占用的内存要远远大于CSV,因此将Excel转换成CSV势在必行.如果单单转换一个Excel表格还好,直接另存为就搞定的,但是如何将一个文件下的N个Execl表格转成CSV呢?今天马三就来和大家一起用Python撸一个Excel表格批量转换CSV的小工具—…