最近在使用TP框架写一个读取excel数据并将其插入到mysql数据库中的小功能.当excel中的数据条数非常多(几千甚至上万),并且多很多个列,并且某些列的内容还非常多的时候就容易出现问题. 第一种:(亲测) 在for循环中使用普通的add()方法进行数据写入.耗时最多. 第二种: 使用事务提交,每个指定间隔下提交一次事务,分批写入的思路.效率尚可. 第三种:(亲测) 通过循环将每条要写入得数据都放在一个数组里面,然后使用TP自带的批量写入方法,addAll()方法进行数据更新. 不过这种方法

使用ThinkPHP开发中MySQL性能优化的最佳21条经验讲解,目前,数据库的操作越来越成为整个应用的性能瓶颈了,这点对于Web应用尤其明显.关于数据库的性能,这并不只是DBA才需要担心的事,而这更是我 们程序员需要去关注的事情.当我们去设计数据库表结构,对操作数据库时(尤其是查表时的SQL语句),我们都需要注意数据操作的性能.这里,我们不会讲过 多的SQL语句的优化,而只是针对MySQL这一Web应用最多的数据库.希望下面的这些优化技巧对你有用. 1. 为查询缓存优化你的查询大多数的MySQ

老李分享:MySql的insert语句的性能优化方案   性能优化一直是测试人员比较感兴趣的内容,poptest在培训学员的时候也加大了性能测试调优的方面的内容,而性能优化需要经验的积累,经验的积累依靠项目实战,poptest培养测试开发工程师的性能测试的能力的时候,就不断的添加实战项目来帮助学员快速积累经验,能在工作中尽快上手. 下面是数据库方面调优的一个小例子,你也完全可以通过掌握基础知识,完成简单的sql语句级别的性能调优.Poptest是国内唯一一家在测试开发工程师培养的机构,很专注自动

一.前言 以前的系统由于表设计比较复杂(多张表,表与表直接有主从关系),这个是业务逻辑决定的. 插入效率简直实在无法忍受,必须优化.在了解了Postgre的Copy,unlogged table 特性 之后,决定一探究竟. 二.测试用例 1.数据表结构:表示一个员工工作绩效的表(work_test):共15个字段 id,no,name,sex,tel,address,provice,city,post,mobile,department,work,start_time,end_time,scor

插入一个记录需要的时间由下列因素组成,其中的数字表示大约比例: 连接:(3) 发送查询给服务器:(2) 分析查询:(2) 插入记录:(1x记录大小) 插入索引:(1x索引) 关闭:(1) 这不考虑打开表的初始开销,每个并发运行的查询打开. 表的大小以logN (B树)的速度减慢索引的插入. 加快插入的一些方法: 如果同时从同一个客户端插入很多行,使用含多个VALUE的INSERT语句同时插入几行.这比使用单行INSERT语句快(在某些情况下快几倍).如果你正向一个非空表添加数据,可以调节bulk

需求分析 目前的业务全站使用ThinkPHP 3.2.3,前台.后台.Cli.Api等.目前的业务API访问量数千万,后端7台PHP 5.6,平均CPU使用率20%. 测试数据 真实业务 php5.6:500 QPS php7.0:850 QPS 真实业务中减少一次Mysql查询业务或者减少一次Redis读写 php5.6:800 QPS php7.0:1250 QPS 目前优化的结果: ThinkPHP可以完整的跑在缓存中: 在不需要mysql查询时,不建立mysql连接: 不读写redis时

链接:http://www.eygle.com/archives/2011/11/oracle_hwm_tuning.html 本文讨论的是oracle中关于table的HWM的内容,主要包括这样几个内容: 1.    什么是HWM? 2.    HWM是如何移动的. 3.    HWM对于性能的影响 4.    何时应该降低以及如何降低HWM 5.    其他一些影响HWM的操作 除了特殊注明,本章内容所有的实验都基于:win2000,oracle9201,bolcksize 8K的实验环境.

摘要:VB/C#.Net实体代码生成工具(EntitysCodeGenerate)[ECG]是一款专门为.Net数据库程序开发量身定做的(ORM框架)代码生成工具,所生成的程序代码基于OO.ADO.NET.分层架构.ORM及反射+工厂设计模式等.支持.Net1.1及以上版本,可用于Oracle.SqlServer.Sybase.DB2.MySQL.Access.SQLite.PostgreSQL.DM(达梦).PowerDesigner文件.Informix.Firebird.MaxDB.Exc

使用Room将数据保存在本地数据库 Room提供了SQLite之上的一层抽象, 既允许流畅地访问数据库, 也充分利用了SQLite. 处理大量结构化数据的应用, 能从在本地持久化数据中极大受益. 最常见的用例是缓存有关联的数据碎片. 以这种方式, 在设备不能访问网络的时候, 用户依然能够浏览离线内容. 任何用户发起的改变, 都应该在设备重新在线之后同步到服务器. 因为Room为你充分消除了这些顾虑, 使用Room而非SQLite是高度推荐的. 添加依赖 Room的依赖添加方式如下: depend

1 引言 目前大多数项目或产品都使用关系型数据库实现业务数据的存储,这样在开发过程中,常常有一些业务逻辑需要直接用写SQL语句实现,但这样开发的结果是:遍地布满SQL语句.这些藕合较高的SQL语句给系统的改造和升级带来很多无法预计的障碍.为了提高项目的灵活性,特别是快速开发,ORM是一个不错的选择.举个简单的例子:在使用ORM的系统中,当数据库模型改变时,不再需要理会逻辑代码和SQL语句中涉及到该模型的所有改动,只需要将该模型映射的对象稍作改动,甚至不做改动就可以满足要求. ORM的全称是Obj

集合最重要的继承路线 —— Traversable -> Iterable -> Seq -> LinerSeq -> List Traversable 中的公有方法: 分类 方法 相加操作  ++ 大小信息  isEmpty,nonEmpty,size和hasDefiniteSize 元素测试  exists,forall和count 元素检索  head,last,headOption,lastOption和find 转换操作  toArray,toList,toIterabl

在 Oracle 数据库中,我们通常在不同数据库的表间记录进行复制或迁移时会用以下几种方法: 1. A 表的记录导出为一条条分号隔开的 insert 语句,然后执行插入到 B 表中2. 建立数据库间的 dblink,然后用 create table B as select * from A@dblink where ...,或 insert into B select * from A@dblink where ...3. exp A 表,再 imp 到 B 表,exp 时可加查询条件4. 程序

有时候在数据库上运行一个数据量很大的查询语句,会导致TempDB数据量剧增,具体查看下面链接文章: SqlServer 一个查询语句导致tempdb增大55G 找到TempDB剧增的问题后,接下来的问题是如何收缩TempDB.下面这篇文章详细阐述了如何收缩TempDB: 最简单的办法:重启SQL Server服务如果SQL Server 是安装在默认路径,那么 tempdb.mdf 和 templog.ldf 文件在以下路径:“C:\Program Files\Microsoft SQL Ser

向oracle中导入*.csv文件   1.什么是*.csv,如何得到? 里面存放的是数据表.每行代表数据库表格的一行, 每行中,每两个数据中间由逗号","分割. *.csv可以通过"将excel文件另存为*.csv"得到. 2.如何将*.csv格式的数据导入oracle数据库? 举例来说: test.csv文件中存放以下数据. a1,b1 a2,b2 存放路径为: d:\test.csv 准备将其存放到oracle数据库中. a.首先,则需要新建表(栏位数量和类型

最近做了一个关于数据压缩的项目,要把整个SQL SERVER服务器下所有的表对象要改成页压缩.于是趁此机会了解了一下SQL SERVER下压缩技术. 这篇文章几乎就是完全指导手册了 https://technet.microsoft.com/en-us/library/dd894051(v=sql.100).aspx 当然这里还有技术wiki page https://msdn.microsoft.com/en-us/library/cc280449.aspx 那看了这么多,这里总结一下: 1)

转载:http://langgufu.iteye.com/blog/1974211 Problem Description:1.每个表的结构及主键索引情况2.每个表的count(*)记录是多少3.对于创建索引的列,索引的类型是什么?count(distinct indexcol)的值是多少?4.最后一次对表进行分析是在什么时间,分析后,是否又对相关表做过大的操作5.索引最后一次rebuild,是在什么时间,此后对表的操作类型又是什么状况?索引中浪费的空间是多少?6.这些表的存储情况,表的存储参数

http://blog.csdn.net/binger819623/article/details/5280267 一.        分区的概念二.        为什么使用分区?(优点)三.        分区类型四.        子分区五.        对分区进行修改(增加.删除.分解.合并)六.        不同引擎的分区特性七.        分区的限制性 分区概念分区针对不同的数据库,具有不同的特性.在这里专门针对MySQL数据库而言.在MySQL数据库里,分区这个概念是从my

1. 存储结构: MyISAM:(文件名以表名开始) .frm文件存储表定义 .MYD文件存储数据 .MYI文件存储索引 InnoDB: 所有的表保存在同一个(也可能多个)数据文件中,表的大小仅受限于操作系统文件的大小,一般为2GB 2. 存储空间: MyISAM: 可被压缩,存储空间较小.支持三种不同的存储格式:静态表.动态表.压缩表 默认为静态表,数据末尾不能有空格,否则会将空格去掉 InnoDB: 更多的内存和存储空间.在内存中建立专用的缓冲池用于高速缓冲数据与索引 3. 可移植性.备份与

总结: 1.B+树将数据完全排序,读数据时很快,但当要修改数据时,就需要将新入数据下面的数据重新排位,特别是当写入的数据排在较高的位置时,需要大量的移位操作才能完成写入. 2.SLM牺牲部分的读性能,从而提高写性能:将数据分散到多个有序列表中,每个列表保存一部分数据,这样读取数据时,就需要先查找在哪个有序列表,再从这个列表中读取具体数据,但是写的时候,受影响的数据就会减少,从而减少写入时间. 有以下2种方法优化读取时间: (1)Bloom filter : 就是个带随即概率的bitmap,可以快

Json数组是子元素的有序集合,每个子元素都有一个下标,可以根据下标操纵Json数组的子元素.类JsonArray是bantouyan-json库对Json数组的抽象,提供操纵Json数组的各种方法.本文就介绍如何操纵JsonArray. 一.创建JsonArray实例 创建JsonArray实例有两类方法,一是利用超类Json的静态方法parseJsonText.parseJsonReader与 parseJavaCollection获取JsonArray实例,二是直接利用JsonArray类

1．  下列不属于ORACLE的逻辑结构的是(C) 区 段 数据文件 表空间 2. 下面哪个用户不是ORACLE缺省安装后就存在的用户(A) A . SYSDBA B. SYSTEM C. SCOTT D. SYS 3         下面哪个操作会导致用户连接到ORACLE数据库,但不能创建表(A) 授予了CONNECT的角色,但没有授予RESOURCE的角色 没有授予用户系统管理员的角色 数据库实例没有启动 数据库监听没有启动 ( )函数通常用来计算累计排名,移动平均数和报表聚合. A .