TCLIENTDATASET.DATA, TCLIENTDATASET.DELTA, TDATASETPROVIDER.DATA,它们的DATA属性的类型都是OLEVARIANT. 中间层和客户端之间通过OLEVARIANT来传递数据集的数据. 为了提高数据传输的效率,发送方在传输之前可以先压缩数据,然后把压缩的数据发送给接收方. 接收方收到发送方送来的压缩数据,先进行数据解压. 使用开源的ZLIB进行数据的压缩和解压.XE2已经自带此控件,需要引用system.zlib单元. 原理:将OLEV…

最近有一网站使用Sqlite数据库作为数据临时性的缓存,对多片区进行划分 Sqlite数据库文件,每天大概新增近1万的数据量,起初效率有明显的提高,但历经一个多月后数据库文件从几K也上升到了近160M,数据量也达到了 40多万条,平均每一条数据占用了 4K的空间,虽然使用上的效率直观上没有造成太大的影响,但服务器的占用内存却比原来多占用了20%左右.今天刚好打算清除一个Sqlite的冗余数据, 将保留最近10天的数据就可以了,结果执行了删除指令delete后删除30多万条数据保留了10多万数据,…

数据做压缩和解压缩会增加CPU的开销,但可以最大程度的减少文件所需的磁盘空间和网络I/O的开销,所以最好对那些I/O密集型的作业使用数据压缩,cpu密集型,使用压缩反而会降低性能. 而hive中间结果是map输出传给reduce,所以应该使用低cpu开销和高压缩效率,一般最好使用snappy. ------------------------------------------------------------------------------ hive表的存储格式有(参见http://bl…

一般服务器不会胡乱返回gzip压缩的数据,一般是客户端请求的头部里包含你浏览器能接受的压缩方式, Accept-Encoding:gzip,deflate,sdch   这里是gzip .deflate.sdch这三种方式,这里不一一说明是指什么,不懂的可以去找谷哥度娘, 有些服务器强制返回gzip压缩的数据,我们采集的时候,返回的是乱码,根本无法读取使用,这个时候马上查看手册 发现其实curl里有个参数,curl_setopt($ch, CURLOPT_ENCODING,'gzip'); 手册…

myisam引擎介绍 存储结构: MyISAM每张表被存放在三个文件: frm:表格定义: MYD(MYData):数据文件: MYI(MYIndex):索引文件:   存储空间: MyISAM可被压缩,存储空间较小:   可移植性.备份及恢复: 由于MyISAM的数据是以文件的形式存储,所以在跨平台的数据转移中会很方便. 在备份和恢复时可单独针对某个表进行操作.  压缩工具介绍  myisampack: 是一个压缩使用MyISAM引擎表的工具,一般会压缩40%~70%,当需要访问数据,服务器会…

由于不能直接访问指定数据库,只能通过跳板机查询Oracle数据,所以要做一个数据中转接口, 查询数据就要压缩,于是就找资料,代码如下,其中要注意的是Response.Headers.Remove("Content-Encoding"); 这段,对Response.Headrs的操作如果IIS6是不支持的, 会出现如下错误: 接口出现错误:"此操作要求使用 IIS 集成管线模式." () System.PlatformNotSupportedException: 此操…

我们遇到个特别的需求,一个数据接入的流程跑的太慢,需要升级为用大数据方式去处理,提高效率. 数据: 数据csv文件用Zip 压缩后放置在SFTP中 数据来源: SFTP 数据操作: 文件和它的压缩包一致,后缀不同.文件名中包含渠道.日期.操作标记("S"追加,"N"全量,"D"删除) 升级前的操作方式: shell脚本将文件从SFTP下载到Linux服务器本地,解压. 历史数据也下载下来. 根据文件名中的操作标记,对历史数据作操作. 把新的结果数…

我们做hive查询时候经常会出现出数过慢的问题,于是采用了LZO压缩,再在压缩块上做索引的方式去解决这个问题,但是也引入了新的问题点 lzo本身的压缩功能只能在linux上压缩再上传到HDFS平台,供给hive使用,于是当你一个hive表下面的数据块很大的时候你想压缩就必须下载到linux,压缩完再上传我HDFS.这个过程实在太麻烦而且消耗时间.后来找到个方案: SET mapreduce.output.fileoutputformat.compress.codec=com.hadoop.com…

将OLEVARIANT数据流化,然后对流进行压缩,还原成OLEVARIANT以后再发送. procedure StreamToVariant(Stream: TStream; var V: OLEVariant);var  P : Pointer;begin  try    V := VarArrayCreate ([0, Stream.Size - 1], varByte);    P := VarArrayLock (V);    Stream.Position := 0;    Strea…

http://liuxin1982.blog.chinaunix.net/uid-24485075-id-3523032.html 压缩理念 通过提高CPU利用率和节约成本,降低数据库容量及I/O负载,从而使数据吞吐率得到显著提高. 压缩原理 压缩表减少了磁盘上数据库的大小,使得用户不必频繁地操作写入和读取便可以访问数据.对于 InnoDB的工作量以及传统的用户表而言(特别是在某些读取密集型的应用中,内存有足够的空间存储常用数据),数据压缩不仅大大减少了数据库所需的存储空间,而且还减少了 I/O…