/// <summary> /// 分组插入每次插入1000 /// </summary> /// <param name="data"></param> /// <returns></returns> private List<List<IEnumerable<string>>> GroupResult((IList<string> Columns, IList&l

$t = new Gettags(); $num=$t->sum_tag(); $num=$num/1000; $flag_num=ceil($num); $flag_array=array(); $f=0; for ($i=1; $i<=$flag_num; $i++) { $tag_name=$t->get_tag($flag); foreach($tag_name as $k=>$v){ $flag_array[$f]=$v; ++$f; } } //查询标签库所有标签 pu

Linq特取操作之ElementAt,Single,Last,First源码分析 一:linq的特取操作 First/FirstOrDefault, Last/LastOrDefault, ElementAt/ElementAtOrDefault, Single/SingleOrDefault 二:First/FirstOrDefault 介绍 解释: 用于返回序列中的第一个值 异常: 如果当前集合没有值的话,如果你取第一个值,会抛出throw Error.NoElements();异常. pu

取石子(二) 时间限制:3000 ms  |  内存限制:65535 KB 难度:5 http://acm.nyist.net/JudgeOnline/problem.php?pid=135 描述 小王喜欢与同事玩一些小游戏,今天他们选择了玩取石子. 游戏规则如下:共有N堆石子,已知每堆中石子的数量,并且规定好每堆石子最多可以取的石子数(最少取1颗). 两个人轮流取子,每次只能选择N堆石子中的一堆,取一定数量的石子(最少取一个),并且取的石子数量不能多于该堆石子规定好的最多取子数,等哪个人无法取

积累些常用的方法, 都是随写的, 不好之处, 望指出. getRandomItem(arr)函数如下: var getRandomItem = function () { var preItem = null; return function (arr) { var index = Math.floor(Math.random() * arr.length), item = arr[index], result; arr = arr.sort(function() { // 数组随机排序(在这里

需求: 一个使用mybatis分页插件的分页列表, 现在要求新增一条数据或者修改一条数据后,显示在最前端 思路: 使用sql , 先将查询出来的数据排序, 然后使用rownum > page*size 和rownum <= (page+1)*size 条件取固定条数的数据 问题 : 执行sql时遇到一个问题, 因为使用order by tn.create_time desc 进行降序排列,是在where条件查询后, 所以rownum序号已经生成, 在排序rownum的值不会变, 改变的是数据顺

关于ARM的书上常说由于流水线特性,在指令执行期间读取程序计数器时,读出的值需要为当前指令+4 一开始总是不理解,今天被一位大神一语道破其中精髓.... 程序计数器(PC)总是指向“正在取指”的指令 由于ARM是3级流水线的,所以当第N条指令正在执行时,实际上第N+2条指令正在取值,此时PC是指向N+2的~~ 因为处理器处于Thumb状态时,每条指令为2字节,所以PC = 当前执行指令的位置 + 4 ARM状态下,由于每条指令是4字节(32位),所以PC = 当前执行指令的位置 + 8

static List<User> list1 = new List<User>() { new User(){id=1,name="张三"}, new User(){id=2,name="张三"}, new User(){id=3,name="张三"}, new User(){id=4,name="李四"}, new User(){id=5,name="李四"}, new User

1. 背景 假设有如下SQL语句: SELECT * FROM table1 LIMIT offset, rows 这是一条典型的LIMIT语句,常见的使用场景是,某些查询返回的内容特别多,而客户端处理能力有限,希望每次只取一部分结果进行处理. 上述SQL语句的实现机制是: 从"table"表中读取offset+rows行记录 抛弃前面的offset行记录,返回后面的rows行记录作为最终结果. 这种实现机制存在一个弊端:虽然只需要返回rows行记录,但却必须先访问offset行不会用

背景: 工作上需要删除或则归档一张大表,这时候用pt-archiver可以很好的满足要求,其不仅可以归档数据,还有删除.导出到文件等功能.并且在主从架构当中,可以兼顾从库(一个或则多个)进行归档,避免归档.删除数据时候压力太大,造成从库的延迟.该工具的目标是一个低影响,从表中剔除旧数据,而不会影响OLTP查询.也可以将数据插入到另一个表中,该表不必位于同一服务器上. 使用方法: pt-archiver [OPTIONS] --source DSN --where WHERE 1)将所有行从olt

缘起&应朋友之邀 2019年已经过去两个月了,应朋友之邀,写写自己的个人经历,与其说经历还不如是自我的总结与反思.2012年2月份只身一人拖着行李箱来到北京库巴科技有限公司实习,那时候库巴处在高速发展的阶段,我记得那一年库巴招了300多个应届毕业生,光技术就招了50多人,有运维.测试.开发.产品经理.那时候公司有宿舍,4个人一间,上下铺,条件虽然艰苦了一些,但认识了很多好朋友,至今还在保持着联系.下班之余大家经常一起吃饭喝酒,也就是那个时间胖了很多,回学校答辩的时候老师说:“你怎么胖成这样了,都

今天碰到一个需求,定时任务,批量从表里取数据并做一些其他操作然后再存表,每次取1000条,由于计算过程比较耗时所以要起多个线程同时跑,需要将List按照指定大小等分,如每100条数据起一个线程,若最后剩余一份不到100,也放到一个线程里,网络上的实现方法有很多,我测试之后理出三种相对比较好的实现方法,如下: /*第一种方法 思路比较简单,遍历list,将元素添加到subList, *每当i到pageSize的时候,将subList添加到listArray并新建,subList */ public

pt-archiver \--source h=192.168.100.101,P=3306,u=admin,p='admin',D=db01,t=t01 \--dest h=192.168.100.105,P=3306,u=admin,p='admin',D=db01,t=t01 \--file '/root/2000-3000.txt' \--where '1=1' \--where "createTime<'2018-12-1'" \--limit=1000 --txn-s

数据导入导出工具pt-archiver 工具可以将MySQL的表数据导出到一个新表或者一个文件,也有自己的应用场景,比如数据归档,删除数据,数据合并等. 具体用法: pt-archiver [OPTIONS] --source DSN --where WHERE PT工具链接参数DSN一般适用于所有toolkit工具. DSN的详细参数: a:查询 A:字符集 b:true代表禁用binlog D:数据库 u:数据库链接账号 p:数据库链接密码 h:主机IP F:配置文件位置 i:是否使用某索引

# tar -zxvf percona-toolkit-2.2.17.tar.gz# yum -y install perl perl-IO-Socket-SSL perl-DBD-MySQL perl-Time-HiRes perl-TermReadKey# yum -y install perl-Digest-MD5 [root@hongquan1 bin]# pwd/data/soft/percona-toolkit-2.2.17/bin pt-archiver--将表数据归档到另一个表或

一. 归档流程: 1. 导出需要的数据 2. 创建临时表table_tmp 3. 导入数据到临时表 4. 修改原始表名为table_bak 5. 修改临时表为原始表名 二.归档方式对比 1. select into outfile load data infile 导入导出的方式 SELECT * FROM student where create_time > '2018-10-01 00:00:00' into  /data/mysql/student.sql source  /data/m

数据库:mysql5.6 framework: play framework 1.2.4 近日处理批量数据的insert,update,涉及的保存更新sql大概有18w.我的操作如下: 1)每次取1000条数据进行相关逻辑判断,以及需要的保存操作: 2)每100条sql做一次transaction.commit. 今天在执行过程中,保存含有些Blob字段的数据表时,报错如下: Packet > ). You can change this value on the server by setti

目录 背景 初步分析 索引seeks的原因 优化思路 小结 声明:本文同步发表于 MongoDB 中文社区,传送门: http://www.mongoing.com/archives/27310 背景 最近线上的一个工单分析服务一直不大稳定,监控平台时不时发出数据库操作超时的告警. 运维兄弟沟通后,发现在每天凌晨1点都会出现若干次的业务操作失败,而数据库监控上并没有发现明显的异常. 在该分析服务的日志中发现了某个数据库操作产生了 SocketTimeoutException. 开发同学一开始希望

目录 背景 初步分析 索引seeks的原因 优化思路 小结 声明:本文同步发表于 MongoDB 中文社区,传送门:http://www.mongoing.com/archives/27310 背景 最近线上的一个工单分析服务一直不大稳定,监控平台时不时发出数据库操作超时的告警. 运维兄弟沟通后,发现在每天凌晨1点都会出现若干次的业务操作失败,而数据库监控上并没有发现明显的异常. 在该分析服务的日志中发现了某个数据库操作产生了 SocketTimeoutException. 开发同学一开始希望通

目录 背景 初步分析 索引seeks的原因 优化思路 小结 声明:本文同步发表于 MongoDB 中文社区,传送门:http://www.mongoing.com/archives/27310 背景 最近线上的一个工单分析服务一直不大稳定,监控平台时不时发出数据库操作超时的告警.运维兄弟沟通后,发现在每天凌晨1点都会出现若干次的业务操作失败,而数据库监控上并没有发现明显的异常.在该分析服务的日志中发现了某个数据库操作产生了 SocketTimeoutException. 开发同学一开始希望通过调

pt-archiver使用记录 功能:将MySQL表中的行存档到另一个表或文件中用法:pt-archiver [OPTIONS] --source DSN --where WHERE ; truncate table test_article; select count(*) from test_article; ; # 例如:将所有行从10.192.30.53归档到10.192.30.60并且归档到文件: pt-archiver --source h=10.192.30.53,P=3306,u