第一次写博客,哈哈,纯属用来记录一下自己工作中遇到的问题及解决办法. 昨天因为工作的需求,需要做一个后台上传TXT文件,读取其中的内容,然后导入redis库中.要求速度快,并且支持至少10W以上的数据,而内容也就一个字段存类似openid和QQ.我一开始做的时候就老套路,遍历.hset,然后就发现非常的慢,一千条数据就花了30-32秒,当时就觉得不行,于是就请教了一个大佬,然后就得知了方法 我生成了20W的数据用来做测试,文件大小6M多. 话不多说,直接贴代码了 $lines = file_ge…

需求:需要做一个后台上传TXT文件,读取其中的内容,然后导入redis库中.要求速度快,并且支持至少10W以上的数据,而内容也就一个字段存类似openid和QQ 传统做法:我一开始做的时候就老套路,遍历.hset,然后就发现非常的慢,一千条数据就花了30-32秒,当时就觉得不行,于是就请教了一个大佬,然后就得知了方法 我生成了20W的数据用来做测试,文件大小6M多. 话不多说,直接贴代码了 $lines  = file_get_contents($_FILES['file']['tmp_name…

file=open('6230hand.log','r') result=list() for c in file.readlines(): c_array=c.split(" ") # result.append(c_array[]) print(c_array[]) #print(result)…

package com.it.excel.excelLearn; import java.io.IOException; import java.util.HashMap; import java.util.LinkedList; import java.util.List; import java.util.Map; import java.util.Map.Entry; import java.util.Set; public class App { public static void m…

Redis是一个cs模式的tcp server,使用和http类似的请求响应协议. 一个client可以通过一个socket连接发起多个请求命令. 每个请求命令发出后client通常会阻塞并等待redis服务处理,redis处理完后请求命令后会将结果通过响应报文返回给client. 基本的通信过程如下: ./bin/redis-cli -h 192.168.36.189 -p 6379 192.168.36.189:6379> incr x (integer) 1 192.168.36.189:…

redis-pipeline 2020-02-10: 因为我把github相关的wiki删了,所以导致破图...待解决.(讲真github-wiki跟project是2个url,真的不好用) 因为用的是github的外链地址https://raw.githubusercontent.com/不一定可以访问得到导致破图~~ github-wiki地址: redis-pipeline junit code 参考: <redis开发与运维(付磊)> 3.3.1 Pipeline概念,192/890.…

个人博客网:https://wushaopei.github.io/    (你想要这里多有) 这里先进行造数据,向redis中写入五百万条数据,具体方式有如下三种: 方法一:(Lua 脚本) vim redis_load.lua #!/bin/bash for i = 1, 100000, 1 do redis.call(“SET”, “ZzZ MYKEY_ZzZ “..i..”key”, i) end return “Ok!” 执行命令: redis-cli —eval redis_load…

1 redis的事务(pipeline)测试 Redis本身对数据进行操作,单条命令是原子性的,但事务不保证原子性,且没有回滚.事务中任何命令执行失败,其余的命令仍会被执行,将Redis的多个操作放到一起执行,要成功多成功,如果失败了,可以把整个操作放弃,可以实现类似事物的功能.redis事务包含三个阶段:开始事务,命令入队,执行事务.redis的分片副本集集群不支持pipeline,redis只支持单机版的事务(pipeline),Redis的主从复制也支持pipeline(目前一些公司就是这…

两个函数如下: TextToFile(..)函数:将字符串写入给定文本文件: createDir(..)函数:创建一个文件夹,有判别是否存在的功能. public void TextToFile(final String strFilename, final String strBuffer) { try { // 创建文件对象 File fileText = new File(strFilename); // 向文件写入对象写入信息 FileWriter fileWriter = new Fi…

C#读取文件为byte[] 转载请注明出处 http://www.cnblogs.com/Huerye/ /// <summary> /// 读取程序生成byte /// </summary> private byte[] createTxt() { FileStream stream = new FileInfo(txtAdd.Text).OpenRead(); byte[] buffer = new byte[stream.Length+1]; stream.Read(buff…