Redis简介、与memcached比较、存储方式、应用场景、生产经验教训、安全设置、key的建议、安装和常用数据类型介绍、ServiceStack.Redis使用(1)
1.NOSQL简介
nosql的产生并不是要彻底的代替关系型数据库,而是作为传统关系型数据库的一个补充。
Facebook和360使用Cassandra来存储海量社交数据
Twitter在其url抓取系统里综合运用了Cassandra、memcached
新浪微博使用Redis
淘宝使用hbase,并改进研制出自己品牌的nosql产品Oceanbase
mongodb被广泛用于存储非结构化数据
memcachedb是新浪网基于memcached开发的一个开源项目。给memcached分布式缓存服务器添加了Berkeley DB的持久化存储机制
和异步主辅复制机制,让memcached具备了事务恢复能力、持久化能力和分布式复制能力,非常适合于需要超高性能读写速度,
但是 不需要严格事务约束,能够被持久化保存的应用场景。例如,memcachedb被应用在新浪博客上。如果对memcached有持久化需求,
可以考虑使用memcachedb。
2.非关系型的特点
(1)数据模型比较简单
(2)对数据库性能要求较高
(3)不需要高度的数据一致性
(4)对于给定的key,比较容易映射复杂值的环境
2.Redis简介
Redis是一个开源的,使用C语言编写,面向“键/值”对类型数据的分布式NoSQL数据库系统,特点是高性能,持久存储,适应高并发的应用场景。Redis纯粹为应用而产生,它是一个高性能的key-value数据库,并且提供了多种语言的API性能测试结果表示SET操作每秒钟可达110000次,GET操作每秒81000次(当然不同的服务器配置性能不同)。
redis目前提供五种数据类型:string(字符串),list(链表), Hash(哈希),set(集合)及zset(sorted set) (有序集合)
3.Redis与Memcached的比较
(1)Memcached是多线程,而Redis使用单线程.
(2)Memcached使用预分配的内存池的方式,Redis使用现场申请内存的方式来存储数据,并且可以配置虚拟内存。
(3)Redis可以实现持久化,主从复制,实现故障恢复。
(4)Memcached只是简单的key与value,但是Redis支持数据类型比较多。
(5)Redis的存储分为内存存储、磁盘存储 .从这一点,也说明了Redis与Memcached是有区别的。Redis 与Memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改 操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。
3.Redis存储方式
Redis是一个支持持久化的内存数据库,也就是说redis需要经常将内存中的数据同步到硬盘中来保证持久化。
Redis支持两种持久化方式.
(1):snapshotting(快照) rdb 也是默认方式.(把数据做一个备份,将数据存储到文件)
(2)Append-only file(缩写aof)的方式
快照是默认的持久化方式,这种方式是将内存中数据以快照的方式写到二进制文件中,默认的文件名称
为dump.rdb.可以通过配置设置自动做快照持久化的方式。我们可以配置redis在n秒内如果超过m个key
键修改就自动做快照.
aof方式:由于快照方式是在一定间隔时间做一次的,所以如果redis意外down掉的话,就会丢失最后一次
快照后的所有修改。aof比快照方式有更好的持久化性,是由于在使用aof时,redis会将每一个收到的
写命令都通过write函数追加到文件中,当redis重启时会通过重新执行文件中保存的写命令来在内存中重建
整个数据库的内容。
当然由于os会在内核中缓存write做的修改,所以可能不是立即写到磁盘上。真阳aof方式的持久化
也还是有可能会丢失部分修改。可以通过配置文件告诉redis我们想要通过fsync函数强制os写入到磁盘
的时机。
4.redis的应用场景
1.redis最佳使用场景是全部数据加载到内存中使用
2.redis更多场景是作为memcached的替代品来使用
3.数据比较重要,对数据一致性有一定的要求的业务
4.当需要除key/value之外的更多数据类型支持时,使用redis更合适
5.需要提供主从同步以及负载均衡分布式应用的场景(redis主从同步)
比如:计数、缓存服务、展示最近、最热、点击率最高、活跃度最高等条件的top list、用户最近访问记录、相关列表、消息队列、
粉丝列表、商品分类。
redis在微博中的应用
应用场景:
计数器
微博(评论、转发、阅读、赞等)
用户(粉丝、关注、收藏、双向关注等)
好友关系
5.redis的生产经验教训
1.要进行主从同步配置,在出现服务故障时可以切换
2.在master禁用数据持久化,只需在slave上配置数据持久化。
3.物理内存+虚拟内存不足,这个时候dump一直死着,时间久了机器挂掉,这个情况就是灾难。最少64-128G内存,SSD硬盘。
4.当redis物理内存使用超过内存总容量的3/5就会开始比较危险了,就开始做swap,内存碎片大。
5.当达到最大内存时,会清空带有过期时间的key,即使key未到过期时间
6.redis和db同步写的问题,先写db,后写redis,因为写内存基本上没有问题。
redis 默认有16个库,从0开始,使用select 1 命令切换到第二个库
使用help命令查看帮助命令,help @string 查看所有string类型的,help set 查看set命令
6.redis安全
我们找到redis.conf中# requirepass foobared 设置密码requirepass 123456
使用auth 123456命令后可以进入
C:\Users\yuxl>redis-cli
127.0.0.1:6379> set key 1
(error) NOAUTH Authentication required.
127.0.0.1:6379> auth 123456
也可以使用这种方式
C:\Users\yuxl>redis-cli -a 123456
127.0.0.1:6379> set key1 1
OK
别的安全措施可以在redis.conf中将命令改名字或者禁用,找到# rename-command CONFIG "",比如rename-command get myget 将get命令改为myget
7.关于redis key的几条建议
1.太长的键值不是个好主意,例如1024字节的键值就不是个好主意,不仅因为消耗内存,而且在数据中查找这类键值的计算成本很高。
2.太短的键值通常也不是好主意,不易阅读,对内存消耗影响不是很大
坚持一种模式。如:“object-type:id:field”,“user:1000:password”,我喜欢对多单词的字段名中加上一个点,就像这样:comment:1234:reply.to,长度10-20,value建议string不必要超过2k,set sortedset不必要超过5000个元素
8.Redis安装
最新下载地址:https://github.com/ServiceStack/redis-windows
下载Redis:https://github.com/MicrosoftArchive/redis/releases
redis-server.exe:服务程序
redis-check-dump.exe:本地数据库检查
redis-check-aof.exe:更新日志检查
redis-benchmark.exe:性能测试,用以模拟同时由N个客户端发送M个 SETs/GETs 查询.
redis-cli.exe: 服务端开启后,我们的客户端就可以输入各种命令测试了
class Program
{
static void Main(string[] args)
{
RedisClient redisClient = new RedisClient("127.0.0.1",); #region 存储字符串类型和自定义类型
//redisClient.Set<string>("name", "yxl");
//Console.WriteLine(redisClient.Get<string>("name")); //UserInfo userInfo = new UserInfo() { UserName = "zhangsan", UserPwd = "1111" };// (底层使用json序列化)
//redisClient.Set<UserInfo>("userInfo", userInfo);
//UserInfo user = redisClient.Get<UserInfo>("userInfo");
//Console.WriteLine(user.UserName); //List<UserInfo> list = new List<UserInfo>() { new UserInfo() { UserName = "lisi", UserPwd = "111" }, new UserInfo() { UserName = "wangwu", UserPwd = "123" } };
//redisClient.Set<List<UserInfo>>("list", list);
//List<UserInfo> userInfoList = redisClient.Get<List<UserInfo>>("list");
//foreach (UserInfo item in userInfoList)
//{
// Console.WriteLine(item.UserName);
//} #endregion #region Hash // redisClient.SetEntryInHash("userInfoId", "name", "yxlhashName");
// redisClient.SetEntryInHash("userInfoId", "name2", "yxlhashName");
// List<string> hashKeys = redisClient.GetHashKeys("userInfoId");
//List<string> hashValues = redisClient.GetHashValues("userInfoId");
//long hashCount = redisClient.GetHashCount("userInfoId");
// Console.WriteLine(hashCount);//2
// foreach (string hashKey in hashKeys)
// {
// Console.WriteLine(hashKey);//name,name2
// }
// foreach (string hashValue in hashValues)
// {
// Console.WriteLine(hashValue);//yxlhashName,yxlhashName
// }
#endregion #region List类型
#region 队列,先进先出 //redisClient.EnqueueItemOnList("name1", "zhangsan");
//redisClient.EnqueueItemOnList("name1", "lisi");
//long length = redisClient.GetListCount("name1");
//for (int i = 0; i < length; i++)
//{
// Console.WriteLine(redisClient.DequeueItemFromList("name1"));
//}
#endregion #region 栈,先进后出
//redisClient.PushItemToList("name1", "zhangsan");
//redisClient.PushItemToList("name1", "lisi");
//long length = redisClient.GetListCount("name1");
//for (int i = 0; i < length; i++)
//{
// Console.WriteLine(redisClient.PopItemFromList("name1"));
//}
#endregion
#endregion #region Set类型,无序集合,集合我们可以取并集,交集,差集.
#region 普通存储
//redisClient.AddItemToSet("a3", "ddd");
//redisClient.AddItemToSet("a3", "ccc");
//redisClient.AddItemToSet("a3", "tttt");
//redisClient.AddItemToSet("a3", "sssh");
//redisClient.AddItemToSet("a3", "hhhh");
//System.Collections.Generic.HashSet<string> hashset = redisClient.GetAllItemsFromSet("a3");
//foreach (string str in hashset)
//{
// Console.WriteLine(str);
//}
#endregion #region 取并集
//redisClient.AddItemToSet("a3", "ddd");
//redisClient.AddItemToSet("a3", "ccc");
//redisClient.AddItemToSet("a3", "tttt");
//redisClient.AddItemToSet("a3", "sssh");
//redisClient.AddItemToSet("a3", "hhhh");
//redisClient.AddItemToSet("a4", "hhhh");
//redisClient.AddItemToSet("a4", "h777"); //System.Collections.Generic.HashSet<string> hashset = redisClient.GetUnionFromSets(new string[] { "a3", "a4" });
//foreach (string str in hashset)
//{
// Console.WriteLine(str);
//}
#endregion #region 取交集
//redisClient.AddItemToSet("a3", "ddd");
//redisClient.AddItemToSet("a3", "ccc");
//redisClient.AddItemToSet("a3", "tttt");
//redisClient.AddItemToSet("a3", "sssh");
//redisClient.AddItemToSet("a3", "hhhh");
//redisClient.AddItemToSet("a4", "hhhh");
//redisClient.AddItemToSet("a4", "h777");
//System.Collections.Generic.HashSet<string> hashset = redisClient.GetIntersectFromSets(new string[] { "a3", "a4" });
//foreach (string str in hashset)
//{
// Console.WriteLine(str);
//}
#endregion #region 取差集
//redisClient.AddItemToSet("a3", "ddd");
//redisClient.AddItemToSet("a3", "ccc");
//redisClient.AddItemToSet("a3", "tttt");
//redisClient.AddItemToSet("a3", "sssh");
//redisClient.AddItemToSet("a3", "hhhh");
//redisClient.AddItemToSet("a4", "hhhh");
//redisClient.AddItemToSet("a4", "h777");
//System.Collections.Generic.HashSet<string> hashset = redisClient.GetDifferencesFromSet("a3",new string[] { "a4" });
////返回存在于第一个集合(a3),但是不存在于其他集合(a4)的数据
//foreach (string str in hashset)
//{
// Console.WriteLine(str);
//}
#endregion
#endregion #region Sorted Set类型
//redisClient.AddItemToSortedSet("a5", "ffff");
//redisClient.AddItemToSortedSet("a5", "bbbb");
//redisClient.AddItemToSortedSet("a5", "gggg");
//redisClient.AddItemToSortedSet("a5", "cccc");
//redisClient.AddItemToSortedSet("a5", "waaa");
//System.Collections.Generic.List<string> list = redisClient.GetAllItemsFromSortedSet("a5");
//foreach (string str in list)
//{
// Console.WriteLine(str);
//} #endregion } public class UserInfo
{
public string UserName { get; set; }
public string UserPwd { get; set; }
}
}
Redis简介、与memcached比较、存储方式、应用场景、生产经验教训、安全设置、key的建议、安装和常用数据类型介绍、ServiceStack.Redis使用(1)的更多相关文章
- Redis常用数据类型介绍、使用场景及其操作命令
Redis常用数据类型介绍.使用场景及其操作命令 本文章同时也在cpper.info发布. Redis目前支持5种数据类型,分别是: 1.String(字符串) 2.List(列表) 3.Hash(字 ...
- Redis简介与Memcached的比较
Redis简介 Redis是一个开源的,使用C语言编写,面向“键/值”对类型数据的分布式NoSQL数据库系统,特点是高性能,持久存储,适应高并发的应用场景.Redis纯粹为应用而产生,它是一个高性能的 ...
- Memcached数据存储方式
1. memcached的数据存储方式被称为Slab Allocator,其基本方式是: ①:先把内存分成很多Slab,这个大小是预先规定好的,已解决内存碎片的问题.分配给Slab的内存空间被称为Pa ...
- 使用redis作为Return存储方式
Return组件可以理解为SaltStack系统对执行Minion返回后的数据进行存储或者返回给其他程序,它支持多种存储方式,比如MySQL.Redis.Memcache等,通过Return我们可以对 ...
- Apache Hive 存储方式、压缩格式
简介: Apache hive 存储方式跟压缩格式! 1.Text File hive> create external table tab_textfile ( host string com ...
- 【Redis】一、Redis简介及五种数据类型
(一)Redis简介 Redis(Remote Dictionary Server)是一个使用ANSI C语言编写.遵守BSD协议.支持网络.可基于内存亦可持久化的日志型.Key-Value的开源 ...
- NoSQL数据库:Redis内存使用优化与存储
Redis常用数据类型 Redis最为常用的数据类型主要有以下五种: ●String ●Hash ●List ●Set ●Sorted set 在具体描述这几种数据类型之前,我们先通过一张图了解下Re ...
- Redis入门(一)-Redis简介
最近几年,Rddis非常的火,受到广大中大型公司,特别是互联网公司的青睐.而作为后端开发,如果你不知道Redis或不会用,没用过,你都不好意思出去找工作.可想而知Redis对于IT行业意义多么重大.对 ...
- Docker存储方式选型建议
转自:https://segmentfault.com/a/1190000007168476 第一部分 问题诊断 事情从一次实施项目说起,我们需要帮助客户将他们的应用容器化并在数人云平台上发布此应用. ...
随机推荐
- 剑指Offer 二进制中1的个数
题目描述 输入一个整数,输出该数二进制表示中1的个数.其中负数用补码表示. 思路: 如果一个整数不为0,那么这个整数至少有一位是1.如果我们把这个整数减1,那么原来处在整数最右边的1就会变为0,原 ...
- u-boot 2011.09 调用kernel 的流程
这段时候我总是觉得有个问题,u-boot 的存在是不是就是为了调用kernel 而存在的. 所以,粗浅的跟了一下这个流程,还有很多细节上的东西没有做好,往指正. u-boot-2011.9 调用内核代 ...
- 一次完整的HTTP事务是怎样一个过程?
一次完整的HTTP事务是怎样一个过程? 声明:本文章中的说法仅是个人理解总结,不一定完全正确,但是可以有助于理解. 关于HTTP协议可以参考以下: HTTP协议漫谈 http://kb.cnblog ...
- Springmvc常用注解
1. @RequestMapping注解的作用位置 @RequestMapping可以作用在类名上,也可以作用在方法上. 如果都有, 产生作用的路径是类名上的路径+方法上的路径. 比如Employee ...
- 介绍 .Net工具Code Snippet 与 Sql Server2008工具SSMS Tools Pack
不久前,某某在微软写了一个很酷的工具:Visual Stuido2008可视化代码片断工具,这个工具可以在http://www.codeplex.com/SnippetDesigner上免费下载,用它 ...
- devstack两次以上重装提高成功率的方法
1) /opt/stack/requirements/ git reset --hard 2) rm -rf /usr/local/lib/python2.7/dist-packages/*
- Web服务器部署浅析
企业内网站 中小型企业一般将企业宣传网站外包给第三方进行统一设计.部署和运维.大型企业因为访问量和数据量有所增加,部分网站可能具备在线咨询或订单的功能,此类Web服务器采用最通用的IU机架式服务器以降 ...
- IO复用与select函数
socket select函数的详细讲解 select函数详细用法解析 http://blog.chinaunix.net/uid-21411227-id-1826874.html linu ...
- POJ 2051
http://poj.org/problem?id=2051 这个题目的大题意思就是给你一些ID,和ID所对应的周期,每隔它所对应的周期,它的任务就会执行,就会输出所对应的ID Register 20 ...
- mysql性能优化学习笔记-参数介绍及优化建议
MySQL服务器参数介绍 mysql参数介绍(客户端中执行),尽量只修改session级别的参数. 全局参数(新连接的session才会生效,原有已经连接的session不生效) set global ...