redis作为分布式缓存框架的首选  相信已经毋庸置疑.能高效.合理的使用好它  必定能提升系统的可用性,高性能.高吞吐量的保障.但选择一个客户端,充分发挥它的能力,就是一个选型问题.现在市场上能选择的产品也较多.但选择较多的是redission.Lettuce.jedis 跟着下面这篇文章 好好了解下 各自的优缺点,详细能对你有一定帮助.比如分布式锁选型...redission在分布式锁续期问题的解决思路...   1.背景     研发部门对于客户端选型比较广泛和随意,依赖的分支也不统一,感…

最近接手了一个改造多平台日志服务的需求,经过梳理,我认为之前服务在设计上存在缺陷.经过一段时间的技术方案调研,最终我们决定选择使用 Flink 重构该服务. 目前重构后的服务已成功经受了国庆节流量洪峰的考验,今日特来总结回顾,和大家分享一下经验. 业务需求及背景 在了解改造服务的需求前,我们首先要明确,要解决什么问题以及目前的服务是如何解决的. 当前的业务逻辑还是比较清晰的: 采集同一时段不同数据源的日志: 对采集的数据进行处理: 将处理后的数据上传到指定位置,供客户下载. 我们面临的痛点和难点…

[京东技术]声明:本文转载自微信公众号“开涛的博客”,转载务必声明. 作者:章耿,原京东资深架构师,曾负责京东服务框架,配置中心等基础平台.近十年工作经验,专注于基础中间件等底层技术架构,对分布式系统/服务化/DevOps建设有一定经验. |前言 首先本文不讨论为什么要服务化,包括服务化的优点缺点. 其次本文也不讨论什么是微服务,也不讨论微服务和SOA的区别. 最后本文也不讨论哪个技术最优. |服务化框架构成最基本的服务框架 基本的服务化框架包括如下模块:统一的RPC框架,服务注册中心,管理平台…

1.引言 对于即时通讯网来说,所有的技术文章和资料都在围绕即时通讯这个技术方向进行整理和分享,这一次也不例外.对于即时通讯系统(包括IM.消息推送系统等)来说,MQ消息中件间是非常常见的基础软件,但市面上种类众多.各有所长的MQ消息中件间产品,该怎么去选择?这是个问题! 对于很多经验不足的开发者来说,一个公司内部用的IM聊天系统,总用户量也不过百十来人,动辄就是Kafka.MongoDB,美其名曰为了高性能和可扩展性,真是大炮打蚊子.而对于中大型的即时通讯场景来说,有的开发者确为了贪图使用简单.…

王者荣耀 去年我有幸被老领导邀请以系统架构师的岗位带技术团队,并对公司项目以微服务进行了实施.无论是技术团队还是技术架构都是由我亲自的从0到1的选型与招聘成型的,此过程让我受益良多,因此也希望在接下来的系列博文尽可能的与大家分享我的经验. 古人有云:将军难打无兵之仗.想要把微服务很好的实施也并非能一个人可以完成的事,一来需要有出色的运维提供支持,二来需要花时间做技术选型与攻关,三来还要开发兄弟们配合实施.因此,这次能顺利实施并不是一个人的王者,而是团队的荣耀. 框架源码:https://gith…

郑昀 创建于2014/10/30 最后更新于2014/10/31   一)选型:Shib+Presto 应用场景:即席查询(Ad-hoc Query) 1.1.即席查询的目标 使用者是产品/运营/销售运营的数据分析师: 要求数据分析师掌握查询SQL查询脚本编写技巧,掌握不同业务的数据存储在不同的数据集市里: 不管他们的计算任务是提交给 数据库 还是 Hadoop,计算时间都可能会很长,不可能在线等待: 所以, 使用者提交了一个计算任务(PIG/SQL/Hive SQL),控制台告知任务已排队,给…

(#)背景 随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,亟需一个治理系统确保架构有条不紊的演进. 单一应用架构 当网站流量很小时,只需一个应用,将所有功能都部署在一起,以减少部署节点和成本. 此时,用于简化增删改查工作量的 数据访问框架(ORM) 是关键. 垂直应用架构 当访问量逐渐增大,单一应用增加机器带来的加速度越来越小,将应用拆成互不相干的几个应用,以提升效率. 此时,用于加速前端页面开发的 Web框架(MVC) 是关键.…

JS爆炸下的技术选型  刘尚奇    ThoughtWorks, 高级咨询师 JS每6个星期出现一个新框架,那么如何进行JS的选型.以下从四个方面来分析. 1.工具 NPM for all the things   用来管理项目依赖就足够了. Webpack    除了资源的loader,还可以做编译构建等. 很多时候只是用NPM +Webpack就足够对前端工程进行构建,打包,压缩等,不用再去引入像Gulp.Grunt这样的工具. 2.类库 react,官方更愿意是一个类库,是mvc中V的部分…

消息中间件的技术选型心得-RabbitMQ.ActiveMQ和ZeroMQ 作者:chszs,转载需注明.博客主页:http://blog.csdn.net/chszs RabbitMQ.ActiveMQ和ZeroMQ都是极好的消息中间件,但是我们在项目中该选择哪个更适合呢?很多开发者面临这个烦恼.下面我会对这三个消息中间件做一个比较,看了后你们就心中有数了. RabbitMQ是AMQP协议领先的一个实现,它实现了代理(Broker)架构,意味着消息在发送到客户端之前可以在中央节点上排队.此特性…

[线上问题] "Redis客户端连接数一直降不下来"的问题解决 前段时间,上线了新的 Redis缓存(Cache)服务,准备替换掉 Memcached. 为什么要将 Memcached 替换掉? 原因是 业务数据是压缩后的列表型数据,缓存中保存最新的3000条数据.对于新数据追加操作,需要拆解成[get + unzip + append + zip + set]这5步操作.若列表长度在O(1k)级别的,其耗时至少在50ms+.而在并发环境下,这样会存在“数据更新覆盖问题”,因为追加操作…

本文介绍基于Java语言的Redis客户端——Jedis的使用,包括Jedis简介.获取Jedis.Jedis直连.Jedis连接池以及二者的对比的选择. Jedis简介 Jedis 是 Redis 官方首选的基于Java语言的客户端开发包.Jedis功能强大,提供了完整Redis命令,与 Redis 2.8.x, 3.x.x及以上版本完全兼容.而且使用简单方便,绝对是Java语言的首选客户端. 获取Jedis 获取Jedis可以在 http://github.com/xetorthio/jed…

技术选型 Unity引擎内置了多人联机的解决方案,涵盖了从最底层的网络数据传输,到不同玩家之间的消息发送,再到游戏大厅这样的高级功能.考虑到Unity官方提供的云服务(Internet Services)在国内的延迟较高,而且需要付费,我们决定采用Steam与Unity相结合的方式.底层用Steam发送网络数据包,中间由Unity负责把各个包整合成游戏逻辑所需要的格式,高层的大厅也使用Steam提供的服务. 说到这里要赞美一下Unity Networking的模块设计,它把具体的网络数据传输细节…

java基础-网络编程(Socket)技术选型入门之NIO技术 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.传统的网络编程 1>.编写socket通信的MyServer,使用分线程完成和每个client的通信. /* @author :yinzhengjie Blog:http://www.cnblogs.com/yinzhengjie/tag/Java%E5%9F%BA%E7%A1%80/ EMAIL:y1053419035@qq.com */ package cn.…

HTTP 代理服务器技术选型之旅 背景 长期以来,贴吧开发人员多,业务耦合大,需求变化频繁,因此容易产生 bug.而我所负责的广告相关业务,和 UI 密切相关,一旦因为某种原因(甚至是被别人改了代码)产生了 bug,必然大幅度影响广告收入. 解决问题的一种方法在于频繁的测试,既然避免不了代码层面的耦合,那总是可以通过定时的检查来避免问题.所以我们维护了一组核心 case,密切关注最核心的功能.选择核心 case 实际上是在覆盖面和测试成本之间的权衡,然而多个 case 有不同的测试步骤,测试效率…

转载:https://juejin.im/post/58cab85b44d9040069f38f7a "Come, and take choice of all my library, And so beguile thy sorrow." —— William Shakespeare, Titus Andronicus 为项目进行框架级别的技术选型,就类似为篮球队量身定制战术,选择一个适合开发团队的规模和团队成员的技术栈和能力,针对业务和项目,能帮助团队赢得更多的技术,是每个软件项目…

[线上问题] "Redis客户端连接数一直降不下来"的问题解决 前段时间,上线了新的 Redis缓存(Cache)服务,准备替换掉 Memcached. 为什么要将 Memcached 替换掉? 原因是 业务数据是压缩后的列表型数据,缓存中保存最新的3000条数据.对于新数据追加操作,需要拆解成[get + unzip + append + zip + set]这5步操作.若列表长度在O(1k)级别的,其耗时至少在50ms+.而在并发环境下,这样会存在“数据更新覆盖问题”,因为追加操作…

<移动IM开发指南>系列文章将会介绍一个IM APP的方方面面,包括技术选型.登陆优化等.此外,本文作者会结合他在网易云信多年iOS IM SDK开发的经验,深度分析实际开发中的各种常见问题. 推荐阅读 移动IM开发指南2:心跳指令详解 移动IM开发指南3:如何优化登录模块 通讯方式选择 IM通讯方式无非两种选择:设备直连(P2P)和通过服务器中转. (1)P2P P2P多见于局域网内聊天工具,典型的应用有:飞鸽传书等.这类软件在启动后一般做两件事情: l 进行UDP广播:发送自己信息和接受同…

前言 稍微复杂一点的互联网项目,技术选型都可能会涉及Redis,.NetCore的生态越发完善,支持.NetCore的Redis客户端越来越多, 下面三款常见的Redis客户端,相信大家平时或多或少用到一些,结合平时对三款客户端的使用,有些心得体会. 先比较宏观的背景: 包名称 背景 github star .NetStandard2.0 目标框架上的依赖 Stackexchange.redis 老牌.Net Redis客户端,免费无限制,Stackoverflow背书 3700 Pipelin…

前提 最近学习Netty的时候想做一个基于Redis服务协议的编码解码模块,过程中顺便阅读了Redis服务序列化协议RESP,结合自己的理解对文档进行了翻译并且简单实现了RESP基于Java语言的解析.编写本文的使用使用的JDK版本为[8+]. RESP简介 Redis客户端与Redis服务端基于一个称作RESP的协议进行通信,RESP全称为Redis Serialization Protocol,也就是Redis序列化协议.虽然RESP为Redis设计,但是它也可以应用在其他客户端-服务端(C…

作者介绍:李旸,美团点评前端工程师,3 年 Web 前端开发经验,现在是美团点评点餐团队的一员. "Come, and take choice of all my library, And so beguile thy sorrow." -- William Shakespeare, Titus Andronicus 为项目进行框架级别的技术选型,就类似为篮球队量身定制战术,选择一个适合开发团队的规模和团队成员的技术栈和能力,针对业务和项目,能帮助团队赢得更多的技术,是每个软件项目能够…

react 前端项目技术选型.开发工具.周边生态 声明:这不是一篇介绍 React 基础知识的文章,需要熟悉 React 相关知识 主架构:react, react-router, redux, redux-thunk, redux-saga, react-redux, dva, umi 扩展架构:styled-components, recompose, react-loadable UI 框架:ant-design, ant-design-mobile, material-ui, Seman…

1. 前言 在使用 OAuth2.0 中 Authorization Server (授权服务器)是一个回避不了的设施,在大多数情况下我们调用的是一些知名的.可靠的.可信任的第三方平台,比如 QQ.微信.微博.github 等.我们的应用只作为 Client 进行注册接入即可.也就是说我们只需要实现 OAuth2.0 客户端的逻辑就可以了,无须关心授权服务器的实现.然而有时候我们依然希望构建自己的 Authorization Server.我们应该如何实现?今天不会讨论具体的技术细节,来谈谈 O…

深入Redis客户端(redis客户端属性.redis缓冲区.关闭redis客户端) Redis 数据库采用 I/O 多路复用技术实现文件事件处理器,服务器采用单线程单进程的方式来处理多个客户端发送过来的命令请求,它同时与多个客户端建立网络通信.服务器会为与它相连接的客户端创建相应的 redis.h/redisClient 结构,在这个结构中保存了当前客户端的相关属性及执行相关功能时的数据结构. I/O 多路复用:linux有五类io模型 1.阻塞 2.非阻塞 3.io多路复用 4.事件驱动 5…

开发一个大型Electron的应用,或许需要在客户端存储大量的数据,比如聊天应用或邮件客户端 可选的客户端数据库方案看似很多,但一一对比下来,最优解只有一个 接下来我们就一起来经历一下这个技术选型的过程: 排除:把数据以Json的形式存储在文件中 以这种方式存储一些用户的配置信息是完全没问题的(用户名.家庭住址.是否开启免打扰模式等) 但要用这种方式存储大量解构化的数据,就非常不科学了 主要原因是: 用这种方案操作数据是需要把文件中的所有数据都加载到客户端电脑的内存中去的 由于没有索引机制,关联…

1. 前言 目前Spring Boot已经成为主流的Java Web开发框架,熟练掌握Spring Boot并能够根据业务来定制Spring Boot成为一个Java开发者的必备技巧,但是总是零零碎碎不够系统,所以萌生了从零搭建一个后端脚手架的想法.并把这个过程中的细节思路和之前的一些文章结合起来展现给大家,希望能够实实在在帮助学习Spring Boot的同学,当然能力有限如果有不足之处还请多多指教. 2. 面向的群体 首先,这个定位不是完全没有接触过Spring Boot的初学者,因为Spri…

技术准备--第2篇 用日志记录“开源软件”的诞生 赤龙ERP开源地址,点亮星标,支持一下,万分感谢 码云:https://gitee.com/redragon/redragon-erp github:https://github.com/redragon1985/redragon-erp 根据场景选择技术 遇到技术选型,常见的做法往往是选择最前沿的,最流行的,或者选择最新的.对于这种方式我只能说部分同意,技术选型我认为最重要的是要适合产品的使用场景.再好的技术,没有遇到发挥它优势的情景,也是白搭…

Redis 支持多种语言的客户端,下面列举了部分 Redis 支持的客户端语言,大家可以通过官网查看 Redis 支持的客户端详情. C语言 C++ C# Java Python Node.js PHP Redis 是用单线程来处理多个客户端的访问,因此作为 Redis 的开发和运维人员需要了解 Redis 服务端和客户端的通信协议,以及主流编程语言的 Redis 客户端使用方法,同时还需要了解客户端管理的相应 API 以及开发运维中可能遇到的问题. Redis 客户端通信协议 Redis制定了…

什么是 FreeRedis FreeRedis 是一款 .NET redis 客户端开源组件,以 MIT 协议开源托管于 github,目前支持 .NET 5..NETCore 2.1+..NETFramework 4.0+.Xamarin,有可能已经支持 AOT 编译(目前未测试,但会往这个方向走). FreeRedis 会严格按照 FreeSql 的开源方式,做好单元测试,兼容平台,简单易用,有问必答,有求必应的态度,为中国 .NET 开源事业做一点点贡献. 感谢大家的支持,项目还未公开就已…

最近做的JAVA项目与物联网设备有集成,记录一下从技术选型到实现,整合: 1.通信协议技术选型,MQTT技术介绍2.MQTT服务端安装,客户端测试3.MQTT客户端与Spring MVC整合 1.项目整体架构介绍:JAVA服务端(以下简称服务端):部署在外网,提供固定IP地址+端口的访问:物联网设备(以下简称终端):部署在各个不同区域,联网方式也可能是:WIFI,物联网卡中任意一种: 2.通信协议选择 HTTP:作为主流的WEB上使用的协议,简单,直接,上手度快:但是HTTP作为单向的短链接协议…

一.开篇 Redis作为目前通用的缓存选型,因其高性能而倍受欢迎.Redis的2.x版本仅支持单机模式,从3.0版本开始引入集群模式. Redis的Java生态的客户端当中包含Jedis.Redisson.Lettuce,不同的客户端具备不同的能力是使用方式,本文主要分析Jedis客户端. Jedis客户端同时支持单机模式.分片模式.集群模式的访问模式,通过构建Jedis类对象实现单机模式下的数据访问,通过构建ShardedJedis类对象实现分片模式的数据访问,通过构建JedisCluster…