IM 系统中,保证消息的可靠投递主要体现在两方面,一是消息的不丢失,二是消息的不重复. 一.消息不丢失 消息丢失的原因 首先看一下发送消息的流程,如下图所示: 消息.可以采取"时间戳比对"机制进行完整性检查. (图片来源于即时消息技术剖析与实战第 04 讲) 用户 A 发出的消息,先到达IM服务端(步骤1),由服务端暂存(步骤2),成功后,服务端将成功的结果返回给用户A(步骤3),同时将消息推送给用户B(步骤4). 在这个过程中,丢失消息有以下几种情况: 1)步骤 1 因为网络不通等原…

一.什么是消息一致性 消息一致性指的是消息的时序一致性,即消息收发的一致性.如果不能保证时序一致性,就会造成聊天语义不连贯,引起误会. 对于点对点的聊天场景,时序一致性保证接收方的接收顺序和发送方的发出顺序一致:对于群聊场景,时序一致性保证所有接收人看到的消息展现顺序一致. 二.消息一致性的难点 1.多发送方.多接收方.服务端多线程并发处理情况下,无法保证时序一致性. 2.分布式环境下,多个机器的本地时钟不一致,没有"全局时钟",不能用"本地时间"保证时序的一致性.…

一.IM的应用场景 聊天.直播.在线客服.物联网等所有需要实时互动.高实时性的场景,都需要应用到 IM 技术.…

在消息产生.流转的各个环节中,需要保证消息传输安全性.消息存储安全性.消息内容安全性. 一.消息传输安全性 消息传输的重要防范点有两个,一是访问入口安全,二是传输链路安全. 1.HttpDNS保证访问入口安全 访问入口指的是即时消息服务中提供的一个公网的接入服务,作为用户收发消息的出入口,它通过域名的方式提供给客户端.常见的问题有DNS劫持. DNS劫持的原因 1)路由器的DNS设置被非法侵入篡改: 2)运营商的LocalDNS可能会导致接入域名的解析被劫持. 这里先解释一下:LocalDNS是…

IM系统如何提升用户发送.浏览图片和音视频消息的体验呢?一是保证图片.音视频消息发送得又快又稳,二是保证用户浏览播放图片.音视频消息时流畅不卡顿. 一.提升用户发送图片.音视频的体验 1. 多上传接入点 针对不同的主流运营商提供不同的上传接入点 IP,然后通过运营商 DNS 解析,让用户能通过本运营商的上传接入点来快速上传图片和视频:后端的图片上传存储服务也可以部署在多线机房,这样上传服务也能快速地把文件流提交给存储层,从而避免从接入点到存储服务的跨网开销,也能解决其他运营商的用户下载图片时需要…

IM 系统的不可用主要有以下两个原因: 一是无法预测突发流量,即使进行了服务拆分.自动扩容,但流量增长过快时,服务已经不可用了: 二是业务中依赖的这些接口.资源不可用或变慢时,比如发消息可能需要依赖"垃圾内容识别"的 API 来进行消息内容的过滤,下推图片消息可能需要依赖图片服务获取缩略图来进行推流,会导致业务整体失败或者被拖慢而造成超时,影响服务的整体可用性. 如何保证系统的高可用呢? 一.流量控制 在即时消息系统中,突发超高流量时,为了避免服务器整体被流量打死,我们可以通过流控来扔…

IM 技术经历过几次迭代升级,如图所示: 从简单.低效的短轮询逐步升级到相对效率可控的长轮询: 全双工的 Websocket 彻底解决了服务端的推送问题: 基于 TCP 长连接衍生的 IM 协议,能够实现服务端的主动推送. 一.基于HTTP协议的短轮询与长连接 短轮询 长连接 场景 定期.高频地轮询服务端的新消息.当服务器接到请求后,如果有新消息就将新消息返回给客户端,没有新消息就返回空列表,并关闭连接.即:服务端不管本轮有没有新消息产生,都会马上响应并返回. 当本次请求没有获取到新消息时,不会…

一.什么是消息未读 消息未读包括会话未读和总未读.前者指的是当前用户和某一聊天方的未读消息数,后者指的是当前用户的所有未读消息数,也就是所有会话未读的和.比如用户A收到用户B的2条消息,还收到用户C的3条消息,则用户A与B的会话未读数是2,用户A与C的会话未读数是3,用户A的总未读是5.   二.消息未读的维护 会话未读和总未读数一般都是单独维护的.这是因为: 1)总未读的使用场景较多,会被高频使用.如APP角标未读展示: 2)如果不单独维护,则总未读数需要通过计算所有的会话未读数,一旦会话数较…

假设有以下突发意外情况: 用户进入信号不好的地方,手机没有网络信号了 上网的路由器突然掉线了 这个时候,比如微信发消息,消息就会转圈圈,甚至变成红色叹号-- 上面情况都会导致"长连接"不可用. 我们知道,为了让消息能更加实时.可靠.快速地触达到接收方,大部分 IM 系统会通过"长连接"的方式来建立收发双方的通信通道,长连接一旦建立,就一直存在,除非网络被中断. 有了这基于 TCP 长连接的通信协议,在用户上线连接时,可以在服务端维护好连接到服务器的用户设备和具体 T…

一.什么是多终端漫游 多终端漫游是指:用户在任意一个设备登录后,都能获取到历史的聊天记录.如:QQ 默认漫游 7 天的聊天记录,开通 VIP 会员可漫游 30 天,开通 SVIP 会员可漫游 2 年. 二.多终端漫游的实现 支持消息多终端漫游一般需要两个条件: 设备在线状态 离线消息存储 1. 通过设备的在线状态来实现 记录设备的在线状态,当用户在多个终端同时登录并发送消息时,IM 服务端将收到的消息推给接收方的多台在线设备,同时推给发送方的其他登录设备. 可以看到,当多终端同时在线,只需要维护…

一.IM 系统的高并发场景 IM 系统中,高并发多见于直播互动场景.比如直播间,在直播过程中,观众会给主播打赏.送礼.发送弹幕等,尤其是明星直播间,几十万.上百万人的规模一点也不稀奇.近期随着武汉新型肺炎疫情的蔓延,很多教育机构也提供了"停课不停学"的在线直播教学服务,也是一大直播互动场景. 直播互动场景具有这样的特点:流量峰值具有"短时间快速聚集"的突发性.流量随着开播和结束而剧烈波动,因而会带来很大的高并发压力. 二.IM 系统的高并发解决方案 1.网关全量转发…

一.任务:采用基本的LSTM识别MNIST图片,将其分类成10个数字. 为了使用RNN来分类图片,将每张图片的行看成一个像素序列,因为MNIST图片的大小是28*28像素,所以我们把每一个图像样本看成一行行的序列.因此,共有(28个元素的序列)×(28行),然后每一步输入的序列长度是28,输入的步数是28步. 二.LSTM模型: 输入:x(t-1)的大小为一个28维的向量.……x(t-1),x(t).x(t+1)……有28个.[将一张图片拆成28*28] 隐藏层大小:128 输出:10 U:28…

一.AlexNet:共8层:5个卷积层(卷积+池化).3个全连接层,输出到softmax层,产生分类. 论文中lrn层推荐的参数:depth_radius = 4,bias = 1.0 , alpha = 0.001 / 9.0 , beta = 0.75 lrn现在仅在AlexNet中使用,主要是别的卷积神经网络模型效果不明显.而LRN在AlexNet中会让前向和后向速度下降,(下降1/3). [训练时耗时是预测的3倍] 代码: #加载数据 import tensorflow as tf fr…

1 1 1 Redis in Action : Redis  实战学习笔记 1 http://redis.io/ https://github.com/antirez/redis https://www.manning.com/books/redis-in-action Redis in Action Josiah CarlsonForeword by Salvatore Sanfilippo June 2013 ISBN 9781617290855 320 pages printed in b…

原文:WCF技术剖析之二十五: 元数据(Metadata)架构体系全景展现[元数据描述篇] 在[WS标准篇]中我花了很大的篇幅介绍了WS-MEX以及与它相关的WS规范:WS-Policy.WS-Transfer和WSDL,因为WCF元数据结构体系完全是基于WS-MEX等相关的规范之上.熟悉这些基本的WS规范,对于我们全面.深刻的理解WCF整个元数据架构体系具有十分重要的意义.不仅仅是针对元数据,对于后续章节陆续要介绍的内容,比如事务.可靠会话.安全等,我强烈建议读者在正式进行相关部分的学习之前,…

1.查看命令 (1)man 可以使用 man 命令名称 命令查看某个命令的详细用法,其显示的内容如下: NAME:命令名称 SYNOPSIS:语法 DESCRIPTION:说明 OPTIONS:选项 man 数据库保存在以下的目录中(可以使用 manpath 命令查看): /usr/local/man /usr/local/share/man /usr/share/man 在每一个保存位置可以发现多个以 manX 命名的子目录(X 代表数字,范围为 1~9,分别对应不同的命令): 1:可执行文件…

今年项目组做的是Cloud产品,有幸接触到了云计算的知识,也了解并使用了当今流行的云计算平台Amazon AWS与Microsoft Azure.我们的产品最初只部署在AWS平台上,现在产品决定同时支持Azure,所以有幸学习下Azure,并在查看文档资料以及写Demo过程中发现了其中的一些不同.虽然AWS与Azure是两款旗鼓相当的竞争产品,但是还是有很多区别. 本文主要是自己学习Service Bus中的学习笔记,自己有些结论也都跟微软技术支持确认过.个人观点,抛砖引玉:-) 消息服务对于云…

前言 基于 Spring Cloud 的微服务设计和开发,已经越来越多地得到了更多企业的推广和应用,而 Spring Cloud 社区也在不断的迅速发展壮大之中,近几年时间,Spring Cloud 的版本也经历了快速的迭代和更新. 本篇小编将带你们以最新的 Spring Cloud 发行版 Greenwich.SR1,带领大家体验如何使用 Spring Cloud 从微服务的设计.开发到部署.发布的全过程,在这一过程中,您将可以学到,怎么快速构建一个 Spring Cloud 项目工程,怎么使…

第六节 Linux系统基础优化 标签(空格分隔):Linux实战教学笔记-陈思齐 第1章 基础环境 第2章 使用网易163镜像做yum源 默认国外的yum源速度很慢,所以换成国内的. 第一步:先备份 mkdir backup mv C* backup/ 第二步:下载163yum源 wget http://mirrors.163.com/.help/CentOS6-Base-163.repo 第三步:清除旧缓存 yum clean all 第四步:创建新缓存 yum makecache 第五步:安…

系统架构.自底向上,设备层.网络层.数据操作层.图计算层.API层.应用层.核心层,设备层.网络层.数据操作层.图计算层.最下层是网络通信层和设备管理层.网络通信层包括gRPC(google Remote Procedure Call Protocol)和远程直接数据存取(Remote Direct Memory Access,RDMA),分布式计算需要.设备管理层包手包括TensorFlow分别在CPU.GPU.FPGA等设备上的实现.对上层提供统一接口,上层只需处理卷积等逻辑,不需要关心硬件…

[学习笔记] Numpy基础 上专业选修<数据分析程序设计>课程,老师串讲了Numpy基础,边听边用jupyter敲了下--理解+笔记. 老师讲的很全很系统,有些点没有记录,在PPT里就不搬了. 环境:python3.6 vscode+jupyter扩展 #%% #------------------------------2019.9.23 NumPy----------------------------- import numpy as np # 1.NumPy在一个连续的内存块中存储数…

搭建Hadoop 2.x分布式集群 1.Hadoop集群角色分配 2.上传Hadoop并解压 在centos01中,将安装文件上传到/opt/softwares/目录,然后解压安装文件到/opt/modules/ cd /opt/softwares/ tar -zxf hadoop-2.9.2.tar.gz -C /opt/modules/ 3.配置环境变量 只需配置centos01节点即可,后续可通过远程复制. a.修改文件/etc/profile sudo nano /etc/profile…

闲聊: 自从进了现在的公司,小颖就再没怎么接触vue了,最近不太忙,所以想再学习下vue,就看了看vue相关视频,顺便做个笔记嘻嘻. 视频地址:Vue 入门到实战1.Vue 入门到实战2 学习内容: 什么是vue? 官网回答: Vue (读音 /vjuː/,类似于 view) 是一套用于构建用户界面的渐进式框架.与其它大型框架不同的是,Vue 被设计为可以自底向上逐层应用.Vue 的核心库只关注视图层,不仅易于上手,还便于与第三方库或既有项目整合.另一方面,当与现代化的工具链以及各种支持类库结合…

最近在学习spring boot 发现对某些注解不是很深入的了解.看技术书给出的实例 会很疑惑为什么要用这个注解? 这个注解的作用?有其他相同作用的注解吗?这个注解的运行机制是什么?等等 springboot 相对spring 改变了些规则和使用方式.总感觉 还是需要把springboot的祖先了解下. 买了本spring 实战4 希望对我的了解有帮助. spring 的出现代替了更加重量级的企业java技术, 相对EJB  它提供了 简单的编程和轻量级. 一 spring bean java配…

一.上节回顾 不知不觉,我们已经学完了整个专栏的四大基础模块,即 CPU.内存.文件系统和磁盘 I/O.以及网络的性能分析和优化.相信你已经掌握了这些基础模块的基本分析.定位思路,并熟悉了相关的优化方法. 接下来,我们将进入最后一个重要模块—— 综合实战篇.这部分实战内容,也将是我们对前面所学知识的复习和深化. 我们都知道,随着 Kubernetes.Docker 等技术的普及,越来越多的企业,都已经走上了应用程序容器化的道路.我相信,你在了解学习这些技术的同时,一定也听说过不少,基于 Dock…

一.上节回顾 上一节,我带你学习了,如何使用 USE 法来监控系统的性能,先简单回顾一下. 系统监控的核心是资源的使用情况,这既包括 CPU.内存.磁盘.文件系统.网络等硬件资源,也包括文件描述符数.连接数.连接跟踪数等软件资源.而要描述这些资源瓶颈,最简单有效的方法就是 USE 法. USE 法把系统资源的性能指标,简化为了三个类别:使用率.饱和度以及错误数. 当这三者之中任一类别的指标过高时,都代表相对应的系统资源可能存在性能瓶颈. 基于 USE 法建立性能指标后,我们还需要通过一套完整的监…

一.重要的日志模块:redo log 1.通过酒店掌柜记账思路刨析redo log工作原理 2.InnoDB 的 redo log 是固定大小的 只要赊账记录在了粉板上或写了账本上,之后即使掌柜忘记了,比如停业几天,回复生意后依然可以通过账本和粉板上的数据明确赊账账目 有了redo log,InnoDB就可以保证即使数据库发生异常重启,之前提交的记录都不会丢失,这个能力成为crash-safe二.重要的日志模块:binlog 二.重要的日志模块binlog 1.redo和三点区别binlog r…

学习资源: Elasticsearch中文社区日报https://elasticsearch.cn/article/ Elasticsearch 官网 https://www.elastic.co/ 购买了极客时间的视频课程 Elasticsearch核心技术与实战,在第一节视频课上,讲师阮一鸣提到一条学习建议-定目标. 我自己定的目标是写博客记录学习过程的收获和问题.作为常用系统为Windows 10的.Net程序员,自然要根据自身出发.所以elasticsearch要安装在windows10…

一.关于上下文切换的几个为什么 1. 上下文切换是什么? 上下文切换是对任务当前运行状态的暂存和恢复 2. CPU为什么要进行上下文切换? 当多个进程竞争CPU的时候,CPU为了保证每个进程能公平被调度运行,采取了处理任务时间分片的机制,轮流处理多个进程,由于CPU处理速度非常快,在人类的感官上认为是并行处理,实际是"伪"并行,同一时间只有一个任务在运行处理. 3. 上下文切换主要消耗什么资源,为什么说上下文切换次数过多不可取? 根据 Tsuna 的测试报告,每次上下文切换都需要几十纳…

一.环境准备 1.安装软件包 终端1 机器配置:2 CPU,8GB 内存 预先安装 docker.sysstat.perf等工具 [root@luoahong ~]# docker -v Docker version 18.09.1, build 4c52b90 [root@luoahong ~]# rpm -qa|grep sysstat sysstat-12.1.2-1.x86_64 终端2 机器配置:1 CPU,2GB 内存 预先安装ab 等工具 [root@nfs ~]#yum -y i…