Redis总结(五)缓存雪崩和缓存穿透等问题   前面讲过一些redis 缓存的使用和数据持久化.感兴趣的朋友可以看看之前的文章,http://www.cnblogs.com/zhangweizhong/category/771056.html .今天总结总结缓存使用过程中遇到的一些常见的问题.比如缓存雪崩,缓存穿透,缓存预热等等. 缓存雪崩 缓存雪崩是由于原有缓存失效(过期),新缓存未到期间.所有请求都去查询数据库,而对数据库CPU和内存造成巨大压力,严重的会造成数据库宕机.从而形成一系列连锁…

在第二节我们进行了RabbitMQ的安装,现在我们就RabbitMQ进行集群的搭建进行学习,参考官网地址是:http://www.rabbitmq.com/clustering.html 首先我们来看一下官网对集群的定义:A RabbitMQ broker is a logical grouping of one or several Erlang nodes, each running the RabbitMQ application and sharing users, virtual ho…

Git 学习(四)操作修改和版本穿梭 之前的章节,已介绍了本地Git库创建.暂存区增.删.改,以及提交版本库:可回顾下命令操作: git add 和 git commit. 光有之前章节的操作,Git 显然不能满足版本控制的需求.所谓的版本控制,可理解为文件夹的时间机,即从创建该文件夹伊始,所有文件提交操作都将被记录版本库,且可以随意穿梭版本(回退至昨日的版本,或甚至N年前). 本文就此具体说明Git是如何管理修改.撤销修改以及在各个版本间穿梭的. 管理修改 为什么Git比其他版本控制系统设计得…

特别声明: 博文主要是学习过程中的知识整理,以便之后的查阅回顾.部分内容来源于网络(如有摘录未标注请指出).内容如有差错,也欢迎指正! =============系列文章============= 1. Docker学习(一): 基本概念 2. Docker学习(二): 镜像的使用与构建 3. Docker学习(三): Dockerfile指令介绍 4. Docker学习(四): 操作容器 ================================= 容器操作以介绍命令为主 启动 新建并启…

前面都是一条消息只会被一个消费者处理. 如果要每个消费者都处理同一个消息,rabbitMq也提供了相应的方法. 在以前的程序中,不管是生产者端还是消费者端都必须知道一个指定的QueueName才能发送.获取消息.  而rabbitMQ消息模型的核心思想是生产者不会将消息直接发送给队列. 因为,生产者通常不会知道消息将会被哪些消费者接收. 生产者的消息虽然不是直接发送给Queue,但是消息会交给Exchange,所以需要定义Exchange的消息分发模式 ,之前的程序中,有如下一行代码: chan…

一.rabbitmq实现rpc调用的原理 ·rabbitmq实现rpc的原理是:客户端向一个队列中发送消息,并注册一个回调的队列用于接收服务端返回的消息,该消息需要声明一个叫做correaltionId的属性,该属性将是该次请求的唯一标识.服务端在接受到消息(在需要时可以验证correaltionId)后,处理消息,并将消息发送到客户端注册的回调队列中.原理图如下: 二.代码实现 下面我们将模拟实现一个rpc客户端和rpc服务端.客户端给服务端发送message,服务端收到后处理message,…

转载:http://blog.csdn.net/leixiaotao_java/article/details/78909760#t0 1.什么是RabbitMQ? RabbitMQ是由Erlang语言编写的实现了高级消息队列协议(AMQP)的开源消息代理软件(也可称为 面向消息的中间件).支持Windows.Linux/Unix.MAC OS X操作系统和包括JAVA在内的多种编程语言. AMQP,即Advanced Message Queuing Protocol,一个提供统一消息服务的应用…

前面讲过一些RabbitMQ的安装和用法,也说了说RabbitMQ在一般的业务场景下如何使用.不知道的可以看我前面的博客,http://www.cnblogs.com/zhangweizhong/category/855479.html 本来一直想写一个介绍RabbitMQ高可用的集群的文章.不过,后来发现园子里,有个已经RabbitMQ大牛写了,关于高可用集群的文章了.特别巧合的是,还是以前公司的同事.所以,这里就不啰嗦.直接引用过来吧.原文地址:http://www.cnblogs.com/…

一.安装RabbitMQ的依赖Erlang 要进行RabbitMQ学习,首先需要进行RabbitMQ服务的安装,安装我们可以根据官网指导进行http://www.rabbitmq.com/download.html 安装是需要依赖Erlang/OTP环境的——Before installing RabbitMQ, you must install a supported version of Erlang/OTP(安装rabbitMQ的指导中有写),为此在进行RabbitMQ-server安装之…

在Spring AMQP项目中Spring也提供了对RabbitMQ的支持,这里在之前学习SpringBoot的时候也整合过,但是今天这里使用的Spring的xml配置来整个rabbit. Spring AMQP项目地址:https://spring.io/projects/spring-amqp: 下面来看看使用方式. 1. 引入依赖 pom文件如下: <?xml version="1.0" encoding="UTF-8"?> <project…

1.什么是消息中间件 Message Queue Middleware,简称MQ,是一种利用高效可靠的消息传递机制进行与平台无关的数据交互的技术. 2.MQ的作用 异步:类似于短信业务,将需要发送的消息放入MQ中,让其它主流程业务正常运行,异步监听短信消息. 解耦:利用MQ隐含的.基于数据的接口达到解耦:就像家里的电器(如冰箱.烤炉.热水器等),它们并不是直接接在电路上的,而是通过插座达到通电的目的. 削峰:请求一进来,便将数据放入MQ,然后依次执行,降低后端服务压力. 冗余:某些情况下处理数据…

目录: RabbitMQ几大组件 交换器类型 RabbitMQ运行流程 RabbitMQ几大组件:(与RabbitMQ第一节中AMQP一样,不细说) 1.生产者.消费者.消息 2.Broker:简单的来说broker就是一个RabbitMQ的一个服务节点 3.队列 4.交换器.路由键.绑定键 交换器类型: 1.fanout(分列):把所有发送到该交换器上的消息,路由到与该交换器绑定的队列中. public class Product { private static final String E…

一.使用composer安装php-amqplib 1.在你的项目中添加一个 composer.json文件: { "require": { "php-amqplib/php-amqplib": "2.6.*" } } 2.只要你已经安装Composer功能,你可以运行以下: $ composer install 3.已经存在的项目则执行 $ composer update 这时在verdor目录就已经下载完毕 具体可以参考官方文档:https:…

原理流程 生产者主要做的是:创建连接-->创建channel-->创建交换机对象-->发送消息 消费者主要做的是:创建连接-->创建channel-->创建交换机-->创建队列-->绑定交换机/队列/路由键-->接收消息 案例一: 生产者 <?php $conn_args = array( 'host' => '127.0.0.1', ', 'login' => 'admin', 'password' => 'admin', 'vho…

EasyNetQ文档跟进式学习与实践 https://www.cnblogs.com/DjlNet/p/7603554.html 这里可能有人要问了,为什么不使用官方的nuget包呐:RabbitMQ.Client(官方还在积极对.net core做升级去兼容.net standrad,这挺好,https://www.nuget.org/packages/RabbitMQ.Client/5.1.0-pre1),要说为什么,其实无非就是原始的官方包你说要用吧也可以用,就是需要学习成本,让小组成员都…

为了说明这种模式,我们将建立一个简单的日志系统.这个系统将由两个程序组成,第一个将发出日志消息,第二个将接收并处理日志消息.在我们的日志系统中,每一个运行的接收程序的副本都会收到日志消息. 交换器(Exchanges) 在本教程的前面部分,我们主要介绍了发送者和接收者,发送者发送消息给 RabbitMQ 队列,接收者从 RabbitMQ 队列获取消息.在这一篇教程,我们会引入交换器,展示 RabbitMQ 的完整的消息模型. 让我们快速了解在前面的教程中介绍的内容: 生产者是发送消息的用户应用程…

1. 简单队列结构图 2. 引入依赖 pom.xml文件 <dependency> <groupId>com.rabbitmq</groupId> <artifactId>amqp-client</artifactId> <version>5.5.0</version> </dependency> <dependency> <groupId>org.slf4j</groupId&g…

按照routing key接收信息 发送端: public class EmitLogDirect { private static final String EXCHANGE_NAME = "direct_logs"; public static void main(String[] argv) throws java.io.IOException { ConnectionFactory factory = new ConnectionFactory(); factory.setHo…

1.什么是路由模式(direct) 路由模式是在使用交换机的同时,生产者指定路由发送数据,消费者绑定路由接受数据.与发布/订阅模式不同的是,发布/订阅模式只要是绑定了交换机的队列都会收到生产者向交换机推送过来的数据.而路由模式下加了一个路由设置,生产者向交换机发送数据时,会声明发送给交换机下的那个路由,并且只有当消费者的队列绑定了交换机并且声明了路由,才会收到数据.下图取自于官方网站(RabbitMQ)的路由模式的图例 P:消息的生产者 X:交换机 红色:队列 C1,C2:消息消费者 error…

本来今天是想做RabbitMQ之优先级队列的,但是,在RabbitMQ Server创建queue时,增加优先级的最大值,头脑发热写了9999999,导致电脑内存直接飙到100%,只能重启电脑,并卸载RabbitMQ.但是,我发现即使卸载(包括卸载Erlang和RabbitMQ Server),再安装,之前创建的queue却还在.这样,致使我的电脑内存一直处于使用100%的状态,根本就做不了事.所以,我就上网查询了RabbitMQ相关命令,想通过命令删除相关的queue.虽然并未成功,但是,还是…

上一篇,简单介绍了RabbitMQ的情况还有一些相关的概念,这一篇,会讲讲 RabbitMQ安装与配置. 1．安装 Rabbit MQ 是建立在强大的Erlang OTP平台上,因此安装RabbitMQ之前要先安装Erlang. erlang:http://www.erlang.org/download.html rabbitmq:http://www.rabbitmq.com/download.html 注意: 1.现在先别装最新的 3.6.3 ,本人在安装完最新的版本,queue 队列有问题…

前言 上篇介绍了AMQP的基本概念,组成及其与rabbitmq的关系.了解了这些东西后,下面我们开始学习rabbitmq(消息队列)的作用以及用java代码和rabbitmq通讯进行消息发布和接收.因为消息的的接收以及路由都是通过交换机实现的,所以接下来我们要学习如何利用不同的交换机进行消息的发布.最后会再学习如何利用rabbitmq进行rpc的调用. 一.rabbitmq(消息队列)的作用 1.异步处理消息 假设用户在网站注册成功后,需要向用户发送邮件和信息提示其注册成功.正常的做法是,后台将…

前言 上篇我们学习了rabbitmq的作用以及直连交换机的代码实现,这篇我们继续看如何用代码实现扇形交换机和主题交换机 一.扇形交换机 1.生产者 /** * 生产者 */ public class LogProducer { //交换机名称 public final static String EXCHANGE_NAME = "logs"; public static void main(String[] args) { ConnectionFactory connectionFac…

1. fanout模式 1.1 Publish/Subscribe(发布/订阅)结构图 上图表示一个消费者消费消息之后,不讲消息直接存储到队列,而是使用两个消费者各自声明一个队列,将各自的对应的队列与交换机绑定.这样每个消费者都读取的是自身所对应的队列的所有消息,大达到了一个生产者生产消息,所有消费者都能消费的目的. 将交换机类型设置为fanout即可实现Publish/Subscribe 1.2 生产者代码 package com.wangx.rabbitmq.sp; import com.r…

·1. 什么是RabbitMQ? RabbitMQ是流行的开源消息队列系统,用erlang语言开发.RabbitMQ是AMQP(高级消息队列协议)的标准实现. 而AMQP协议则是指:即Advanced Message Queuing Protocol,一个提供统一消息服务的应用层标准高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计.基于此协议的客户端与消息中间件可传递消息,并不受客户端/中间件不同产品,不同的开发语言等条件的限制. 结构图如下: RabbitMQ有几个重要的概…

目录: 性能 存储机制 内存及磁盘告警 性能: 影响RabbitMQ性能的因素有很多,主要的分为硬件性能与软件性能. )硬件性能:如网络.内存.CPU等等. )软件性能:消息持久化.消息确认.路由算法与绑定规则.投递消息等等. 1.消息持久化:持久化会写入磁盘,多一次IO操作,设置非持久化可提升性能. 2.消息确认:消费者订阅队列时,设置自动确认也可以提升性能. 3.路由算法与绑定规则:fanout,只要绑定了交换器就可以匹配到,匹配规则少,性能肯定是绑定规则中最佳的:direct,除了交换器还…

目录: RabbitMQ集群 镜像队列 RabbitMQ服务日志 RabbitMQ分布式部署 高可用集群 RabbitMQ集群: 1.集群中组件的状态 首先MQ一定要是一个高可用的中间件所以集群肯定是必不可少的,它可以提高RabbitMQ的吞吐量. 那你可能会问RabbitMQ集群后消息就不会丢失了么?会丢失的,当一个节点崩溃后所有的消息都会丢失,因为RabbitMQ默认是不会将消息在集群中复制的. 队列在集群中如何存在:队列在集群中是不会复制的,其它节点只会保存队列所处的元数据. 交换器在集群…

项目中,常常需要用到文件的上传和下载,上传和下载功能实际上是对Document对象进行insert和查询操作.本篇演示简单的文件上传和下载,理论上文件上传后应该将ID作为操作表的字段存储,这里只演示文件上传到Document对象中. 一.文件上传功能 apex代码 public with sharing class FileUploadUsedTransientController { public transient Blob fileUploadBody{get;set;} public S…

持久化:将交换机或队列数据保存到磁盘,服务器宕机或重启之后依然存在. 非持久化:将交换机或队列的数据保存到内存中,服务器宕机或重启之后数据将不存在. 在RabbitMQ中也提供了持久化和非持久化方式. 实现方式为将durable设置为false即可.在配置文件中配置交换机或队列时配置durable="false"即可,配置方式如下: <!--声明fanout的交换机--> <rabbit:fanout-exchange name="spring-exchan…

1. Woker队列结构图 这里表示一个生产者生产了消息发送到队列中,但是确有两个消费者在消费同一个队列中的消息. 2. 创建一个生产者 Producer如下: package com.wangx.rabbitmq.worker; import com.rabbitmq.client.Channel; import com.rabbitmq.client.Connection; import com.rabbitmq.client.ConnectionFactory; import java.i…