存储文件 启动broker之后我们可以看到下面这些文件 1.config包含了运行期间一些配置信息,主要包括下列信息. consumerFilter.json:主体消息过滤信息 consumerOffset.json:集群消费模式消息消费进度 delayOffset.json:延时消息队列拉取进度 subscriptionGroup.json:消息消费组配置 topic.json:topic配置属性 2.consumequeue:消息消费队列存储目录. 3.index:消息索引文件存储目录 4.…

1.MQ服务器崩溃调节: 今天具安卓前端反应, 从昨天下午开始线上服务器使用 电话号码登陆和 使用电话号码注册功能不能使用, 经过前端仔细排查怀疑是后端问题,之后经过与ios前端 确认, 定位为后端服务器问题. 分析问题: 昨天下午之前未发生问题, 期间未改动过代码, 应该是服务器问题. 通过查询 硬盘占有量 和 cup占有率等 常规手段 没有定位到服务器异常. 之后考虑为数据库异常,因为安卓模拟器上返回信息为手机号未注册, 将本地代码数据库连接上 生产环境数据库, 和安卓前端进行联调, 发现返…

继之前的mysql夺命连环之后,我发现我这个标题被好多套用的,什么夺命zookeeper,夺命多线程一大堆,这一次,开始面试题系列MQ专题,消息队列作为日常常见的使用中间件,面试也是必问的点之一,一起来看看MQ的面试题. 你们为什么使用mq?具体的使用场景是什么? mq的作用很简单,削峰填谷.以电商交易下单的场景来说,正向交易的过程可能涉及到创建订单.扣减库存.扣减活动预算.扣减积分等等.每个接口的耗时如果是100ms,那么理论上整个下单的链路就需要耗费400ms,这个时间显然是太长了. 如果这…

MappedFileQueue的封装 MappedFileQueue是MappedFile的管理容器,MappedFileQueue是对存储目录的封装. 查找MappedFile: 1.根据时间戳来查找MappedFile: 2.根据消息偏移量offset查找MappedFile mq采用定时删除策略,不定时的将已消费的消息从存储文件中删除,会造成极大的内存压力与资源浪费,也就是说在存储文件中,第一个文件不一定是0000...因为该文件在某一时刻会被删除. 参考下面3个方法理解: 内存映射文件M…

mq根据brokerName查找Broker地址的过程 mq根据MessageQueue查找Broker地址的唯一依据是brokerName,同一组Broker(M-S)他们的bokerName相同但brokerId不同,主服务器的brokerId为0,从服务器的brokerId大于0,rokckertMq提供mQClientFactory.findBrokerAddressInSubscribe来实现根据brokerName,brokerId查找Broker地址 org.apache.rock…

从前2节可以看到,一次消费后消息会从ProcessQueue处理队列中移除该批消息,返回ProcessQueue最小偏移量,并存入消息进度表中.那消息进度文件存储在哪合适呢? 广播模式:同一个消费组的所有消息消费者都需要消费主题下的所有消息,也就是同组内的消费者的消息消费行为是对立的,互相不影响,故消息进度需要独立存储,最理想的存储地方应该是与消费者绑定 集群模式:同一个消费组内的所有消费者共享消息主题下的所有消息,同一个消息消费队列在同一时间只会被消费组内的一个消费者消费,并且随着消费队列的动…

考虑转发任务未成功执行,此时消息服务器Broker宕机,导致commitlog,consumeQueue,IndexFile文件数据不一致. commitlog,consumeQueue遍历每一条消息,将flushedPosition,committedWhere设置到最后一条正常消息处,并删除在这之后的消息,commitlog在不正常停机重启后,重新转发最后一个mappedFile的消息到consumeQueue,等一系列实现 看一下mq关于存储文件的加载流程: public boolean…

1. rabbit MQ 安装 Rabbit MQ 是建立在强大的Erlang OTP平台上,因此安装Rabbit MQ的前提是安装Erlang.通过下面两个连接下载安装3.2.3 版本: 下载并安装 Eralng OTP For Windows (vR16B03) 运行安装 Rabbit MQ Server Windows Installer (v3.2.3) 默认安装的Rabbit MQ 监听端口是5672…

rabbitMQ是一个在AMQP协议标准基础上完整的,可服用的企业消息系统.他遵循Mozilla Public License开源协议.采用 Erlang 实现的工业级的消息队列(MQ)服务器. RabbitMQ的官方站:http://www.rabbitmq.com/        AMQP(高级消息队列协议) 是一个异步消息传递所使用的应用层协议规范,作为线路层协议,而不是API(例如JMS),AMQP 客户端能够无视消息的来源任意发送和接受信息.AMQP的原始用途只是为金融界提供一个可以彼…

引言:大家在做app开发的时候,基本都会保存文件到手机,android存储文件的地方有很多,不像ios一样,只能把文件存储到当前app目录下,并且android手机由于厂家定制了rom,sdcard的路径在不同手机上都会不一样.我这边封装了获取路径的几个方法,放在一个工具类里面. 1.获取扩展存储设备 2.获取sdcard2外部存储空间 3.获取可用的 EMMC 内部存储空间 4.获取其他外部存储可用空间 5.获取内部存储目录 Activity  程序的入口,在oncreate方法里面通过工具类…

ibdata1 & mysql-bin 问题:磁盘空间报警,经查发现ibdata1和mysql-bin日志占用空间太多(其中ibdata1超过120G,mysql-bin超过80G) 原因:ibdata1是存储格式,在INNODB类型数据状态下,ibdata1用来存储文件的数据和索引,而库名的文件夹里的那些表文件只是结构而已. innodb存储引擎有两种表空间的管理方式,分别是: 1)共享表空间(可拆分为多个小的表空间文件),这个是我们目前多数数据库使用的方法: 2)独立表空间,每一个表有一个独…

GridFS是MongoDB的一个内置功能,它提供一组文件操作的API以利用MongoDB存储文件,GridFS的基本原理是将文件保存在两个Collection中,一个保存文件索引,一个保存文件内容,文件内容按一定大小分成若干块,每一块存在一个Document中,这种方法不仅提供了文件存储,还提供了对文件相关的一些附加属性(比如MD5值,文件名等等)的存储. <?php // 初始化gridfs $conn = new Mongo(); // 连接MongoDB $db = $conn->ph…

本文转自:http://www.cnblogs.com/top15from/p/4899954.html ZBUS = MQ + RPC + PROXY 支持消息队列, 发布订阅, RPC, 代理(TCP/DMZ) 亿级消息堆积能力.支持HA高可用 单个Jar包无依赖 ~300K 服务代理 -- 适配改造已有业务系统,使之具备跨平台与语言 丰富的API--JAVA/C/C++/C#/Python/Node.JS多语言接入 zbus-dist选择zbus.sh或者zbus.bat直接执行 总线默认…

参考:http://www.runoob.com/mongodb/mongodb-gridfs.html 1.命令执行 MongoDB GridFS GridFS 用于存储和恢复那些超过16M(BSON文件限制)的文件(如:图片.音频.视频等). GridFS 也是文件存储的一种方式,但是它是存储在MonoDB的集合中. GridFS 可以更好的存储大于16M的文件. GridFS 会将大文件对象分割成多个小的chunk(文件片段),一般为256k/个,每个chunk将作为MongoDB的一个文…

ZeroMQ 官方地址 :http://api.zeromq.org/4-1:zmq-tcp zmq_tcp(7)          ØMQ Manual - ØMQ/4.1.0 Name zmq_tcp – 使用TCP协议的ØMQ网络单播协议 Synopsis TCP是一个应用广泛.可靠.单播的传输协议.当在一个网络中使用ZMQ进行分布式的应用连接时,应该优先使用TCP传输协议. Addressing 一个ØMQ网络节点是一个字符串,格式为transport://然后紧跟着一个address.…

ZeroMQ API 目录 :http://www.cnblogs.com/fengbohello/p/4230135.html ————————————————————————————————————— ZeroMQ 官方地址:http://api.zeromq.org/4-2:zmq-inproc zmq_inproc(7)   ØMQ Manual - ØMQ/4.2.0 Name zmq_inproc – ØMQ 本地进程内(线程间)传输方式 Synopsis 进程内传输方式意味着在共享…

ZeroMQ API 目录 :http://www.cnblogs.com/fengbohello/p/4230135.html ————————————————————————————————————— ZeroMQ 官方地址:http://api.zeromq.org/4-0:zmq-pgm zmq_pgm(7)         ØMQ Manual - ØMQ/3.2.5 Name zmq_pgm – ØMQ 使用PGM 进行可靠的多路传输 Synopsis PGM(实际通用多路广播)是一…

转自:http://www.cnblogs.com/me115/p/3471788.html MQ通道配置 通道是用来连接两个队列管理器的: 在单个队列管理器内读写消息不需要建立通道:但在一个队列管理器中写入消息,而从另一个队列管理器中的队列取出消息,这就需要建立通道: 通道,对跨机和本机的队列管理器不做区分,对于两个队列管理器,不论是否分布在同一个机器上,配置方式都是一样的,所不同的就是ip的地址配置: 通道类型 通信双方的通道类型配对并不是可以随意排列组合的,共有六种.(详见<精通MQ>1…

WebSphereMQ可以在IBM官网下载,有试用版90天的.下载地址http://www.ibm.com/developerworks/cn/downloads/ws/wmq/index.html MQ可以在很多系统下安装,本文主要记录在Linux下安装. 一.安装步骤 1.以root用户登录系统 2.MQ安装程序需将代码安装到目录/opt/mqm下,将数据保存到目录/var/mqm下,所以分别在/opt 和/var下 创建mqm目录. 3.创建名为"mqm"的用户和组,并将用户的目…

一.IBM WebSphere MQ7.0的jdbc支持数据库有: DB2 Informix Informix_With_Date_Format Microsoft_SQL_Server Oracle Sybase_JConnect6_05 本文以server 2008 r2的jdbc为例,以两种方法建jdbc,详情如下: 二.建sqlserver的jdbc 1.打开MQ资源管理器,WebSphere MQ Explorer 2.右键点击[可配置服务],选择[新建]-[可配置服务] 3.输入jd…

一.IBM WebSphere MQ7.0的jdbc支持数据库有: DB2 Informix Informix_With_Date_Format Microsoft_SQL_Server Oracle Sybase_JConnect6_05 本文以oracle的jdbc为例,以两种方法建jdbc,详情如下: 二.命令建jdbc 1.打开MB命令控制台(可参考http://www.cnblogs.com/hhl-kf/archive/2012/09/25/2694052.html) 2.创建配置服…

环境:本地需安装activemq,且访问正常,安装方法网上很多,这里省略. 1.添加相关jar包,我这里使用的是maven,你也可以选择其他方式添加.下面是maven相关配置: <!-- ActiveMQ JMS 相关jar begin --> <dependency> <groupId>org.apache.activemq</groupId> <artifactId>activemq-broker</artifactId> <…

前言: 我之前没有接触过Lucene.Net相关的知识,最近在园子里看到很多大神在分享这块的内容,深受启发.秉着“实践出真知”的精神,再结合公司项目的实际情况,有了写一个Demo的想法,算是对自己能力的考验吧. 功能描述: 1. 前台网站把新增的索引项对象(标题.内容)序列化后,发送给MQ 2. MQ接收到消息后先持久化,再推送给消息的消费者 3. 消息的消费者(WinServices)接收到消息后,反序列化成索引项对象,调用SearchEngine类库的创建索引方法 4. 前台网站调用Sear…

<一>m2mGW项目 1.ActiveMQ概述     企业消息软件从80年代起就存在,它不只是一种应用间消息传递风格,也是一种集成风格.因此,消息传递可以满足应用间的通知和互相操作.但是开源的解决方案是到最近10年才出现的.Apache ActiveMQ就是其中一种.它使应用间能以异步,松耦合方式交流.ActiveMQ 是Apache出品,最流行的,能力强劲的开源消息总线. ‍   ActiveMQ是Apache软件基金下的一个开源软件,它遵循JMS规范(JavaMessage Servic…

前言 有段时间没有更新博文了,一直在忙工作很少有时间静下心来继续研究点东西,说来也惭愧,归咎原因最主要的还是因为懒惰.空想也是不管用的,有时候很多想法被扼杀到了摇篮里,还没开始做就放弃了,这是多数人会有的恶习,世界上最不缺少的就是空想家,而是实践者,有句俗话说的好不怕千招会,只怕一招绝,能踏踏实实做好一件事的人才是人生的赢家.另外在平时也有研究过很多有趣的技术,但往往是没有研究到最后,只是研究了如何使用它,然后想要写成文章就是很危险的事情,如果对某项技术研究的并不通透,这时候发表见解的话这样只会…

http://www.cnblogs.com/shanyou/p/4067250.html 这篇博文写的rabbit mq和erlang的安装以及rabbitmq可视化插件的一些操作 接下去开始安装PHP扩展 amqp 下载地址为: http://windows.php.net/downloads/pecl/releases/amqp/1.4.0/php_amqp-1.4.0-5.4-ts-vc9-x86.zip 我下的是1.4.0版本,推荐下载ts版本的DLL,我一开始用nts,出现了以下错误…

STM32移植RT-Thread后的串口在调试助手上出现:(mq != RT_NULL) assert failed at rt_mq_recv:2085的问题讨论:http://www.rt-thread.org/phpBB3/topic2577.html, STM32串口只发送数据,不能接收数据的问题讨论:http://www.rt-thread.org/phpBB3/topic2577-10.html…

最近看了一些资料,回顾过去项目的经验,梳理自己对两者异同的理解: 相同: 1.都利于大型系统的解耦: 2.都提供子系统之间的交互,特别是异构子系统(如java\node等不同开发语言): 不同: 1.RPC侧重功能调用,因此多半是同步的: 备注:也有基于MQ上实现RPC的,这样的话就是异步的,MQ本身,如rabbitMQ也有提供实现RPC的能力: 2.MQ 的使用,一方面是基于性能的考虑,比如服务端不能快速的响应客户端(或客户端也不要求实时响应),需要在队列里缓存: 另外一方面,它更侧重数据的传…

上一篇我们知道了消息驱动Bean的基本用法,实际大型分布式企业应用中,往往会采用高性能的商业Queue产品,比如IBM Webshpere MQ(目前最新版本是7.5 ),下面讲解下如何在Jboss EAP 6.2 版本上整合Webshpere MQ 7.5 一.修改jboss的standalone-full.xml a) 添加IBM的resource-adapters 找到<subsystem xmlns="urn:jboss:domain:resource-adapters:1.1&q…

前言: mac系统发展速度确实很快,短短数年,mac os上已经能网银支付(中行.招行.工商.支付宝等均已全面支持mac os了),windows上的经典常用软件:qq.飞信.旺旺.有道词典.有道云笔记.迅雷.PPS影音.AcdSee,甚至微软自家的office全套都有for mac,今天下定决心把mac机上vmware里的windows 7给“打入冷宫”,准备把oracle.nexus.jboss.weblogic 这些跟java开发有端的“重量级”大家伙都放到cent os虚拟机里,日常开发…