ActiveMQ学习笔记(8)----ActiveMQ的消息存储持久化
1. 概述
ActiveMQ不仅支持persistent和non-persistent两种方式,还支持消息的恢复(recovery)方式。
2. PTP
Queue的存储是很简单的,其实就是FIFO的Queue
2. PUB/SUB
对于持久化订阅主题,每一个消费者都将获得一个消息的复制。
3. 有效的消息存储
ActiveMQ 提供了一个插件式的消息存储,类似于消息的多点传播,主要实现了如下几种:
1. AMQ消息存储-基于文件的存储方式,是以前默认的消息存储。
2. KahaDB消息存储-提供了容量的提升和恢复能力,是现在的默认存储方式。
3. JDBC 消息存储-消息基于JDBC存储的
4. Memory 消息存储-基于内存的消息存储
4. KahaDB Message Store概述
KahaDB是目前默认的存储方式,可用于任何场景,提高了性能和恢复能力。消息存储使用一个事务日志和仅仅用一个索引文件来存储它所有的地址。
KahaDB是一个专门针对消息持久化的解决方案,它对典型的消息使用模式进行了优化。在KahaDB中,数据被追加到data logs中,当不再需要log文件中的数据的时候,log文件会被丢弃。
5. KahaDB的基本配置例子
<persistenceAdapter> <kahaDB directory="${activemq.data}/kahadb"/> </persistenceAdapter>
可用的属性有:
1. directory:KahaDB存放的路径,默认值是activemq-data
2. indexWriteBatchSize: 批量写入磁盘索引page数量,默认值1000
3. indexCacheSize: 内存中缓存索引page的数量,默认值10000
4. enableIndexWriteAsync: 是否支持异步索引,默认false
5. journalMaxFileLength: 设置每个消息data log的大小,默认是23MB
6. enableJournalDiskSyncs: 设置是否保证每个没有事务的内容,被同步写入磁盘,JMS持久化的时候需要,默认为true
7. cleanupInterval: 在检查到不再使用的消息后,在具体删除消息前的时间,默认30000
8. checkpointInterval: checkpoint的间隔时间,默认5000
9. ignoreMissingJournalfiles: 是否忽略丢失的消息日志文件,默认false
10. checkForGorruptJournalFiles:在启动的时候,将会验证消息文件是否损坏,默认false
11. checksumJournalFiles: 是否为每个消息日志文件提供checksun,默认false
12. archiveDataLogs: 是否移动文件到特定的路径,而不是删除它们,默认false
13. directoryArchive: 定义消息已经被消费过后,移动data log到路径,默认null
14. databaseLockedWaitDelay: 获取数据库锁的等待时间(userd by shared master/slave),默认10000
15 maxAsyncJobs: 设置最大的可以存储的异步消息队列,默认值10000,可以和concurrent MessageProducers设置成一样的值。
16. concurrentStoreAndDispatchTransactions:是否分发消息到客户端,同时事务存储消息,默认为true.
17. concurrentStoreAndDispatchTopics:是否分发Topic消息到客户端,同时进行存储,默认为true.
18. concurrentStoreAndDispatchQueues:是否分发Queue消息到客户端,同时进行存储,默认为true.
6. 在Java中内嵌使用Broker,使用KahaDB的例子。
package com.wangx.activemq; import org.apache.activemq.broker.BrokerService;
import org.apache.activemq.store.kahadb.KahaDBStore; import java.io.File; public class MyBroker {
public static void main(String[] args) throws Exception {
BrokerService brokerService = new BrokerService();
File dataFileDir = new File("target/amq-in/kahadb");
KahaDBStore kahaDBStore = new KahaDBStore();
kahaDBStore.setDirectory(dataFileDir);
//use a bigger journal file
kahaDBStore.setJournalMaxFileLength(1024*100);
kahaDBStore.setIndexWriteBatchSize(100);
kahaDBStore.setEnableIndexWriteAsync(true);
brokerService.setPersistenceAdapter(kahaDBStore);
brokerService.addConnector("tcp://localhost:61616");
brokerService.start();
}
}
7. AMQ Message Store 概述
AMQ Message Store是ActiveMQ5.0缺省的持久化存储,它是一个基于文件,事务存储设计为快速消息存储的一个结构,该结构是以流的形式来进行消息交互的。
这种方式中,Message被保存到data logs中,同时被reference store进行索引以提高存取速度。Data logs 由一些单独的data log文件组成,缺省的文件大小是32M,如果某个消息的大小超过了data log文件的大小,那么可以修改配置以增加data log文件的大小。如果某个data log文件中的所有消息都被成功消费了,那么这个data log文件将会被标记,以便在下一轮的清理中被删除或者归档。
8. AMQ Message Store 配置示例
<broker brokerName="broker" persistent="true" useShutdownHook="false"> <persistenceAdapter>
<amqPersistenceAdapter directory="${activemq.base}/data" maxFileLength="32MB/> </persistenceAdapter>
</broker>
9. 使用JDBC来持久化消息
ActiveMQ支持使用JDBC来持久化消息,预定义的表如下:
1. 消息表,缺省表名为ACTIVEMQ ESGS queue和topic都存在里面,结构如下:
2. ACTIVEMQ_ACKS表存储持久化订阅的信息和最后一个持久订阅接收的消息ID,结构如下
2. 锁定表,缺省表名为ACTIVE_LOCK,用来确保某一时刻,只能有一个ActiveMQ broker实例来访问数据库,结构如下:
10. 使用JDBC来持久化消息的配置示例
<broker brokerName="test-broker" persistent="true"
xmlns="http://activemq.apache.org/schema/core">
<persistenceAdapter>
<jdbcPersistenceAdapter dataSource="#mysql-ds"/>
</persistenceAdapter>
</broker>
<!--需要加入对应版本的连接池依赖和数据库驱动jar-->
<bean name="mysql_ds" class="org.apache.commons.dbcp2.BasicDataSource" destroy-method="close">
<property name="driverClassName" value="com.mysql.jdbc.Driver"/>
<property name="url" value="jdbc:mysql://localhost:3306/test_mq?relaxAutoCommit=true"/>
<property name="username" value="xing"/>
<property name="password" value="xing"/>
<property name="maxTotal" value="200"/>
<property name="poolPreparedStatements" value="true"/>
</bean>
11. JDBC Message Store with ActiveMQ Journal
这种方式克服了JDBC Store的不足,使用快速的缓存写入技术,大大的提高了性能,配置如下:
<beans>
<broker brokerName="test-broker" persistent="true"
xmlns="http://activemq.apache.org/schema/core">
<persistenceFactory>
<journalPersistenceAdapterFactory
journalLogFiles="4"
journalLogFileSize="32768"
useJournal="true"
useQuickJournal="true"
dataDirectory="activemq-data"/>
</persistenceFactory>
</broker>
</beans>
12 JDBC Store 和JDBC Message Store with ActiveMQ Journal的区别
1. Jdbc with journal 的性能优于jdbc,
2. Jdbc 用于master/slave模式的数据库共享
3. Jdbc with journal不能用于master/slave模式
5. 一般情况下,推荐使用Jdbc with journal
13. Memory Message Store
内存消息存储主要是存储所有的持久化消息在内存中,这里没有动态的缓存存在,所以你必须注意设置你的broker所在的JVM和内存限制。
配置示例如下:
<beans>
<broker brokerName="test-broker" persistent="true"
xmlns="http://activemq.apache.org/schema/core">
<transportConnectors>
<transportConnector uri="tcp://localhost:61635"/>
</transportConnectors>
</broker>
</beans>
在java中内嵌使用Broker,使用Memory的例子
package com.wangx.activemq; import org.apache.activemq.broker.BrokerService; public class MyBroker {
public static void main(String[] args) throws Exception {
BrokerService brokerService = new BrokerService();
brokerService.setPersistent(false);
brokerService.addConnector("tcp://localhost:61616");
brokerService.start();
}
}
ActiveMQ学习笔记(8)----ActiveMQ的消息存储持久化的更多相关文章
- ActiveMQ学习笔记(5)——使用Spring JMS收发消息
摘要 ActiveMQ学习笔记(四)http://my.oschina.net/xiaoxishan/blog/380446 中记录了如何使用原生的方式从ActiveMQ中收发消息.可以看出,每次 ...
- ActiveMQ学习系列(四)----消息持久化到mysql
前记:目前学习还比较杂乱,还未找到系统化地学习ActiveMq的方法.在网上看到消息持久化的demo,了解了一下,在此记录. 一.目前ActiveMq支持的持久化方法 url:http://activ ...
- ActiveMQ学习笔记(17)----Message高级特性(一)
1. Messaage Properties ActiveMQ支持很多消息属性,具体可以参考 http://activemq.apache.org/activemq-message-propertie ...
- ActiveMQ学习笔记(1)----初识ActiveMQ
1. 什么是ActiveMQ? ActiveMQ是Apache推出的,一款开源的,完全支持JMS1.1和j2ee1.4规范的JMS Provider实现的消息中间件(Message Oriented ...
- 学习笔记-记ActiveMQ学习摘录与心得(二)
上个周末被我玩过去了,罪过罪过,现在又是一个工作日过去啦,居然有些烦躁,估计这几天看的东西有点杂,晚上坐下来把自己首要工作任务总结总结.上篇学习博客讲了ActiveMQ的特性及安装部署,下面先把我以前 ...
- apache activemq 学习笔记
0.activemq的概念 activemq实现了jms(java Message server),用于接收,发送,处理消息的开源消息总线. 1.activemq和jms的区别 jms说白了就是jav ...
- ActiveMQ学习笔记(一) JMS概要
(一)什么是JMS jms即Java消息服务(Java Message Service)应用程序接口是一个Java平台中关于面向消息中间件(MOM)的API,用于在两个应用程序之间,或分布式系统中发送 ...
- 学习笔记-记ActiveMQ学习摘录与心得(一)
这两天在看开源的MQ技术,趁着晚上安静,把这两天学的东西摘录下.在公司学东西效率真心捉鸡,心里总觉得别扭,拿了公司的钱不干活还在那学习,表示心情不淡定,效率不行啊...晚上时间是我的,下班还是蛮开心的 ...
- activemq学习笔记2
基本步骤: ConnectionFactory factory = new ActiveMQConnectionFactory("tcp://127.0.0.1:61616"); ...
随机推荐
- PHP的错误处理和异常处理
由于教程是围绕着文件打开做的错误处理,所以先记录几个用于文件处理的一些函数,fopen 用于打开一个文件:file_exists 用于检查目录是否存在:fclose( $变量 )用于指定关闭打开的文件 ...
- Win10 UI入门 导航滑动条 求UWP工作
借鉴了 段博琼 大哥写的导航滑动,自己实现了一个类似安卓 IOS 导航滑动条 支持等比例 分割 tabView 支持动画滑动 效果如下图 WYGrid 你可以想象一个GridView itemsWr ...
- Paper阅读总结Day1
Paper阅读总结Day1 1.Convolutional Neural Networks For Facial Expression Recognition 文章思想 简单的一篇关于表情识别的文章, ...
- Long型转换成IP段String、StringIP段转换成Long型
/** 把long类型的Ip转为一般Ip类型:xx.xx.xx.xx * * @param ip * @return */ public static String getIpFromLong(Lon ...
- div+css布局自适应小结
一.两栏布局(左定宽,右自动)1. float + margin即固定宽度元素设置float属性为left,自适应元素设置margin属性,margin-left应>=定宽元素宽度.举例: &l ...
- [NOIP补坑计划]NOIP2017 题解&做题心得
终于做完了…… 场上预计得分:?(省一分数线:295) 由于看过部分题解所以没有预计得分qwq 题解: D1T1 小凯的疑惑 题面 震惊!一道小学奥数题竟难倒无数高中考生! 欢迎大家以各种姿势*和谐* ...
- React和Vue中,是如何监听变量变化的
React 中事件监听 本地调试React代码的方法 先将React代码下载到本地,进入项目文件夹后yarn build 利用create-react-app创建一个自己的项目 把react源码和自己 ...
- mysql-5.7.10-winx64 安装
安装ZIP中的EXE文件后,找到安装目录中的my-default.ini加入代码 1 2 3 4 5 6 #新设置的 [mysql] default-character-set=utf8 #新设置的 ...
- ssm框架下上传图片及其他信息
先引入这两个包: <dependency> <groupId>commons-fileupload</groupId> <artifactId>comm ...
- AssetBundle打包优化解决方式
第一阶段:AssetBundle出一套解决方式 1.解决如今同一个资源打2个bundle的冗余问题 2.測试验证节省资源的比率是多少 问题拆分 一.bundle反复 问 题 :同样资源拆分问题? ...