Kafka开发的主要初衷目标是构建一个用来处理海量日志,用户行为和网站运营统计等的数据处理框架.在结合了数据挖掘,行为分析,运营监控等需求的情况下,需要能够满足各种实时在线和批量离线处理应用场合对低延迟和批量吞吐性能的要求.从需求的根本上来说,高吞吐率是第一要求,其次是实时性和持久性. 既有的消息队列框架或者对消息传送的可靠性提供了较高的保证,由此带来较大的负担,不能满足海量高吞吐率的要求:或者完全面向实时消息处理系统,对于批量离线处理的场合无法提供足够的缓存和持久性要求. 而多数针对大数据开发…