这些场景的共同点就是数据由上层框架产生,需要由下层框架计算,其中间层就需要有一个消息队列传输系统 Apache flume系统,用于日志收集 Apache storm系统,用于实时数据处理 Spark系统,用于内存数据处理 elasticsearch系统,用于全文检索 broker中每个partition都会有备份,可自行设置,前端程序和读取数据的程序都可以是自己写的程序或者是各类框架,例如hadoop,flume 搭建集群: kafka的包需要事先下载好,zookeeper环境搭建之前已经做过…