=================================== 10.实时看板案例 10.1 项目需求梳理 根据订单mq,快速计算双11当天的订单量.销售金额.…

详见代码 将任务提交到集群上面去运行 apache-storm-1.1.1/bin/storm jar cn.itcast.storm.kafkaAndStorm.KafkTopology kafkaStorm ========================================= storm的介绍  了解 storm的架构模型: nimbus:主节点,主要用于我们提交任务,分配任务的执行等等 supervisor:从节点,主要用于执行我们的任务 storm的集群安装  搞定 sto…

目录 项目需求 项目模型 实现步骤 项目需求 快速计算双十一当天的订单量和销售金额 项目模型 实现步骤 一.创建topic bin/kafka-topics.sh --create --topic itcast_order --zookeeper node01:2181,node02:2181,node03:2181 --partitions 5 --replication-factor 2 二.创建maven项目并导入要依赖的jar包 <dependencies> <dependenc…

本案例利用Spark+Kafka实时分析男女生每秒购物人数,利用Spark Streaming实时处理用户购物日志,然后利用websocket将数据实时推送给浏览器,最后浏览器将接收到的数据实时展现,案例的整体框架图如下: 下面分析详细分析下上述步骤: 应用程序将购物日志发送给Kafka,topic为”sex”,因为这里只是统计购物男女生人数,所以只需要发送购物日志中性别属性即可.这里采用模拟的方式发送购物日志,即读取购物日志数据,每间隔相同的时间发送给Kafka. 接着利用Spark Stre…

redis当中的一些专业术语: redis缓存击穿 redis缓存雪崩 redis的缓存淘汰 =========================================== 详见代码…

2.redis的持久化机制: redis支持两种持久化机制:RDB  AOF RDB:多少秒之内,有多少个key放生变化,将redis当中的数据dump到磁盘保存,保存成一个文件,下次再恢复的时候,首先读取文件当中的数据到内存来 AOF:日志文件的操作记录   记录了我们操作redis的所有的步骤 默认开启RDB,没有开启AOF,一般实现线上环境,都要开启AOF 如果开启了aof持久化机制,那么日志文件就会越写越大,如何控制日志文件不会膨胀太大: rewrite  操作   每隔一段时间,合并日…

一.top3热门商品实时统计案例 1.概述 Spark Streaming最强大的地方在于,可以与Spark Core.Spark SQL整合使用,之前已经通过transform.foreachRDD等算子看到, 如何将DStream中的RDD使用Spark Core执行批处理操作.现在就来看看,如何将DStream中的RDD与Spark SQL结合起来使用. 案例:每隔10秒,统计最近60秒的,每个种类的每个商品的点击次数,然后统计出每个种类top3热门的商品. 2.java案例 packag…

Kafka吞吐量测试案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 领英公司参考连接:https://www.slideshare.net/JiangjieQin/producer-performance-tuning-for-apache-kafka-63147600?qid=84026ff8-243f-49a7-a4d0-69976cf317b7&v=&b=&from_search=9(温馨提示,需要VPN哟-). 一.kafka-producer-pe…

目标: 监控Oracle某张记录表,有新增数据则获取表数据,并推送到微信企业. 流程: Kafka实时监控Oracle指定表,获取该表操作信息(日志),使用Spark Structured Streaming消费Kafka,获取数据后清洗后存入指定目录,Python实时监控该目录,提取文本里面数据并推送到微信.(Oracle一台服务器,Kafka及Spark在另外一台服务器) 架构: Oracle+Kafka+Spark Structured Streaming+Python centos7 o…

package com.test; import java.util.*; import org.apache.spark.SparkConf; import org.apache.spark.TaskContext; import org.apache.spark.api.java.*; import org.apache.spark.api.java.function.*; import org.apache.spark.streaming.Durations; import org.apa…