原文链接:https://www.cnblogs.com/stillcoolme/p/10160397.html 1 业务需求 最近做的24小时书店大数据平台中的一个需求:获取一段时间内只在晚上进店,而白天没有进店的顾客. 输入是指定的开始日期.结束日期.夜出开始时间(nightTimeS).夜出结束时间(nightTimeE).通过userName可以区分一个顾客. 2 业务实现 2.1 第一版 只统计了晚上出现的顾客 下面代码是最开始的实现,有些问题需要改进: 只将晚上出现过的客户统计起来,…

Spring Cloud 微服务架构全链路实践Spring Cloud 微服务架构全链路实践 阅读目录: 网关请求流程 Eureka 服务治理 Config 配置中心 Hystrix 监控 服务调用链路 ELK 日志链路 统一格式返回 Java 微服务框架选型(Dubbo 和 Spring Cloud?) 目前公司使用的 Spring Cloud 整个技术组件,基本包含了上面图中所包含的,不得不说,Spring Cloud 整个生态真的很强大,使用起来也很方便有效. 后面有时间再针对每个组件进行…

目录 TCP\IP协议实践:wireshark抓包分析之链路层与网络层 从ping开始 链路层之以太网封装 ip首部 开启ping程序,开始抓包 由一个ping的结果引出来的两个协议ARP ICMP ARP:地址解析协议 ICMP:Internet控制报文协议 总结 TCP\IP协议实践:wireshark抓包分析之链路层与网络层 @ 从ping开始 我打算从一个ping命令的抓包结果来结合实际分析链路层和网络层的几个协议,先看一些无聊却重要的基础知识,封装过程图镇楼 链路层之以太网封装 我们都…

Spark作为一个开源数据处理框架,它在数据计算过程中把中间数据直接缓存到内存里,能大大提高处理速度,特别是复杂的迭代计算.Spark主要包括SparkSQL,SparkStreaming,Spark MLLib以及图计算. Spark核心概念简介 1.RDD即弹性分布式数据集,通过RDD可以执行各种算子实现数据处理和计算.比如用Spark做统计词频,即拿到一串文字进行WordCount,可以把这个文字数据load到RDD之后,调用map.reducebyKey 算子,最后执行count动作触发…

spark的存储系统--BlockManager源码分析 根据之前的一系列分析,我们对spark作业从创建到调度分发,到执行,最后结果回传driver的过程有了一个大概的了解.但是在分析源码的过程中也留下了大量的问题,最主要的就是涉及到的spark中重要的几个基础模块,我们对这些基础设施的内部细节并不是很了解,之前走读源码时基本只是大概了解每个模块的作用以及对外的主要接口,这些重要的模块包括BlockMananger, MemoryMananger, ShuffleManager, MapOut…

Spark Straming,Spark Streaming与Storm的对比分析 一.大数据实时计算介绍 二.大数据实时计算原理 三.Spark Streaming简介 3.1 SparkStreaming初始理解 3.2 2.SparkStreaming代码 四.Spark Streaming基本工作原理 五.DStream 六.Spark Streaming与Storm的对比分析 6.1 与Storm的对比 6.2 Spark Streaming与Storm的优劣分析 一.大数据实时计算介…

前言 系统设计实践篇的文章将会根据<系统设计面试的万金油>为前置模板,讲解数十个常见系统的设计思路. 前置阅读: <系统设计面试的万金油> 系统设计实践(01) - 短链服务 系统设计实践(02) - 文本存储服务 设计目标 让我们设计一个像Instagram这样的照片分享的社交网站,用户可以上传照片分享给其他用户. 一. 什么是Instagram? Instagram是一种社交网络服务,用户可以上传和分享自己的照片.视频给其他用户.Instagram用户可以选择公开或私下分享信息…

实践2.4 ELF文件格式分析 1.ELF文件头 查看/usr/include/elf.h文件: #define EI_NIDENT (16) typedef struct { unsigned char e_ident[EI_NIDENT]; /* 魔数和其他信息 */ Elf32_Half e_type; /* 目标文件类型 */ Elf32_Half e_machine; /* 硬件平台 */ Elf32_Word e_version; /* elf头部版本 */ Elf32_Addr e…

hadoop之Spark强有力竞争者Flink,Spark与Flink:对比与分析 Spark是一种快速.通用的计算集群系统,Spark提出的最主要抽象概念是弹性分布式数据集(RDD),它是一个元素集合,划分到集群的各个节点上,可以被并行操作.而Flink是可扩展的批处理和流式数据处理的数据处理平台. Apache Flink,apache顶级项目,是一个高效.分布式.基于Java实现的通用大数据分析引擎,它具有分布式 MapReduce一类平台的高效性.灵活性和扩展性以及并行数据库查询优化方案…

OpenStack实践系列⑨云硬盘服务Cinder八.cinder8.1存储的三大分类 块存储:硬盘,磁盘阵列DAS,SAN存储 文件存储:nfs,GluserFS,Ceph(PB级分布式文件系统),MooserFS(缺点Metadata数据丢失,虚拟机就毁了) 11.2网络类型选择 对象存储:swift,S3 8.2 cinder控制节点的部署 安装cinder [root@node1 ~]# yum install openstack-cinder python-cinderclient -…