最近在学习spark的相关知识, 重点在看spark streaming 和spark mllib相关的内容. 关于spark的配置: http://www.powerxing.com/spark-quick-start-guide/ 这篇博客写的很全面:http://www.liuhaihua.cn/archives/134765.html spark streaming: 是spark系统中处理流数据的分布式流处理框架,能够以最低500ms的时间间隔对流数据进行处理,延迟大概1s左右, 是一…

[注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 .实例演示 1.1 流数据模拟器 1.1.1 流数据说明 在实例演示中模拟实际情况,需要源源不断地接入流数据,为了在演示过程中更接近真实环境将定义流数据模拟器.该模拟器主要功能:通过Socket方式监听指定的端口号,当外部程序通过该端口连接并请求数据时,模拟器将定时将指定的文件数据随机获取发送给外部程序. 1.1.2 模拟器代码 import java.io.{PrintWriter} import…

1.Storm 和 SparkStreaming区别 Storm                      纯实时的流式处理,来一条数据就立即进行处理 SparkStreaming 微批处理,每次处理的都是一批非常小的数据 Storm支持动态调整并行度(动态的资源分配),SparkStreaming(粗粒度, 比较消耗资源)   Storm 优点 || 缺点 Storm 流式计算(扶梯)     优点:数据延迟度很低,Storm的事务机制要比SparkStreaming的事务机制要完善(什么是事…

这一两年Spark技术很火,自己也凑热闹,反复的试验.研究,有痛苦万分也有欣喜若狂,抽空把这些整理成文章共享给大家.这个系列基本上围绕了Spark生态圈进行介绍,从Spark的简介.编译.部署,再到编程模型.运行架构,最后介绍其组件SparkSQL.Spark Streaming.Spark MLib和Spark GraphX等.文章内容的整理一般是先介绍原理,随后是实战例子,由于面向的是入门读者,在实战中多截图,还请谅解.为了大家实验方便,在这里把实验相关的测试数据和安装包放在百度盘提供下载 …

基本信息 作者: Spark亚太研究院   王家林 丛书名:决胜大数据时代Spark全系列书籍 出版社:电子工业出版社 ISBN:9787121247446 上架时间:2015-1-6 出版日期:2015 年1月 开本:16 页码:812 版次:1-1 所属分类: 计算机 > 数据库 > 数据库存储与管理 编辑推荐 Life is short, you need Spark! Spark是当今大数据领域最活跃最热门的高效的大数据通用计算平台.基于RDD,Spark成功地构建起了一体化.多元化的…

转自:http://www.cnblogs.com/shishanyuan/p/4699644.html 这一两年Spark技术很火,自己也凑热闹,反复的试验.研究,有痛苦万分也有欣喜若狂,抽空把这些整理成文章共享给大家.这个系列基本上围绕了Spark生态圈进行介绍,从Spark的简介.编译.部署,再到编程模型.运行架构,最后介绍其组件SparkSQL.Spark Streaming.Spark MLib和Spark GraphX等.文章内容的整理一般是先介绍原理,随后是实战例子,由于面向的是入…

日志=>flume=>kafka=>spark streaming=>hbase 日志部分 #coding=UTF-8 import random import time url_paths = [ "class/112.html", "class/128.html", "learn/821", "class/145.html", "class/146.html", "cl…

[注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 .Spark Streaming简介 1.1 概述 Spark Streaming 是Spark核心API的一个扩展,可以实现高吞吐量的.具备容错机制的实时流数据的处理.支持从多种数据源获取数据,包括Kafk.Flume.Twitter.ZeroMQ.Kinesis 以及TCP sockets,从数据源获取数据之后,可以使用诸如map.reduce.join和window等高级函数进行复杂算法的处理…

Spark Streaming揭秘 Day13 数据安全容错(Driver篇) 书接上回,首先我们要考虑的是在Driver层面,有哪些东西需要维持状态,只有在需要维持状态的情况下才需要容错,总的来说,一共有三个组件需要容错: 数据层面:ReceiverBlockTracker,专门负责管理整个SparkStreaming运行数据的元数据,主要用来跟踪数据,需要状态. 逻辑层面:DStream和DStreamGraph,表达依赖关系,在恢复的时候需要恢复计算逻辑级别的依赖关系. 作业生成层面:Jo…

Spark Streaming揭秘 Day12 数据安全容错(Executor篇) 今天,让我们研究下SparkStreaming在Executor端的数据安全及容错机制. 在SparkStreaming中一共使用了两种容错方式: 存储数据副本 支持数据重放 副本机制 这是默认的处理方式,先让我们进入数据存储代码: 我们发现,SparkStreaming中存储是直接调用了blockManager中进行,blockManager本身就支持数据副本,是通过stoageLevel字段的定义. 一直往代…