一.场景 devicestatus.txt 文件包含了来自于不同运营商的移动设备的数据,不同的数据格式,包括设备ID.当前状态.位置等等.注意,该文件中的记录具有不同的字段分隔符:一些使用逗号,一些使用管道(|)等等. 二.任务 • 加载数据集• 确定使用哪个分隔符(提示:位置19中的字符是第一次使用分隔符)• 过滤掉不正确解析的记录(提示:每个记录应该有14个值) • 提取date(第一个字段).model(第二个字段).devive ID(第三字段).纬度和经度(分别为13和14字段)• 第…

1. RDD-(Resilient Distributed Dataset)弹性分布式数据集      Spark以RDD为核心概念开发的,它的运行也是以RDD为中心.有两种RDD:第一种是并行Collections,它是Scala collection,可以进行并行计算:第二种是Hadoop数据集,它是并行计算HDFS文件的每条记录,凡是Hadoop支持的文件系统,都可以进行操作.这两种RDD都以同样的方式处理. 1.1 RDD之并行Collections         并行Collecti…

Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈 大数据的概念与应用,正随着智能手机.平板电脑的快速流行而日渐普及,大数据中图的并行化处理一直是一个非常热门的话题.图计算正在被广泛地应用于社交网络.电子商务,地图等领域.对于图计算的两个核心问题:图存储模式和图计算模型,Spark GraphX给出了近乎完美的答案, 而Spark GraphX作为图计算领域的屠龙宝刀,对Pregel  API的支持更是让Spark GraphX如虎添翼.Spark GraphX可以轻而易举的完成基于度分布…

Spark的分布式架构 如我们所知,spark之所以强大,除了强大的数据处理功能,另一个优势就在于良好的分布式架构.举一个例子在Spark实战--寻找5亿次访问中,访问次数最多的人中,我用四个spark节点去尝试寻找5亿次访问中,次数最频繁的ID.这一个过程耗时竟然超过40分钟,对一个程序来说,40分钟出结果这简直就是难以忍耐.但是在大数据处理中,这又是理所当然的.当然实际中不可能允许自己的程序在简单的仅处理五亿次访问中耗费如此之大的时间,因此考虑了分布式架构.(PS:当然处理5亿次请求的示例中…

一.通过RDD实战电影点评系统 日常的数据来源有很多渠道,如网络爬虫.网页埋点.系统日志等.下面的案例中使用的是用户观看电影和点评电影的行为数据,数据来源于网络上的公开数据,共有3个数据文件:uers.dat.ratings.dat和movies.dat. 其中,uers.dat的格式如下: UserID::Gender::Age::Occupation::Zip-code ,这个文件里共有6040个用户的信息,每行中用“::”隔开的详细信息包括ID.性别(F.M分别表示女性.男性).年龄(使用…

[注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 .运行环境说明 1.1 硬软件环境 线程,主频2.2G,10G内存 l  虚拟软件:VMware® Workstation 9.0.0 build-812388 l  虚拟机操作系统:CentOS 64位,单核 l  虚拟机运行环境: Ø  JDK:1.7.0_55 64位 位) Ø  Scala:2.10.4 Ø  Spark:1.1.0(需要编译) Ø  Hive:0.13.1 1.2 机器网络…

从2012年1月份研究Spark到如今已经两年多的时间了. 在这两年多的时间里比較彻底的研究了Spark的源码并已经在2014年4月24日编写完毕了世界上第一本Spark书籍. 鉴于CSDN在大陆IT从业者中的重要影响了,决定把自己的Spark系列文章公布在其上,希望可以帮助很多其它的人掌握实战级别的Spark技术,同一时候也奢望可以推动Spark在中国的发展. 此Spark系列文章从零起步一直到生产环境下的Spark项目仔细分析,同一时候会剖析Spark的源码.循序渐进,步步深入. 我是王家林…

1 配置 1.1 开发环境: HBase:hbase-1.0.0-cdh5.4.5.tar.gz Hadoop:hadoop-2.6.0-cdh5.4.5.tar.gz ZooKeeper:zookeeper-3.4.5-cdh5.4.5.tar.gz Spark:spark-2.1.0-bin-hadoop2.6 1.2 Spark的配置 Jar包:需要HBase的Jar如下(经过测试,正常运行,但是是否存在冗余的Jar并未证实,若发现多余的jar可自行进行删除) spark-env.sh 添…

实战 数据导入Hive中全量: 拉链增量:用户.商品表数据量大时用 拉链表动作表 增量城市信息 全量 需求一: 获取点击.下单和支付数量排名前 的品类 ①使用累加器: click_category_id,个数 order_category_ids,个数 pay_category_ids,个数 ②在Driver端进行累加处理 click_category_id_click,个数 order_category_ids_order,个数 pay_category_ids_pay,个数 (9_click…

1 Spark rdd -- action函数详解与实战 2 Spark rdd -- transformations函数详解与实战(上) 3 Spark rdd -- transformations函数详解与实战(下) 4 Spark rdd -- aggregate函数深度剖析与应用 5 Spark rdd -- combineByKey函数深度剖析与应用 6 Spark dataframe -- 基础函数和action函数详解与实战 7 Spark dataframe -- transfo…