需求   假设我们有一张各个产品线URL的访问记录表,该表仅仅有两个字段:product.url,我们需要统计各个产品线下访问次数前10的URL是哪些?   解决方案   (1)模拟访问记录数据     模拟数据记录共有1000条,其中包括10个产品线:product1.product2.….product10,100个URL:url1.url2.….url100,为了简化生成数据的过程,产品线和URL均使用了随机数.一条记录为一个字符串,产品线与URL使用空格进行分隔.模拟数据存储在一个名为“…

转载自:http://bigdata.51cto.com/art/201704/536499.htm Spark程序运行常见错误解决方法以及优化 task倾斜原因比较多,网络io,cpu,mem都有可能造成这个节点上的任务执行缓慢,可以去看该节点的性能监控来分析原因.以前遇到过同事在spark的一台worker上跑R的任务导致该节点spark task运行缓慢. 作者:佚名来源:数据为王|2017-04-07 09:02   一.org.apache.spark.shuffle.FetchFai…

1． 问题描述 在大规模数据处理中,常遇到的一类问题是,在海量数据中找出出现频率最高的前K个数,或者从海量数据中找出最大的前K个数,这类问题通常称为“top K”问题,如:在搜索引擎中,统计搜索最热门的10个查询词:在歌曲库中统计下载率最高的前10首歌等等. 2． 当前解决方案 针对top k类问题,通常比较好的方案是[分治+trie树/hash+小顶堆],即先将数据集按照hash方法分解成多个小数据集,然后使用trie树或者hash统计每个小数据集中的query词频,之后用小顶堆求出每个数据集…

一.前述 本文总结了常用的Spark的troubleshooting. 二.具体 1.shuffle file cannot find:磁盘小文件找不到. 1) connection timeout ----shuffle file cannot find 提高建立连接的超时时间,或者降低gc,降低gc了那么spark不能堆外提供服务的时间就少了,那么超时的可能就会降低. 2) fetch data fail  ---- shuffle file cannot find 提高拉取数据的重试次数以…

一.RDD 的创建 1)通过 RDD 的集合数据结构,创建 RDD sc.parallelize(List(1,2,3),2) 其中第二个参数代表的是整个数据,分为 2 个 partition,默认情况会讲数据集进行平分,注意不是两个副本 2)通过文件来读取 sc.textFile("file.txt") sc.sequenceFile("file.txt") sequeceFile 是 HDFS 一些数据结构 文件读取的位置,容易产生奇异,比如一下几种形式: 1)…

我们有这样的两个文件 第一个数字为行号,后边为三列数据.我们来求第二列数据的Top(N) (1)我们先读取数据,创建Rdd (2)过滤数据,取第二列数据. 我们用filter()来过滤数据 line.trim().length是除去行末尾的空格然后计算长度,长度大于0,并且分能用逗号切分为4个子数据的数据为有效数据. 然后我们来切分取出第二列数据,即arr(2),arr(0)为行号 line.map(_.split(",")(2)) (3)数据类型转换并修改成键值对的形式 我们通过.m…

1.Git GUI 首先,在push到github的项目必须先建立版本(即creat  repository的名字一样),一般是先pull下来,再push(为了防止有其他人提交了代码,而你却不知道,造成的一些冲突) 进行第三步时,必须写提交描述,否则报错,如下 最后一步,需要填写目的路径,直接github上粘贴相应版本路径即可,还必须输入github的名字和密码 成功后,如图: 下面写一下,一般push失败的原因,其实上面也已经提到,(为了防止有其他人提交了代码,而你却不知道,造成的一些冲突)所…

程序崩溃经历 其实在很早之前就想写这篇文章了,一直拖到现在. 程序崩溃经历1 平时开发测试的时候好好的,结果上线几天发现有崩溃的问题,其实责任大部分在我身上. 我的责任: 过分信赖文档,没进行容错处理,也就是没有对数据进行相应的判断处理. 下面附上代码,说明崩溃的原因 因第三方公司提供的数据错乱导致有时候创建字典的时候个别value为nil才导致的崩溃 //宏#define CStringToOcString(cstr) [NSString stringWithCString:cstr enco…

spark dataframe派生于RDD类,但是提供了非常强大的数据操作功能.当然主要对类SQL的支持. 在实际工作中会遇到这样的情况,主要是会进行两个数据集的筛选.合并,重新入库. 首先加载数据集,然后在提取数据集的前几行过程中,才找到limit的函数. 而合并就用到union函数,重新入库,就是registerTemple注册成表,再进行写入到HIVE中. 不得不赞叹dataframe的强大. 具体示例:为了得到样本均衡的训练集,需要对两个数据集中各取相同的训练样本数目来组成,因此用到了这…

通过cloudera manager 5.x添加spark服务,在创建服务过程中,发现spark服务创建失败,可以通过控制台错误输出看到如下日志信息: + perl -pi -e 's#{{CMF_CONF_DIR}}#/etc/spark/conf.cloudera.spark_on_yarn/yarn-conf#g' /opt/cm-5.9.2/run/cloudera-scm-agent/process/ccdeploy_spark-conf_etcsparkconf.cloudera.s…