kafka 服务相关的命令 # 开启kafka的服务器bin/kafka-server-start.sh -daemon config/server.properties &# 创建topicbin/kafka-topics.sh --create --zookeeper bigdata-senior02.ibeifeng.com:2181 --replication-factor 1 --partitions 1 --topic orderTopic# 开启kafka的消费者bin/kafka

看的这个学习课程: http://study.163.com/course/courseLearn.htm?courseId=1002887002#/learn/video?lessonId=1003360187&courseId=1002887002 Spark Stream其实是把数据分成一段一段的进行处理.小批量处理方式. 按时间段分成一个个Dstream,每个Dstream是由相同时间段的多个RDD组成. 两者的区别: 1. 最大的区别,是Spark Streaming不可能完成毫秒级响

1.针对国外的开源技术,还是学会看国外的英文说明来的直接,迅速,这里简单贴一下如何看: 2.进入到flume的conf目录,创建一个flume-spark-push.sh的文件: [hadoop@slaver1 conf]$ vim flume-spark-push.sh 配置一下这个文件,flume使用avro的. # example.conf: A single-node Flume configuration # Name the components on this agent #定义这

本期内容 : Spark Streaming资源动态分配 Spark Streaming动态控制消费速率 为什么需要动态处理 : Spark 属于粗粒度资源分配,也就是在默认情况下是先分配好资源然后再进行计算,粗粒度有个好处,因为资源是提前给你分配好,当有计算任务的时候直接使用就可以了, 粗粒度不好的方面就是从Spark  Streaming角度讲有高峰值.低峰值,在高与低峰值时候需要的资源是不一样的,如果资源分配按照高峰值考虑的话,在低峰值就是对资源的浪费, 随着Spark Streaming

Linux 下建立 Git 与 GitHub 的连接 Git 是一款开源的分布式版本控制系统,而 GitHub 是依托 Git 的代码托管平台. GitHub 利用 Git 极其强大的克隆和分支功能,使得社区成员能够自由地参与到开源项目中去. 不过,在开始学习之前,你需要一个 GitHub 账号,以及一台能联网的 Linux 虚拟机. ====准备工作====安装 GitUbuntu 安装 Git: apt-get install git CentOS 安装 Git: yum install g

wordcount程序 文件wordcount.txt hello wujiadong hello spark hello hadoop hello python 程序示例 package wujiadong_sparkCore import org.apache.spark.{SparkConf, SparkContext} /** * Created by Administrator on 2017/2/25. */ object LocalSpark { def main(args: Ar

在运行 spark 程序时,出于某种原因,我想停止运行,狂按 ctrl+c 不一定起作用 以下两种情况是不好关闭的 1. cluster 运行模式 2. SparkStreaming 程序 本文旨在收集关闭这些程序的小技巧 1. 在程序中监听某个文件,如果文件存在,即停止运行 如果我们想停止程序,在指定地方新建文件即可

1 我本地有一个文件_netrc文件里面存储这git的相关信息,包括用户名和密码 你可以根据自己的git相关信息配置自己的信息 2 我当前的分支是dev,我要拉取当前分支下的所有代码,编写shell脚本并且应用git命令如下 dirs=(dm-lib-share dm-lib-op dm-lib-gpp dm-lib-doclib dm-ui-share dm-ui-op dm-ui-gpp dm-ui-doclib dm-sharelib3rdparty) for i in "${dirs[@

拉项目 在本地仓库中右键git clone,填写地址 OK, 然后在拉下来的项目上面右键检出创建dev分支. 要将新分支导入到eclipse中, 如果是没有导入过就选第三个,导入过就选第一个. 然后OK.

spark带了一个NetworkWordCount测试程序,用以统计来自某TCP连接的单词输入: /usr/local/spark/bin/run-example streaming.NetworkWordCount localhost 9999 再启动netcat: nc -lk 9999 尝试输入一些单词: hello world damn it 可以看到NetworkWordCount产生如下输出: ------------------------------------------- T

参考这篇文章: https://www.sohu.com/a/196257023_470008 我们当时的目标就是要设计一款低延迟.exactly once.流和批统一的,能够支撑足够大体量的复杂计算的引擎. Spark streaming 的本质还是一款基于 microbatch 计算的引擎.这种引擎一个天生的缺点就是每个 microbatch 的调度开销比较大,当我们要求越低的延迟时,额外的开销就越大.这就导致了 spark streaming 实际上不是特别适合于做秒级甚至亚秒级的计算.

一.正规做法有两种.git fetch和git pull. 注意不管用fetch还是pull,做之前都要在本地仓库做一次git commit,确保,本地仓库和工作目录及缓存一致.1.git fetch.从远程仓库获得最新版本到本地,不会自动merge.git fetch origin master:tmpgit diff tmp git merge tmp含义:   从远程获取最新的版本到本地的tmp分支上,之后再进行比较合并 2.git fetch:第二种用法,和上面的用法效果一样,只不过不建

1.复杂的迭代计算 假如我们计算的需要100步的计算,但是当我执行到第99步的时候,突然数据消失, 根据血统,从头进行恢复,代价很高 sc.setCheckpointDir("共享存储文件系统的路径") //这些地址存储已经执行过的rdd 2.离线计算和实时计算 storm(实时计算) Flink -> Scala spark-Streaming(实时计算,时效性低于storm,但吞吐量大) kafka(消息队列,高吞吐),其实就相当于有很多数据源过来,但是如果一时处理不过来,则

文章;MemoryStream.Close() or MemoryStream.Dispose() Close() and Dispose(), when called on a MemoryStream, only serve to do two things: Mark the object disposed so that future accidental usage of the object will throw an exception. Possibly1 release ref

1.先在本地打开workspace文件夹,或者自定义的文件夹,用来保存项目代码的地方. 2.然后登陆GitHub账号,点击复制项目路径 3.在刚才文件夹下空白处点击鼠标右键,打开Git窗口 4.在以下页面中输入命令 git clone 加刚才复制的路径,如下图(可能Ctrl+V用不了,可以用右键选择Paste完成复制) 5.输入完命令行之后回车就行,等待下载完毕,然后是切换分支问题.一般我们刚下载好拿到的都是master分支,但是开发的话都是在dev或其他分支上,所以就要进行分支切换.这里已经是

练习作业 完成任务从文件创建三个RDD(math bigdata student) cd ~ touch math touch bigdata touch student pwd 启动Spark-shell var localrdd1 = sc.textFile("file:///home/用户名/math") var localrdd2 = sc.textFile("file:///home/用户名/bigdata") var localrdd3 = sc.tex

本文只针对springboot整合rabbitmq的消息防丢失,话不多说,上干货.... 设置发送mq消息不丢失实现思路 执行的方案: 第一步,要对队列,消息以及交换机进行持久化操作(保存到物理磁盘中) 因为mq消息默认是保存在内存中 交换机我们在声明的时候可以进行持久化 @Bean(EX_BUYING_ADDPOINTUSER) public Exchange EX_BUYING_ADDPOINTUSER(){ return ExchangeBuilder.directExchange(EX_

Spark练习之创建RDD(集合.本地文件) 一.创建RDD 二.并行化集合创建RDD 2.1 Java并行创建RDD--计算1-10的累加和 2.2 Scala并行创建RDD--计算1-10的累加和 三.使用本地文件和HDFS创建RDD 3.1 Java---使用本地文件创建RDD 3.2 Scala---使用本地文件创建RDD 四.RDD持久化原理 五.不使用RDD持久化的问题的原理 六.RDD持久化工作的原理 七.RDD持久化策略 八.如何选择RDD持久化策略 一.创建RDD 二.并行化集

一.本文的目的       Straggler是目前研究的热点,Spark中也存在Straggler的问题.GC问题是总所周知的导致Straggler的重要因素之一,为了了解GC导致的Straggler问题,首先需要学习GC问题以及如何监控Spark的GC.GC问题的讨论比较多了,推荐一篇系列文章用于学习:成为Java的GC专家.   二.本文所需工具       本文所需工具很简单,基本不用下载.监控GC的前提是:     1.已经在集群上安装了Spark并可以正常提交作业:     2.本地

spark中saveAsTextFile如何最终生成一个文件 http://www.lxway.com/641062624.htm 一般而言,saveAsTextFile会按照执行task的多少生成多少个文件,比如part-00一直到part-0n,n自然就是task的个数,亦即是最后的stage的分区数.那么有没有办法最后只生成一个文件,而不是成百上千个文件了?答案自然是有办法. 在RDD上调用coalesce(1,true).saveAsTextFile(),意味着做完计算之后将数据汇集到一