Spark Streamming 基本输入流(二) :Socket
Spark Streamming 可以通过socket 进行数据监听。
socket的输入方可以通过nc 或者自己开发nc功能的程序。
1、系统自带的nc
su root
a
yum install -y nc 安装nc
nc -lk 22222 就代表nc对22222端口进行监听。
2、自己编写nc程序
下面程序是不停给master 22222 端口写入行数据。
val words = "hello spark storm hive java hadoop hbase hello money scala python".split(" ")
val n = words.size
val ra = new Random()
val hostname = "master"
val port = 22222
val ss = new ServerSocket(port)
val socket = ss.accept()
println("connect to host:" + socket.getInetAddress)
while(true){
val out = new PrintWriter(socket.getOutputStream)
out.println(words(ra.nextInt(n)) + " " + words(ra.nextInt(n)))
out.flush()
Thread.sleep(100)
3、编写spark streamming 处理程序。
object SocketDS {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("SocketDS").setMaster("local[2]")
val ssc = new StreamingContext(conf,Seconds(10))
ssc.sparkContext.setLogLevel("warn")
val hostname = "master"
val port = 22222
val lines = ssc.socketTextStream(hostname ,port)
val words = lines.flatMap(_.split("\\s+"))
words.transform(wRDD=>{
val wordCount = wRDD.map((_,1)).reduceByKey(_+_).sortBy(_._2,false)
wordCount
}).print()
ssc.start()
ssc.awaitTermination()
}
4、nc端 输入socket内容 进行监控
hello spark
hello hadoop
hello socket
hello java
hello scala
5、先开启spark Streamming处理程序,再开启nc或者ncsocket,运行结果如下。
nc -lk 22222给master 22222发送数据,
通过自己编写的nc socket程序,随机组合给master 22222发送行数据。
spark streamming 程序接收并处理后的结果。
Spark Streamming 基本输入流(二) :Socket的更多相关文章
- Spark Streamming 基本输入流I(-) :File/Hdfs
Spark Streamming 基本输入流I(-):从文件中进行读取 文件读取1:本地文件读取 这里我只给出实现代码及操作步骤 1.在本地目录下创建目录,这里我们创建目录为~/log/ 2.然后手动 ...
- Spark面试题(二)
首发于我的个人博客:Spark面试题(二) 1.Spark有哪两种算子? Transformation(转化)算子和Action(执行)算子. 2.Spark有哪些聚合类的算子,我们应该尽量避免什么类 ...
- linux内核中的文件描述符(二)--socket和文件描述符
http://blog.csdn.net/ce123_zhouwei/article/details/8459730 Linux内核中的文件描述符(二)--socket和文件描述符 Kernel ve ...
- 二. Socket用法
C/S通信架构中,客户端要主动与服务端建立连接,这个链接就是Socket套接字.服务端收到连接请求后,也会开启Socket记录与客户端的链接.C/S两端都要建路Socket才能正常收发数据. 一.构造 ...
- Spark读写Hbase的二种方式对比
作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 一.传统方式 这种方式就是常用的TableInputFormat和TableOutputForm ...
- Spark SQL概念学习系列之为什么使用 Spark SQL?(二)
简单地说,Shark 的下一代技术 是Spark SQL. 由于 Shark 底层依赖于 Hive,这个架构的优势是对传统 Hive 用户可以将 Shark 无缝集成进现有系统运行查询负载. 但是也看 ...
- 【Spark篇】---Spark中transformations算子二
一.前述 今天继续整理几个Transformation算子如下: mapPartitionWithIndex repartition coalesce groupByKey zip zipWithIn ...
- spark streaming 整合kafka(二)
转载:https://www.iteblog.com/archives/1326.html 和基于Receiver接收数据不一样,这种方式定期地从Kafka的topic+partition中查询最新的 ...
- Spark 系列(十二)—— Spark SQL JOIN 操作
一. 数据准备 本文主要介绍 Spark SQL 的多表连接,需要预先准备测试数据.分别创建员工和部门的 Datafame,并注册为临时视图,代码如下: val spark = SparkSessio ...
随机推荐
- angular 之 jquery-autocomplete
自动完成还是原来的 bassistance.de 好用,详细用法参考官网. angular的js paths配置及依赖关系不多说: 'jquery': 'static/jquery-1.11.3/jq ...
- [转]Newtonsoft JSON how to dynamically change the date format?
本文转自:http://www.howtobuildsoftware.com/index.php/how-do/cg8K/jsonnet-newtonsoft-json-how-to-dynamica ...
- Fastreport史无前例5折,仅十天快抢!
慧都十年第一弹,与全球顶级报表控件厂商Fastreport携手同欢:仅仅十天,仅仅提供给慧都控件网,Fastreport旗下全部产品,全部5折!立即订购>> 慧都作为中国第一家与其建立合作 ...
- golang学习之win7下go环境搭建
以下均采用windows64环境,首先是go的下载,go有msi安装安装和zip解压安装两种安装方式,使用msi安装后go环境会自动配置,zip解压后需手动配置各种环境变量. 首先是下载,网上一搜一大 ...
- 樹莓派3B運行.Net Core2.1 Web 項目
安裝.Net Core 運行時和SDK(非必選) 下載地址 安裝 # 安裝運行時 sudo apt-get -y update # Install the packages necessary for ...
- [shell]管理 Sphinx 启动|停止|重新生成索引的脚本
对于启动sphinx的服务,可以直接输入如下命令 /usr/bin/searchd -c /etc/sphinx/sphinx.conf <!-- /usr/local/bin/searchd ...
- Oracle 数据库字典 sys.col$ 表中关于type#的解释
sys.col$ 表是oracle基础数据字典表中的列表,表中描述了数据库中各列信息,其中type#是列的数据类型.以下表格说明了各个数值的含义,以供参考. 值 说明 1 如果列 charsetfor ...
- [国家集训队2012]middle(陈立杰)
我是萌萌的传送门 我是另一个萌萌的传送门 脑残错误毁一下午…… 其实题解早就烂大街了,然而很久之前我只知道是二分答案+主席树却想不出来这俩玩意儿怎么一块儿用的……今天又翻了几篇题解才恍然大悟,是把权值 ...
- numpy用法介绍-未完待续
简介 NumPy(Numerical Python简称) 是高性能科学计算和数据分析的基础包 为什么使用? 标准安装的Python中用列表(list)保存一组值,可以用来当作数组使用,不过由于列表的元 ...
- 28_Future模式1
[Future模式] Future模式类似商品订单.比如在网购时,当看中一件商品时,就可以提交订单,当订单处理完成后,在家里等待商品送货上门即可.或者类似我们发送Ajax请求的时候,页面是异步的进行后 ...