Spark Streamming 基本输入流(二) :Socket
Spark Streamming 可以通过socket 进行数据监听。
socket的输入方可以通过nc 或者自己开发nc功能的程序。
1、系统自带的nc
su root
a
yum install -y nc 安装nc
nc -lk 22222 就代表nc对22222端口进行监听。
2、自己编写nc程序
下面程序是不停给master 22222 端口写入行数据。
val words = "hello spark storm hive java hadoop hbase hello money scala python".split(" ")
val n = words.size
val ra = new Random()
val hostname = "master"
val port = 22222
val ss = new ServerSocket(port)
val socket = ss.accept()
println("connect to host:" + socket.getInetAddress)
while(true){
val out = new PrintWriter(socket.getOutputStream)
out.println(words(ra.nextInt(n)) + " " + words(ra.nextInt(n)))
out.flush()
Thread.sleep(100)
3、编写spark streamming 处理程序。
object SocketDS {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("SocketDS").setMaster("local[2]")
val ssc = new StreamingContext(conf,Seconds(10))
ssc.sparkContext.setLogLevel("warn")
val hostname = "master"
val port = 22222
val lines = ssc.socketTextStream(hostname ,port)
val words = lines.flatMap(_.split("\\s+"))
words.transform(wRDD=>{
val wordCount = wRDD.map((_,1)).reduceByKey(_+_).sortBy(_._2,false)
wordCount
}).print()
ssc.start()
ssc.awaitTermination()
}
4、nc端 输入socket内容 进行监控
hello spark
hello hadoop
hello socket
hello java
hello scala
5、先开启spark Streamming处理程序,再开启nc或者ncsocket,运行结果如下。
nc -lk 22222给master 22222发送数据,
通过自己编写的nc socket程序,随机组合给master 22222发送行数据。
spark streamming 程序接收并处理后的结果。
Spark Streamming 基本输入流(二) :Socket的更多相关文章
- Spark Streamming 基本输入流I(-) :File/Hdfs
Spark Streamming 基本输入流I(-):从文件中进行读取 文件读取1:本地文件读取 这里我只给出实现代码及操作步骤 1.在本地目录下创建目录,这里我们创建目录为~/log/ 2.然后手动 ...
- Spark面试题(二)
首发于我的个人博客:Spark面试题(二) 1.Spark有哪两种算子? Transformation(转化)算子和Action(执行)算子. 2.Spark有哪些聚合类的算子,我们应该尽量避免什么类 ...
- linux内核中的文件描述符(二)--socket和文件描述符
http://blog.csdn.net/ce123_zhouwei/article/details/8459730 Linux内核中的文件描述符(二)--socket和文件描述符 Kernel ve ...
- 二. Socket用法
C/S通信架构中,客户端要主动与服务端建立连接,这个链接就是Socket套接字.服务端收到连接请求后,也会开启Socket记录与客户端的链接.C/S两端都要建路Socket才能正常收发数据. 一.构造 ...
- Spark读写Hbase的二种方式对比
作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 一.传统方式 这种方式就是常用的TableInputFormat和TableOutputForm ...
- Spark SQL概念学习系列之为什么使用 Spark SQL?(二)
简单地说,Shark 的下一代技术 是Spark SQL. 由于 Shark 底层依赖于 Hive,这个架构的优势是对传统 Hive 用户可以将 Shark 无缝集成进现有系统运行查询负载. 但是也看 ...
- 【Spark篇】---Spark中transformations算子二
一.前述 今天继续整理几个Transformation算子如下: mapPartitionWithIndex repartition coalesce groupByKey zip zipWithIn ...
- spark streaming 整合kafka(二)
转载:https://www.iteblog.com/archives/1326.html 和基于Receiver接收数据不一样,这种方式定期地从Kafka的topic+partition中查询最新的 ...
- Spark 系列(十二)—— Spark SQL JOIN 操作
一. 数据准备 本文主要介绍 Spark SQL 的多表连接,需要预先准备测试数据.分别创建员工和部门的 Datafame,并注册为临时视图,代码如下: val spark = SparkSessio ...
随机推荐
- [转]VS清除打开项目时的TFS版本控制提示
本文转自:http://www.cnblogs.com/weixing/p/5219294.html 对于曾经做过TFS版本控制的项目,在版本控制服务不可用的时候,依然会在每次打开项目的时候都提示:当 ...
- Node.js学习笔记(三) --- package.json 及cnpm
一.包 Nodejs 中除了它自己提供的核心模块外,我们可以自定义模块,也可以使用第三方的模块.Nodejs 中第三方模块由包组成,可以通过包来对一组具有相互依赖关系的模块进行统一管理. 完全符合 ...
- Eclipse使用快捷键总结
1.为方法添加注释:Alt + Shift + J
- Windows下RSA密钥生成工具openssl
下载openssl.zip 1. 生成原始 RSA私钥文件 private_key.pem openssl genrsa -out private_key.pem 1024 2. 将原始 RSA私钥转 ...
- ExceptionHelper异常工具类
using System;using System.Collections.Generic;using System.Text; namespace JiaWel.Utilities{ public ...
- Spring Data JPA 缓存结合Ehcache介绍
一级缓存: 会话session.事务级别的,事务退出,缓存就失效了. 实体管理器在事务执行期间持有一份数据的拷贝,而非直接操作数据源. 二级缓存: 进程范围级或集群范围的缓存,这个级别的缓存可配置和修 ...
- thinkphp下判断状态值语法
在thinkphp框架下我们经常会用到状态值的判断:但是这样写会引起语法错误. <div> <if condition="{$res.status} eq '0'" ...
- IIS 网站发布——遇到的问题,以及解决方案
在 解决方案——Web 右键 发布 如图: 之后,在其他文件夹或盘 放入发布之后 生成的文件 如图所示,之所以这样是为了好整理查找发布的项目. 之后,在IIS 上发布出去 首先 ...
- 记录开发Nodejs c++ addon的一些经验(三、关于node-gyp)
关于node-gyp如何进行编译,我想它的官网已经说的很详细了: https://github.com/nodejs/node-gyp 但是我感觉关于binding.gyp文件的语法规则还是说的不明确 ...
- [算法练习]Two Sum
题目说明: Given an array of integers, return indices of the two numbers such that they add up to a speci ...