Spark Streamming 可以通过socket 进行数据监听。

  socket的输入方可以通过nc 或者自己开发nc功能的程序。

  1、系统自带的nc

    su root

    a

    yum install -y nc 安装nc

    nc -lk 22222  就代表nc对22222端口进行监听。

    

  2、自己编写nc程序

    下面程序是不停给master 22222 端口写入行数据。

    val words = "hello spark storm hive java hadoop hbase hello money scala python".split(" ")
    val n = words.size
    val ra = new Random()
    val hostname = "master"
    val port = 22222

    val ss = new ServerSocket(port)
    val socket = ss.accept()
    println("connect to host:" + socket.getInetAddress)
    while(true){
    val out = new PrintWriter(socket.getOutputStream)
    out.println(words(ra.nextInt(n)) + " " + words(ra.nextInt(n)))
    out.flush()
    Thread.sleep(100)

  3、编写spark streamming 处理程序。

    

  object SocketDS {
    def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("SocketDS").setMaster("local[2]")
    val ssc = new StreamingContext(conf,Seconds(10))
    ssc.sparkContext.setLogLevel("warn")

    val hostname = "master"
    val port = 22222
    val lines = ssc.socketTextStream(hostname ,port)
    val words = lines.flatMap(_.split("\\s+"))
    words.transform(wRDD=>{
  val wordCount = wRDD.map((_,1)).reduceByKey(_+_).sortBy(_._2,false)
  wordCount
  }).print()

  ssc.start()
  ssc.awaitTermination()
  }

  4、nc端 输入socket内容 进行监控

    hello   spark

    hello   hadoop

    hello  socket

    hello  java

    hello   scala

  5、先开启spark Streamming处理程序,再开启nc或者ncsocket,运行结果如下。

    nc -lk 22222给master 22222发送数据,

    

    通过自己编写的nc socket程序,随机组合给master 22222发送行数据。

    

    spark streamming 程序接收并处理后的结果。

    

    

Spark Streamming 基本输入流(二) :Socket的更多相关文章

  1. Spark Streamming 基本输入流I(-) :File/Hdfs

    Spark Streamming 基本输入流I(-):从文件中进行读取 文件读取1:本地文件读取 这里我只给出实现代码及操作步骤 1.在本地目录下创建目录,这里我们创建目录为~/log/ 2.然后手动 ...

  2. Spark面试题(二)

    首发于我的个人博客:Spark面试题(二) 1.Spark有哪两种算子? Transformation(转化)算子和Action(执行)算子. 2.Spark有哪些聚合类的算子,我们应该尽量避免什么类 ...

  3. linux内核中的文件描述符(二)--socket和文件描述符

    http://blog.csdn.net/ce123_zhouwei/article/details/8459730 Linux内核中的文件描述符(二)--socket和文件描述符 Kernel ve ...

  4. 二. Socket用法

    C/S通信架构中,客户端要主动与服务端建立连接,这个链接就是Socket套接字.服务端收到连接请求后,也会开启Socket记录与客户端的链接.C/S两端都要建路Socket才能正常收发数据. 一.构造 ...

  5. Spark读写Hbase的二种方式对比

    作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 一.传统方式 这种方式就是常用的TableInputFormat和TableOutputForm ...

  6. Spark SQL概念学习系列之为什么使用 Spark SQL?(二)

    简单地说,Shark 的下一代技术 是Spark SQL. 由于 Shark 底层依赖于 Hive,这个架构的优势是对传统 Hive 用户可以将 Shark 无缝集成进现有系统运行查询负载. 但是也看 ...

  7. 【Spark篇】---Spark中transformations算子二

    一.前述 今天继续整理几个Transformation算子如下: mapPartitionWithIndex repartition coalesce groupByKey zip zipWithIn ...

  8. spark streaming 整合kafka(二)

    转载:https://www.iteblog.com/archives/1326.html 和基于Receiver接收数据不一样,这种方式定期地从Kafka的topic+partition中查询最新的 ...

  9. Spark 系列(十二)—— Spark SQL JOIN 操作

    一. 数据准备 本文主要介绍 Spark SQL 的多表连接,需要预先准备测试数据.分别创建员工和部门的 Datafame,并注册为临时视图,代码如下: val spark = SparkSessio ...

随机推荐

  1. [转]VS清除打开项目时的TFS版本控制提示

    本文转自:http://www.cnblogs.com/weixing/p/5219294.html 对于曾经做过TFS版本控制的项目,在版本控制服务不可用的时候,依然会在每次打开项目的时候都提示:当 ...

  2. Node.js学习笔记(三) --- package.json 及cnpm

    一.包 Nodejs   中除了它自己提供的核心模块外,我们可以自定义模块,也可以使用第三方的模块.Nodejs 中第三方模块由包组成,可以通过包来对一组具有相互依赖关系的模块进行统一管理. 完全符合 ...

  3. Eclipse使用快捷键总结

    1.为方法添加注释:Alt + Shift + J

  4. Windows下RSA密钥生成工具openssl

    下载openssl.zip 1. 生成原始 RSA私钥文件 private_key.pem openssl genrsa -out private_key.pem 1024 2. 将原始 RSA私钥转 ...

  5. ExceptionHelper异常工具类

    using System;using System.Collections.Generic;using System.Text; namespace JiaWel.Utilities{ public ...

  6. Spring Data JPA 缓存结合Ehcache介绍

    一级缓存: 会话session.事务级别的,事务退出,缓存就失效了. 实体管理器在事务执行期间持有一份数据的拷贝,而非直接操作数据源. 二级缓存: 进程范围级或集群范围的缓存,这个级别的缓存可配置和修 ...

  7. thinkphp下判断状态值语法

    在thinkphp框架下我们经常会用到状态值的判断:但是这样写会引起语法错误. <div> <if condition="{$res.status} eq '0'" ...

  8. IIS 网站发布——遇到的问题,以及解决方案

    在 解决方案——Web 右键  发布  如图:   之后,在其他文件夹或盘  放入发布之后 生成的文件 如图所示,之所以这样是为了好整理查找发布的项目.   之后,在IIS 上发布出去     首先 ...

  9. 记录开发Nodejs c++ addon的一些经验(三、关于node-gyp)

    关于node-gyp如何进行编译,我想它的官网已经说的很详细了: https://github.com/nodejs/node-gyp 但是我感觉关于binding.gyp文件的语法规则还是说的不明确 ...

  10. [算法练习]Two Sum

    题目说明: Given an array of integers, return indices of the two numbers such that they add up to a speci ...