报错：

// :: ERROR Utils: Exception encountered

py4j.Py4JException: Cannot obtain a new communication channel

    at py4j.CallbackClient.sendCommand(CallbackClient.java:)

    at py4j.CallbackClient.sendCommand(CallbackClient.java:)

    at py4j.reflection.PythonProxyHandler.invoke(PythonProxyHandler.java:)

    at com.sun.proxy.$Proxy8.dumps(Unknown Source)

    at org.apache.spark.streaming.api.python.PythonTransformFunctionSerializer$.serialize(PythonDStream.scala:)

    at org.apache.spark.streaming.api.python.TransformFunction$$anonfun$writeObject$.apply$mcV$sp(PythonDStream.scala:)

    at org.apache.spark.streaming.api.python.TransformFunction$$anonfun$writeObject$.apply(PythonDStream.scala:)

    at org.apache.spark.streaming.api.python.TransformFunction$$anonfun$writeObject$.apply(PythonDStream.scala:)

    at org.apache.spark.util.Utils$.tryOrIOException(Utils.scala:)

    at org.apache.spark.streaming.api.python.TransformFunction.writeObject(PythonDStream.scala:)

    at sun.reflect.GeneratedMethodAccessor23.invoke(Unknown Source)

    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:)

    at java.lang.reflect.Method.invoke(Method.java:)

    at java.io.ObjectStreamClass.invokeWriteObject(ObjectStreamClass.java:)

    at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeArray(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:)

因为代码中设置了local directory：

 ssc.checkpoint("checkpoint")

需要设置成HDFS directory。

【参考】：http://45.55.83.242:4000/blog/2016/02/22/note-Some-Spark-issues-and-solutions/

spark-streaming问题集锦的更多相关文章

  1. Spark踩坑记——Spark Streaming+Kafka

    [TOC] 前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了spark strea ...

  2. Spark Streaming+Kafka

    Spark Streaming+Kafka 前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端, ...

  3. Storm介绍及与Spark Streaming对比

    Storm介绍 Storm是由Twitter开源的分布式.高容错的实时处理系统,它的出现令持续不断的流计算变得容易,弥补了Hadoop批处理所不能满足的实时要求.Storm常用于在实时分析.在线机器学 ...

  4. flume+kafka+spark streaming整合

    1.安装好flume2.安装好kafka3.安装好spark4.流程说明: 日志文件->flume->kafka->spark streaming flume输入:文件 flume输 ...

  5. spark streaming kafka example

    // scalastyle:off println package org.apache.spark.examples.streaming import kafka.serializer.String ...

  6. Spark Streaming中动态Batch Size实现初探

    本期内容 : BatchDuration与 Process Time 动态Batch Size Spark Streaming中有很多算子,是否每一个算子都是预期中的类似线性规律的时间消耗呢? 例如: ...

  7. Spark Streaming源码解读之No Receivers彻底思考

    本期内容 : Direct Acess Kafka Spark Streaming接收数据现在支持的两种方式: 01. Receiver的方式来接收数据,及输入数据的控制 02. No Receive ...

  8. Spark Streaming架构设计和运行机制总结

    本期内容 : Spark Streaming中的架构设计和运行机制 Spark Streaming深度思考 Spark Streaming的本质就是在RDD基础之上加上Time ,由Time不断的运行 ...

  9. Spark Streaming中空RDD处理及流处理程序优雅的停止

    本期内容 : Spark Streaming中的空RDD处理 Spark Streaming程序的停止 由于Spark Streaming的每个BatchDuration都会不断的产生RDD,空RDD ...

  10. Spark Streaming源码解读之State管理之UpdataStateByKey和MapWithState解密

    本期内容 : UpdateStateByKey解密 MapWithState解密 Spark Streaming是实现State状态管理因素: 01. Spark Streaming是按照整个Bach ...

随机推荐

  1. rxvt-unicode配置

    我的urxvt配置文件如下 前缀可改为rxvt然后可以使用rxvt命令启动 -/.Xresources ! urxvt color set URxvt.multichar_encoding:utf-8 ...

  2. 【环境配置】配置ndk

    1. 背景 Android平台从诞生起,就已经支持C.C++开发. 众所周知,Android的SDK基于Java实现.这意味着基于Android SDK进行开发的第三方应用都必须使用Java语言.但这 ...

  3. Python Socket编程初探

    python 编写server的步骤: 1. 第一步是创建socket对象.调用socket构造函数.如: socket = socket.socket( family, type ) family参 ...

  4. C#中的Invoke和BeginInvoke

    一.Control#Invoke() 和Control#BeginInvoke() 在非UI线程中调用MessageBox.Show()结果是非模态对话框: 在UI线程中调用MessageBox.Sh ...

  5. iOS - App 上架审核被原因拒总结

    1.未遵守苹果 iOS APP 数据储存指导方针 如果你的 App 有离线数据下载功能,尤其需要关注这一点.因为离线数据一般占用存储空间比较大,可以被重新下载和重建,但是用户往往希望系统存储空间紧时也 ...

  6. windows平台安装redis服务

    有时候我们需要在windows平台上使用redis作为缓存服务,这个时候就需要将redis安装为window服务. 现在将我安装过程记录下来,方便自己或者有类似需求的同学参考.主要是参考网上现有的例子 ...

  7. Android 下拉菜单 Spinner 赋值

    private Spinner m_spiModel = null; //产品型号 m_spiModel = (Spinner) findViewById(R.id.spiModel);//产品型号 ...

  8. 匿名管道和pipe函数

    一.进程间通信 每个进程各自有不同的用户地址空间,任何一个进程的全局变量在另一个进程中都看不到,所以进程之间要交换数据必须通过内核,在内核中开辟一块缓冲区,进程1把数据从用户空间拷到内核缓冲区,进程2 ...

  9. Go 语言官方包函数中文翻译

    Go官方包函数中文翻译 *** import "strings" func Join(a []string, sep string) string Join concatenate ...

  10. log4j 输出到 数据库

    # LOG4J配置 log4j.rootCategory=ERROR,stdout,errorfile,jdbc # 控制台输出 log4j.appender.stdout=org.apache.lo ...