报错：

// :: ERROR Utils: Exception encountered

py4j.Py4JException: Cannot obtain a new communication channel

    at py4j.CallbackClient.sendCommand(CallbackClient.java:)

    at py4j.CallbackClient.sendCommand(CallbackClient.java:)

    at py4j.reflection.PythonProxyHandler.invoke(PythonProxyHandler.java:)

    at com.sun.proxy.$Proxy8.dumps(Unknown Source)

    at org.apache.spark.streaming.api.python.PythonTransformFunctionSerializer$.serialize(PythonDStream.scala:)

    at org.apache.spark.streaming.api.python.TransformFunction$$anonfun$writeObject$.apply$mcV$sp(PythonDStream.scala:)

    at org.apache.spark.streaming.api.python.TransformFunction$$anonfun$writeObject$.apply(PythonDStream.scala:)

    at org.apache.spark.streaming.api.python.TransformFunction$$anonfun$writeObject$.apply(PythonDStream.scala:)

    at org.apache.spark.util.Utils$.tryOrIOException(Utils.scala:)

    at org.apache.spark.streaming.api.python.TransformFunction.writeObject(PythonDStream.scala:)

    at sun.reflect.GeneratedMethodAccessor23.invoke(Unknown Source)

    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:)

    at java.lang.reflect.Method.invoke(Method.java:)

    at java.io.ObjectStreamClass.invokeWriteObject(ObjectStreamClass.java:)

    at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeArray(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:)

    at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:)

因为代码中设置了local directory：

 ssc.checkpoint("checkpoint")

需要设置成HDFS directory。

【参考】：http://45.55.83.242:4000/blog/2016/02/22/note-Some-Spark-issues-and-solutions/

spark-streaming问题集锦的更多相关文章

  1. Spark踩坑记——Spark Streaming+Kafka

    [TOC] 前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了spark strea ...

  2. Spark Streaming+Kafka

    Spark Streaming+Kafka 前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端, ...

  3. Storm介绍及与Spark Streaming对比

    Storm介绍 Storm是由Twitter开源的分布式.高容错的实时处理系统,它的出现令持续不断的流计算变得容易,弥补了Hadoop批处理所不能满足的实时要求.Storm常用于在实时分析.在线机器学 ...

  4. flume+kafka+spark streaming整合

    1.安装好flume2.安装好kafka3.安装好spark4.流程说明: 日志文件->flume->kafka->spark streaming flume输入:文件 flume输 ...

  5. spark streaming kafka example

    // scalastyle:off println package org.apache.spark.examples.streaming import kafka.serializer.String ...

  6. Spark Streaming中动态Batch Size实现初探

    本期内容 : BatchDuration与 Process Time 动态Batch Size Spark Streaming中有很多算子,是否每一个算子都是预期中的类似线性规律的时间消耗呢? 例如: ...

  7. Spark Streaming源码解读之No Receivers彻底思考

    本期内容 : Direct Acess Kafka Spark Streaming接收数据现在支持的两种方式: 01. Receiver的方式来接收数据,及输入数据的控制 02. No Receive ...

  8. Spark Streaming架构设计和运行机制总结

    本期内容 : Spark Streaming中的架构设计和运行机制 Spark Streaming深度思考 Spark Streaming的本质就是在RDD基础之上加上Time ,由Time不断的运行 ...

  9. Spark Streaming中空RDD处理及流处理程序优雅的停止

    本期内容 : Spark Streaming中的空RDD处理 Spark Streaming程序的停止 由于Spark Streaming的每个BatchDuration都会不断的产生RDD,空RDD ...

  10. Spark Streaming源码解读之State管理之UpdataStateByKey和MapWithState解密

    本期内容 : UpdateStateByKey解密 MapWithState解密 Spark Streaming是实现State状态管理因素: 01. Spark Streaming是按照整个Bach ...

随机推荐

  1. 解决org/sonarsource/scanner/maven/SonarQubeMojo : Unsupported major.minor version 52.0

    ide jdk 版本换成对应的 如:sonarqube-6.3  --> jdk1.8

  2. java格式化百分比

    NumberFormat nf = NumberFormat.getPercentInstance(); System.out.println(nf.format(0.47)); 显示:47% Dec ...

  3. sqlserver ssms ctrl+e快捷键问题

    大部分的环境 win2008R2+sqlserver2014R2  ssms 中 ctrl+e都是可以执行查询的,某些情况下,ctrl+e是个组合键 ctrl+e已按下,正在等待按下第二个键 调整方法 ...

  4. Android反编工具的使用-Android Killer

    今天百度搜索"Android反编译"搜索出来的结果大多数都是比較传统的教程.刚接触反编译的时候,我也是从这些教程慢慢学起的.在后来的学习过程中,我接触到比較方便操作的Android ...

  5. venus之hello world

    Venus Service Framework提供服务器端开发SDK以及客户端SDK.它们之间采用Venus自定义的私有协议.encoder.decoder采用多种序列化方式,客户端根据自己的语言选择 ...

  6. CreateThread、_beginthreadex和AfxBeginThread .

    创建线程好几个函数可以使用,可是它们有什么区别,适用于什么情况呢?参考了一些资料,写得都挺好的,这里做一些摘抄和整合. [参考1]CreateThread, AfxBeginThread,_begin ...

  7. ZooKeeper做独立server执行(上)

    ZooKeeper做独立server执行(上) 作者:chszs.转载需注明.博客主页:http://blog.csdn.net/chszs 一.ZooKeeper安装及配置 版本号:ZooKeepe ...

  8. 我遇到了Hibernate异常

    真是郁闷,今天想用Hibernate的实现对数据库的增删查改,但是就是报异常不断啊!呵呵,为什么?就是在主键的问题上,我用主键的生成形式是:Sequence时就报IllegalArgumentExce ...

  9. 由select/epoll返回的非阻塞connect还会是EINPROGRESS状态吗？

    一般情况下,我们像下面代码中所示的这样使用非阻塞connect: #include <stdio.h> #include <stdlib.h> #include <str ...

  10. ubuntu 安装php-redis

    sudo apt-get install redis-server 测试redis是否安装成功:注意:要开启redisredis-cliset test helloOKget test"ba ...