spark streaming 打包将全部依赖打进去，运行jar包报错：如下

Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes
PS D:\workspace\ideaProject\java\wordcount\out\artifacts\wordcount_jar> spark-submit .\wordcount.jar localhost:9092 test

2019-08-23 15:37:18 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes

        at sun.security.util.SignatureFileVerifier.processImpl(SignatureFileVerifier.java:284)

        at sun.security.util.SignatureFileVerifier.process(SignatureFileVerifier.java:238)

        at java.util.jar.JarVerifier.processEntry(JarVerifier.java:316)

        at java.util.jar.JarVerifier.update(JarVerifier.java:228)

        at java.util.jar.JarFile.initializeVerifier(JarFile.java:383)

        at java.util.jar.JarFile.getInputStream(JarFile.java:450)

        at sun.misc.JarIndex.getJarIndex(JarIndex.java:137)

        at sun.misc.URLClassPath$JarLoader$1.run(URLClassPath.java:839)

        at sun.misc.URLClassPath$JarLoader$1.run(URLClassPath.java:831)

        at java.security.AccessController.doPrivileged(Native Method)

        at sun.misc.URLClassPath$JarLoader.ensureOpen(URLClassPath.java:830)

        at sun.misc.URLClassPath$JarLoader.<init>(URLClassPath.java:803)

        at sun.misc.URLClassPath$3.run(URLClassPath.java:530)

        at sun.misc.URLClassPath$3.run(URLClassPath.java:520)

        at java.security.AccessController.doPrivileged(Native Method)

        at sun.misc.URLClassPath.getLoader(URLClassPath.java:519)

        at sun.misc.URLClassPath.getLoader(URLClassPath.java:492)

        at sun.misc.URLClassPath.getNextLoader(URLClassPath.java:457)

        at sun.misc.URLClassPath.getResource(URLClassPath.java:211)

        at java.net.URLClassLoader$1.run(URLClassLoader.java:365)

        at java.net.URLClassLoader$1.run(URLClassLoader.java:362)

        at java.security.AccessController.doPrivileged(Native Method)

        at java.net.URLClassLoader.findClass(URLClassLoader.java:361)

        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)

        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

        at java.lang.Class.forName0(Native Method)

        at java.lang.Class.forName(Class.java:348)

        at org.apache.spark.util.Utils$.classForName(Utils.scala:239)

        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:851)

        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:198)

        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:228)

        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:137)

        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

　解决方式：只将有需要的包打进去，因为spark的lib下已经有很多jar包，不需要我们重复打进jar包，只需要把lib没有的jar包打进去运行就好。因为包的重复引用会导致生成多个MF文件

Error- spark streaming 打包将全部依赖打进去Invalid signature file digest for Manifest main attributes的更多相关文章

  1. gradle 打包所有依赖 Invalid signature file digest for Manifest main attributes(转)

    1.打包所有依赖: // 指定main函数的类 jar { manifest { attributes "Main-Class": "com.baeldung.fatja ...

  2. 封装jar问题java.lang.SecurityException: Invalid signature file digest for Manifest main attributes以及maven依赖重提解决

    1.jar包封装完成后,其他项目引用jar,启动时报错java.lang.SecurityException: Invalid signature file digest for Manifest m ...

  3. spark提交任务报错： java.lang.SecurityException: Invalid signature file digest for Manifest main attributes

    spark提交任务报错: java.lang.SecurityException: Invalid signature file digest for Manifest main attributes ...

  4. Intellij打包jar文件，“java.lang.SecurityException: Invalid signature file digest for Manifest main attrib

    下面是使用Intellij 打包jar文件的步骤,之后会有运行jar文件时遇到的错误. 打包完成. ================================================== ...

  5. Error- Overloaded method value createDirectStream in error Spark Streaming打包报错

    直接上代码 StreamingExamples.setStreamingLogLevels() val Array(brokers, topics) = args // Create context ...

  6. maven项目依赖其他jar包的时候，idea运行没问题，java -jar 报错：java.lang.SecurityException: Invalid signature file digest

    当项目依赖其他jar包的时候,打出的jar包执行出错,抛出这个异常. 原因:因为依赖jar包中的META-INF中有多余的.SF文件与当前jar包冲突, 解决方案 一 在打包前删除依赖jar包的.SF ...

  7. Kafka：ZK+Kafka+Spark Streaming集群环境搭建（十三）kafka+spark streaming打包好的程序提交时提示虚拟内存不足（Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical memory used; 2.2 GB of 2.1 G）

    异常问题:Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical mem ...

  8. demo2 Kafka+Spark Streaming+Redis实时计算整合实践 foreachRDD输出到redis

    基于Spark通用计算平台,可以很好地扩展各种计算类型的应用,尤其是Spark提供了内建的计算库支持,像Spark Streaming.Spark SQL.MLlib.GraphX,这些内建库都提供了 ...

  9. 通过Spark Streaming的foreachRDD把处理后的数据写入外部存储系统中

    转载自:http://blog.csdn.net/erfucun/article/details/52312682 本博文主要内容包括: 技术实现foreachRDD与foreachPartition ...

随机推荐

  1. Flask中的中间件

    flask也有和Django类似的中间件,不同的是使用三个装饰器来实现的. .berore_request在请求进入视图之前 @app.before_request def be1 bef be2 b ...

  2. 2017ICPC沈阳网络赛 HDU 6205 -- card card card(最大子段和)

    card card card Time Limit: 8000/4000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others)To ...

  3. Cluster基础(五)：配置tracker、配置storage、文件测试及web访问

    一.配置tracker 目标: FastDFS是一个分布式文件系统,主要的服务器角色有Tracker和Storage.本例安装一台Tracker,实现以下功能: 接受客户端的访问 检索存储节点,为客户 ...

  4. python中的方法使用

    #Python其实有3个方法,即静态方法(staticmethod),类方法(classmethod)和实例方法,如下: class Foo: def bar(self): # cls 是当前对象的实 ...

  5. pandas 之dataFrame 数据显示不完全的解决方案

    对于这种省略部分,可以使用set_option进行设置,就可以看到了. # 显示所有行(参数设置为None代表显示所有行,也可以自行设置数字) pd.set_option('display.max_c ...

  6. 126B Password[扩展kmp学习]

    题目大意 给你一个字符串,求它的一个子串使得这个子串即使前缀又是后缀又出现在不是前缀且不是后缀的地方 分析 扩展kmp就是定义z[i]表示i~n的子串与整个串的最长公共前缀的长度是z[i] 所以这个题 ...

  7. 杂项-SAP：SAP （服务访问点(Service Accessing point)）

    ylbtech-杂项-SAP:SAP (服务访问点(Service Accessing point)) 1.返回顶部 1. SAP,是Service Accessing point的缩写,意思是服务访 ...

  8. MySQL常用SQL（含复杂SQL查询）

    1.复杂SQL查询 1.1.单表查询 (1)选择指定的列 [例]查询全体学生的学号和姓名 select Sno as 学号,Sname as 姓名 from student; select Sno,S ...

  9. 16/7/11_PHP-PHP异常处理

    抛出一个异常 从PHP5开始,PHP支持异常处理,异常处理是面向对象一个重要特性,PHP代码中的异常通过throw抛出,异常抛出之后,后面的代码将不会再被执行. 既然抛出异常会中断程序执行,那么为什么 ...

  10. FCKEditor添加字体

    默认情况下,FCKEditor在进行文本编辑时,无法使用中文字体.自个摸索了下:打开 fckconfig.js 文件 找到第154行(应该是),会发现:FCKConfig.FontNames = 'A ...