1. Java版本不一致,导致启动报错. # 解决方法: 在启动脚本最前边添加系统参数,指定Java版本 export JAVA_HOME=/usr/java/jdk1..0_181-amd64/jre 2. Spark1和Spark2并存,启动时报错. # 在SPARK_HOME中指定启动的spark版本 export SPARK_HOME=/data01/opt/cloudera/parcels/SPARK2-.cloudera3-.cdh5./lib/spark2 3.缺少Hadoop依赖…

IDEA中写MyBatis的xml配置文件编译报错的坑 说明:用IDEA编译工具在项目中使用Mybatis框架,编写mybatis-config.xml和Mapper.xml配置文件时,编译项目出现错误,错误提示为: xml中1字节的UTF-8序列的字节1无效 The cause of this is a file that is not UTF-8 is being parsed as UTF-8. It is likely that the parser is encountering a…

spark提交任务报错: java.lang.SecurityException: Invalid signature file digest for Manifest main attributes 对jar包执行:zip -d ztoTest1.jar META-INF/*.RSA META-INF/*.DSA META-INF/*.SF 然后提交: ./spark-submit --master yarn-client --class hbasetest.sparkHbase --num-…

Spark程序编译报错: [INFO] Compiling 2 source files to E:\Develop\IDEAWorkspace\spark\target\classes at 1567004370534[ERROR] E:\Develop\IDEAWorkspace\spark\src\main\scala\cn\itcast\wordCount\WordCount.scala:3: error: object apache is not a member of package…

spark用的是cdh spark-2.0.1 package main.scala import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} /* Created by tomtang on 2016/12/16. */ object tomhelloworld { def FILE_NAME:String = "word_count_results_" def main(arg…

spark 2.1.1 一 问题重现 问题代码示例 object MethodPositionTest { val sparkConf = new SparkConf().setAppName("MethodPositionTest") val sc = new SparkContext(sparkConf) val spark = SparkSession.builder().enableHiveSupport().getOrCreate() def main(args : Arra…

需求 将HDFS上的数据解析出来,然后通过hfile方式批量写入Hbase(需要多列写入) 写入数据的关键api: rdd.saveAsNewAPIHadoopFile( stagingFolder, classOf[ImmutableBytesWritable], classOf[KeyValue], classOf[HFileOutputFormat2], job.getConfiguration) 特殊地方: 1): 最初写hfile警告⚠️: Does it contain files…

标题最近在开发中需要用到web端开发工具.需要用python工具.偶然发现微软的良心之作:Visual Studio Code,这个大小才几十兆的轻量级代码编辑器,功能却是重量级的,通过插件的方法,,支持几乎所有主流的开发语言的语法高亮.智能代码补全.自定义热键.括号匹配.代码片段.代码对比 Diff.GIT 等特性,支持插件扩展,并针对网页开发和云端应用开发做了优化.软件跨平台支持 Win.Mac 以及 Linux. [最佳填坑方案出炉,点击查看] 有了Visual Studio Code(以…

0X01 问题 MySQL-python是python调用MySQL的常用库 通常安装时会遇到某些坑. EnvironmentError: mysql_config not found yum -y install mysql-devel gcc报错 yum install gcc libffi-devel python-devel openssl-devel 一般这样就OK了(装了六七个机器,这样就行了) 但是,在用公司的机器装的时候,装完mysql-devel与gcc系列之后,报错 my_c…

直接上代码 StreamingExamples.setStreamingLogLevels() val Array(brokers, topics) = args // Create context with 2 second batch interval // 创建conf,spark streaming至少要启动两个线程,一个负责接受数据,一个负责处理数据 val conf = new SparkConf().setMaster("local[4]").setAppName(&qu…