.创建好Maven项目之后(记得添加Scala框架到该项目),修改pom.xml文件,添加如下内容: <properties> <spark.version></spark.version> <scala.version>2.11</scala.version> </properties> <dependencies> <dependency> <groupId>org.apache.spark&l…

sbt打包Scala写的Spark程序,打包正常,提交运行时提示找不到对应的类 详述 使用sbt对写的Spark程序打包,过程中没有问题 spark-submit提交jar包运行提示找不到对应的类 解决 编译环境没有变化,将代码拷贝到其他项目下打包可以运行,无解 偶然发现IDEA打开的sbt文件显示很多错误,查看详情发现存在错误:java-lang-ClassNotFoundException-org-jetbrain,遂谷歌之,找到了这个网页 ,说是IDEA的bug,打开use sbt she…

今天尝试了一下在IntelliJ IDEA里面写Scala代码,并且做到和Java代码相互调用,折腾了一下把过程记录下来. 首先需要给IntelliJ IDEA安装一下Scala的插件,在IDEA的启动界面点击 Configure -> Plugins,然后搜索Scala,点击 Install 即可,安装完插件以后,就可以创建Scala Project和Scala Class等. 安装Scala SDK:第一次用IDEA创建Scala Project的时候会提示你安装Scala SDK,它里面可…

我们在用selenium+python完成了项目的UI自动化后,一般用jekins持续集成工具来定期运行,python程序在pycharm中编辑运行成功,但在jenkins中运行失败的两个问题,整理如下: 1.问题一:在pycharm运行成功,但在终端运行python .py ,报错no model named    原因:工作路径的问题.当你在pycharm运行程序的时候,pycharm默认将你当前的文件夹作为了工作路径,那么你 import 你的模块也就顺理成章了,但是在终端的运行环境跟py…

一.首先配置ssh无秘钥登陆, 先使用这条命令:ssh-keygen,然后敲三下回车: 然后使用cd .ssh进入 .ssh这个隐藏文件夹: 再创建一个文件夹authorized_keys,使用命令touch authorized_keys: 然后使用cat id_rsa.pub > authorized_keys 即可: 最后使用 chmod 600 authorized_keys修改权限就完成了. 二.创建spark项目 idea创建spark项目的过程这里就略过了,具体可以看这里https…

使用Scala写一个测试代码: object Test { def main(args: Array[String]): Unit = { println("hello world") } } 就把这个Test视为类,项目组织结构如: 然后设置编译选项: 然后在项目文件夹下面可以找到编译好的Jar包: 复制到Spark指定的目录下(自己建的): 启动Spark,然后提交任务: spark-submit --class Test --master spark://localhost:70…

idea的pom.xml文件配置 <dependencies> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>${scala.version}</version> <scope>compile</scope> </dependency>…

说道这一块纠结了我两天时间,感觉真的很心累,Jenkins的安装就不多说了 这里我们最好直接安装到宿主机上,应该pull到的jenkins版本是2.6的,里面很多都不支持,我自己试了在容器中安装的情况,效果很不满意 这篇文章主要就是为了解决两个问题: 1.配置问题 2.容器发布运行问题 为了解决这两个问题也是费了我不少精力,首先shell编程你的会啊,做一个DevOps真心累,关于Jenkin拉去代码的问题这里不多说,主要针对上面2个问题说下我个人的观点 微服务架构都是有配置中心,为了解决第一个…

比如以下代码: import javax.swing.*; public class addJarPkg { public static void main(String[] args) { JFrame jFrame = new JFrame("打包"); jFrame.setSize(200, 100); jFrame.setVisible(true); } } 作用是弹出一个窗口,窗口名字叫“打包”,但是会出现乱码.如下图: 解决办法: 打开Intellij idea菜单File…

最近因为项目需要,做了几个外挂程序做数据传输,涉及到项目打包操作,在此记录一下打包步骤和其中出现的问题. 1.首先右键项目文件夹,点击export,弹出如下选择框,在其中输入jar搜索,并选择JAR flie点击next. 2.勾选要打包的文件夹,这里只要勾选需要编译的java文件就可以了,下面的JAR file为打包后的保存路径和jar名称,选择好后点击next. 3.如下图,点击next. 4.如下图,Main class为项目入口路径,点击后面的按钮可以选择项目入口路径,选择好后点击fin…