一.首先配置ssh无秘钥登陆, 先使用这条命令:ssh-keygen,然后敲三下回车: 然后使用cd .ssh进入 .ssh这个隐藏文件夹: 再创建一个文件夹authorized_keys,使用命令touch authorized_keys: 然后使用cat id_rsa.pub > authorized_keys 即可: 最后使用 chmod 600 authorized_keys修改权限就完成了. 二.创建spark项目 idea创建spark项目的过程这里就略过了,具体可以看这里https…

docker 运行jenkins及vue项目与springboot项目: 一.安装docker 二.docker运行jenkins为自动打包运行做准备 三.jenkins的使用及自动打包vue项目 四.docker运行nginx 五.jenkins打包springboot服务且在docker中运行 1.立即构建 输入任务名称:service_blog 选择maven项目(先要在插件管理中安装maven插件) 2.配置 源码管理 选择git(先要在插件管理中安装git插件) 输入git地址.秘钥及…

.创建好Maven项目之后(记得添加Scala框架到该项目),修改pom.xml文件,添加如下内容: <properties> <spark.version></spark.version> <scala.version>2.11</scala.version> </properties> <dependencies> <dependency> <groupId>org.apache.spark&l…

使用Scala写一个测试代码: object Test { def main(args: Array[String]): Unit = { println("hello world") } } 就把这个Test视为类,项目组织结构如: 然后设置编译选项: 然后在项目文件夹下面可以找到编译好的Jar包: 复制到Spark指定的目录下(自己建的): 启动Spark,然后提交任务: spark-submit --class Test --master spark://localhost:70…

URL url = TextRenderer.class.getResource(""); String protocol = url.getProtocol(); boolean runningInJar="jar".equals(protocol); runningInJar如果是true的话就是表征程序在jar中运行.--2020-03-25--…

经过测试,在设置文件夹目录时,可以找到当前目录下的htm文件,采用with open()语句可以正常执行程序,如下图. 而当未设置当前目录,直接用vscode执行该程序时,就会报错文件无法找到FileNotFoundError. 经过百度找到该帖,比较详细的解释了该问题https://www.jianshu.com/p/9cb390ffec29.…

一.C编译器MinGW的下载及安装步骤 打开MinGW官网:http://www.mingw.org/ 图一 图二 图三 图四 图五 图六 系统中配置环境变量: 图七 验证是否安装成功: CMD中运行C程序 二.notepad++中运行C程序 打开notepad++,点击运行,输入: cmd /k cd /d "$(CURRENT_DIRECTORY)" & g++ "$(FILE_NAME)" -o "$(NAME_PART)" &am…

sbt打包Scala写的Spark程序,打包正常,提交运行时提示找不到对应的类 详述 使用sbt对写的Spark程序打包,过程中没有问题 spark-submit提交jar包运行提示找不到对应的类 解决 编译环境没有变化,将代码拷贝到其他项目下打包可以运行,无解 偶然发现IDEA打开的sbt文件显示很多错误,查看详情发现存在错误:java-lang-ClassNotFoundException-org-jetbrain,遂谷歌之,找到了这个网页 ,说是IDEA的bug,打开use sbt she…

一.idea社区版安装scala插件 因为idea默认不支持scala开发环境,所以当需要使用idea搭建scala开发环境时,首先需要安装scala插件,具体安装办法如下. 1.打开idea,点击configure下拉菜单中的plugins选项: 2.在弹出对话框中点击红框按钮: 3.在弹出最新对话框的搜索栏输入scala,在筛选出的内容中选择红框部分,点击右侧install按钮开始下载插件: 本人在测试过程中通过install自动下载插件失败,最后选择手动下载scala插件,然后通过步骤2中…

通过IDEA搭建scala开发环境开发spark应用程序   一.idea社区版安装scala插件 因为idea默认不支持scala开发环境,所以当需要使用idea搭建scala开发环境时,首先需要安装scala插件,具体安装办法如下. 1.打开idea,点击configure下拉菜单中的plugins选项: 2.在弹出对话框中点击红框按钮: 3.在弹出最新对话框的搜索栏输入scala,在筛选出的内容中选择红框部分,点击右侧install按钮开始下载插件: 本人在测试过程中通过install自动…