错误描述: 020-03-24 22:45:23,204 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exit code from container container_1585061045134_0001_01_000001 is : 1 2020-03-24 22:45:23,205 WARN org.apache.hadoop.yarn.server.nodemanager.Defaul…

flink idea 打包jar 并放到集群上运行 在开始之前注意前提,当前项目的scala的版本要和集群上的scala一致   我已经创建好一个wordCount的flink项目   注意项目的pom文件给这些依赖加上<scope>provided</scope>(表示执行和打包都不用此依赖,只有编译时用)不进行这些依赖的打包,因为这些依赖集群的环境都有了,不排除的话,会导致jar包很大,同时还容易很集群的依赖冲突   方法一 在pom文件里加入插件配置 <build>…

1.redis集群创建时报错:Sorry, can't connect to node ip,端口等都配置正确的话,还需要将redis.conf文件中的密码注释掉    # requirepass 123456 2.redis集群创建时报错:in `call': ERR Slot 15495 is already busy (Redis::CommandError) 将redis.conf中定义的 cluster-config-file 所在的文件删除,重启每个节点. 3.cluster for…

之前将eclipse下编好的mapreduce代码放到集群上面跑,发现速度很慢,namenode节点的cpu和内存使用率很低,datanode节点基本上处于没有运行的状态,然后通过查看hadoop-etc-hadoop下面的配置文件,发现mapreduce-site.xml文件下面的mapreduce.framework.name名字中framework少了一个字母e,导致集群一直运行在伪分布模式下面,同时也导致web控制网页没有datanode的信息,打开master:8088网站显示no a…

去本地仓库对应jar的目录下看下,有一个 _remote.repositories 的文件打开 ***.pom>xxx=***.jar>xxx= 这个 xxx 就是你maven的setting.xml里配的mirror的id,如果这个xxx和你目前使用的setting文件里的mirror不一样,那maven install时会不认它.很简单在这个文件后面追加两行***.pom>yyy=***.jar>yyy=这个yyy就是你当前setting里的mirror的id,告诉maven,…

mvn install:install-file -Dfile=C:\Users\Administrator\Desktop\taobao-sdk-java-1455552377940-20160607.jar -DgroupId=com.taobao -DartifactId=taobao-sdk-java -Dversion=1455552377940-20160607 -Dpackaging=jar…

https://www.codetd.com/article/664330 https://blog.csdn.net/dream_an/article/details/84342770 通过idea开发mapreduce程序并直接run,提交到远程hadoop集群执行mapreduce. 简要流程:本地开发mapreduce程序–>设置yarn 模式 --> 直接本地run–>远程集群执行mapreduce程序: 完整的流程:本地开发mapreduce程序——> 设置yarn模式…

IDEA 热部署: 1 :  POM中加入devtools的依赖,就可以实现热部署 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> <version>1.5.4.RELEASE</version> </dependency> 2: 每次改完Java代码,需…

对于官网没有的jar包,maven向本地仓库导入jar包用如下命令 mvn install:install-file -DgroupId=包名 -DartifactId=项目名 -Dversion=版本号 -Dpackaging=jar -Dfile=jar文件所在路径 以pinyin4j-2.5.0为例: 1.将pinyin4j-2.5.0.jar文件放在“D:\JAR”目录下(该目录任意) 2.执行命令: mvn install:install-file -Dfile=D:\JAR\piny…

将一个jar包放到linux下定时执行 1.在dbtodb文件夹下新建一个dbtodb.sh,脚本内容为: #!/bin/bash cd /usr/dbtodb/ java -jar dbtodb.jar 2.将dbtodb文件夹放到linux服务器上的usr/目录下 3.对dbtodb.sh赋权限,具体操作如下: [root@bidev /]# cd /usr/dbtodb [root@bidev dbtodb]# chmod 777 dbtodb.sh 4.由于Windows于linux编码…