近期一直在忙项目上的事情,今天对以前的工作做一个简单的小结.明天就是国庆节啦. 1  脚本可以手动执行,可是crontab缺总是找不到路径? #!/bin/bash. /etc/profile . /home/sms/.bash_profile 请在脚本中加入 本机的环境变量和用户的环境变量的配置 2 config.ini文件总是出现乱码,导致读入的数据莫名其妙? 更改config的编码为ANSI, UTF-8不一定是更好的选择. 3 logback.xml配置不起作用 可能是pom文件引入ja…

说明: 某天 ,把hadoop-env.sh的注释看了看 , 感觉受益匪浅,于是想要写一篇告诉大家,文档是最靠谱的,鉴于我的水平有限,只能翻译大概,切勿吐槽,提建议请留言 摘要: 1.这个文件中只有JAVA_HOME是必须要写的,其他的都是有默认值的PS 这个变量最好写地址, 而不要写${JAVA_HOME} # Set Hadoop-specific environment variables here. 在这个文件中设置hadoop特有的环境变量 # The only required en…

问题一:出现Attempting to operate on hdfs namenode as root 写在最前注意: 1.master,slave都需要修改start-dfs.sh,stop-dfs.sh,start-yarn.sh,stop-yarn.sh四个文件 2.如果你的Hadoop是另外启用其它用户来启动,记得将root改为对应用户 HDFS格式化后启动dfs出现以下错误: [root@master sbin]# ./start-dfs.sh Starting namenodes…

ssh: connect to host localhost port 22: Connection refused 我的情况是ssh server没装,查看方法: ps -e |grep ssh 1 1 如果没有sshd,说明还没有安装ssh server 解决方案: sudo apt-get install openssh-server 1 1 之后运行start-all.sh就成功了 执行jps结果: yufeng@yufeng-pc:~/hadoop/hadoop-1.2.1/bin$…

这个waring 信息是可以忽略的.下面是解决方案 在hadoop-env.sh中添加 export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib/native" export HADOOP_COMMON_LIB_NATIVE_DIR="/usr/local/hadoop/lib/native/"…

#!/bin/sh#docker exec -i t nginx /usr/share/app/nginx/vip/webapp/evn.sh testtestUrl='http:\/\/192.168.1.100:3000'trueUrl='https:\/\/vip.menusifu.com:23080'if [ "$1" = "test" ]then echo "$trueUrl" sed -i "s/$trueUrl/$test…

出现这个错误的原因是出错的语句后面多了“\r”这个字符,换言之,脚本文件格式的问题,我们只需要把格式改成unix即可: vi xx.sh :set ff :set ff=unix :wq!…

原文 错误:JAVA_HOME is not set and could not be found,可能是因为JAVA_HOME环境没配置正确,还有一种情况是即使各结点都正确地配置了JAVA_HOME,但在集群环境下还是报该错误,解决方法是显示地重新声明一遍JAVA_HOME 1.检查JAVA_HOME是否配置正确(伪分布式环境) 启动start-all.sh时报错,如下所示 解决方法: 输入java –version,查看jdk是否安装成功 输入export,查看jdk环境变量是否设置成功 2…

原因: HADOOP_PID_DIR 默认为 /tmp 目录,如果长期不访问/tmp/目录下的文件,文件会被自动清理,因此 stop-dfs.sh 无法根据 pid 停止 namenode, datanode. 解决办法: 使用ps命令查找正在运行的namenodes.datanodes和secondary namenodes的pid,然后在/tmp目录创建对应的pid文件,重新执行stop-dfs.sh脚本,一切正常!或者可以直接运行kill -9命令把对应的pid进程杀掉.下次重新启动hdf…

不是从第一章开始. 6.2.2 Map的困境 技巧 29 鉴别map阶段的数据差异问题 数据差异是非常常见的.在map阶段,数据差异主要以少量不可以分割的大文件或者大量小文件为代表. 问题 你想要确认一个job是否因为存在数据差异而导致其运行缓慢. 解决方案 使用JobTracker的UI来比较同一个job的map阶段的不同task的输入文件的大小. 讨论 数据差异表现为少数的task执行时花费的时间比其他的task多很多.如果你将延迟完成的task的输入文件大小和整个map的所有task的输入…