如何向hadoop集群定时提交一个jar作业？

除了使用Hive，Pig来执行一个MapReduce任务，不需要专门的把项目打成jar包，提交执行，或者定时执行，因为Hive，Pig这些开源框架已经，帮我们自动打包上传了。

而有些时候，我们自己手写了一个MapReduce的任务，然后这个任务里面依赖了其他的第三方包，比如说是Lucene的，或者是Solr，ElasticSearch的，那么打包的时候就需要将这些依赖的jar包也一起的打包进去。

如果你用的是maven，那么事情就简单了，maven会自动把所有依赖的jar包，打成一个统一的jar，但是通常不需要maven，因为maven相对来说，还是比较复杂，我们更倾向于使用ant来打包，配置很灵活。

那么，如何向hadooop集群提交作业呢？ 
通常的命令如下： 
hadoop jar  xxx.jar input out 
这样就会把jar包提交到hadoop集群上，只要包含依赖的jar也在这个jar包中，那么程序就不会出问题。

那么，问题来了？ 我想定时执行一个作业，应该怎么写呢

如果直接在linux下的crontab中，写定时启动的脚本，没问题，但是如果你的脚本是启动一个mr的任务，那么就有可能出现问题了，因为执行MR，是需要Hadoop的环境变量的，在crontab启用的shell进程，默认是没有激活环境变量的，所以，你有可能发现，自己的写的crontab脚本，奇怪的失效了。

如何解决在crontab的进程里环境变量失效的问题？

很简单，在启动的脚本开始前，再次激活的环境变量即可，代码如下：

1. #!/bin/bash
2. ##下面的2行代码很重要，如果不再次激活环境变量，hadoop的jar就不能正确提交任务
3. . /etc/profile
4. . ~/.bash_profile

另外在crontab中，需要cd到当前目录下，执行，否则一些log不会被正确到该工程，或目录下：

1. //在下午的14点39分启动一个定时任务，使用nohup 挂起后台运行，并将所有的log重定向到一个log文件里
2. 39 14 * * *  cd /home/search/qindongliang/cr-dataload ; nohup sh start.sh 1  2015-04-10 all &> rate.log    &

另外一点需要注意，如果在crontab的进程中执行任务，那么最好使用nohup挂起后台运行，否则，hadoop的系统log会丢失，因为默认是在终端的界面上打印的。

1. [search@fsedump01sand cr-dataload]$ cat start.sh
2. #!/bin/bash
3. ##下面的2行代码很重要，如果不再次激活环境变量，hadoop的jar就不能正确提交任务
4. . /etc/profile
5. . ~/.bash_profile
6. echo "hadoop的home："$HADOOP_HOME
7. echo `pwd`
8. if [ ! $# -eq 3  ] ; then
9. echo "第一个参数：请输入要处理的dataload业务 1:rate 2:keyword  "
10. echo "第二个参数：请输入读取HDFS上读取数据的开始日期, 例如: 2015-04-10  "
11. echo "第三个参数：请输入读取HDFS上读取数据的结束日期, 例如: 2015-05-10  "
12. exit
13. fi
14. #参数1,mapping文件的地址
15. p1="/user/d1/mapping.xml"
16. #参数4，是否清空上一次的保存目录，0=清除，1=不清除
17. p4="0"
18. if [ $1 -eq  1  ] ; then
19. #参数2，处理数据的输入路径
20. p2="1"
21. p3="/fse2/conversions/rate/shard1/input"
22. p5="rate"
23. elif [ $1 -eq 2 ] ; then
24. #参数2，处理数据的输入路径
25. p2="2"
26. p3="/fse2/conversions/keyword/shard1/input"
27. #参数5，控制那个索引的
28. p5="keyword"
29. else
30. echo  "不支持此参数，只能输入1或者2，请注意!"
31. exit
32. fi
33. echo "==============参数信息=============="
34. echo $p1
35. echo $p2
36. echo $p3
37. echo $p4
38. echo $p5
39. echo $2
40. echo $3
41. echo "===================================="
42. #exit
43. #参数3，处理数据结果的保存路径
44. #p3="/user/d1/uvoutput"
45. #p3="/user/d1/kwoutput"
46. #p3="/fse2/conversions/keyword/shard1/input"
47. #p3="/fse2/conversions/uv/shard1/input"
48. #参数4，是否清空上一次的保存目录，0=清除，1=不清除
49. #p4="0"
50. #参数5，控制那个索引的
51. #p5="keyword"
52. #p5="uv"
53. cs='.:'
54. root="`pwd`/"
55. curr="`pwd`/conf"
56. echo $curr
57. libpath="`pwd`/lib/"
58. FILES=`ls $libpath`
59. for txt in $FILES;do
60. cs=$cs$libpath$txt:
61. done
62. cs=$cs$curr:$root"cr-dataload.jar"
63. echo $cs
64. echo [`date`] "开始启动dataload!"
65. #nohup sh offline.sh  2014-12-01 2014-12-15 &> nohup.out &
66. #hadoop jar  cr-dataload.jar   com.dhgate.search.rate.convert.StoreConvert -libjars $cs
67. #java -cp $cs  com.dhgate.search.rate.convert.StoreConvert  $p1 $p2 $p3 $p4 $p5 $2 $3
68. #/home/search/hadoop/bin/hadoop jar  cr-dataload.jar   com.dhgate.search.rate.convert.StoreConvert  $p1 $p2 $p3 $p4 $p5 $2 $3  > $p2.log
69. hadoop jar  cr-dataload.jar   com.dhgate.search.rate.convert.StoreConvert  $p1 $p2 $p3 $p4 $p5 $2 $3
70. #echo $cs