Storm 官方提供了入门代码(Storm starter),即 Storm安装教程 中所运行的实例(storm-starter-topologies-0.9.6.jar),该入门代码位于 /usr/local/storm/examples/storm-starter/ 中,包含多个例子,对于学习 Storm 很有帮助。同时官方也有给出了详细的使用说明(上述目录下的 README.markdown 文件),本教程基本是按照官方使用说明来介绍如何使用 Maven 来编译代码,以运行于 Storm 中。

Maven介绍

Maven 是现在 Java 社区中最强大的项目管理和项目构建工具。我们在开发项目的过程中,会使用一些开源框架、第三方的工具等等,这些都是以 jar 包的方式被项目所引用,并且有些 jar 包还会依赖其他的 jar 包,我们同样需要添加到项目中,所有这些相关的 jar 包都会作为项目的依赖。通常,一个 Java EE 项目所依赖的 jar 包会有很多。然而,这还并非是主要问题,在管理这些 jar 包过程中,jar 包的版本往往是最令人头疼的问题。选择一个 jar 包的版本,需要考虑它所依赖的 jar 包是否支持这个版本,并且还需要确认依赖它的 jar 包能不能对这个版本兼容,难以进行部署与管理。

Maven 的出现,解决了开发过程中的这一难题。它可以对项目依赖的 jar 包进行管理,可以让你的项目保持基本的依赖,排除冗余 jar 包,并且可以让你非常轻松的对依赖的 jar 包进行版本升级。而这些仅仅是 Maven 最基本的功能,它可以在这基础上对项目进行清理、编译、测试、打包、发布等等构建项目的工作。

Maven 是通过 pom.xml (Project Object Model,项目对象模型)来对项目进行配置的,可以查看 storm-starter 目录下的 pom.xml 来查看运行该入门代码所需的各种 jar 包。

Maven安装

Maven的官方下载地址为http://maven.apache.org/download.cgi,直接下载地址为:http://mirrors.cnnic.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz 或http://mirrors.cnnic.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz

下载后执行如下命令进行安装:

  1. sudo tar -zxf ~/下载/apache-maven-3.3.9-bin.tar.gz -C /usr/local/
  2. cd /usr/local
  3. sudo mv ./apache-maven-3.3.9 maven
  4. sudo chown -R hadoop ./maven # hadoop为你使用的用户名
Shell 命令

安装后便可使用(需要配置好 JDK 1.7 环境),为方便,我们将 maven 命令加入 PATH 变量中。执行 vim ~/.bashrc,在最后面加上一行 export PATH=/usr/local/maven/bin:$PATH,如下图所示。

将Maven加入PATH中

保存文件后执行 source ~/.bashrc ,接着执行 mvn -v 检验,安装成功的话会显示如下图内容:

检验Maven是否安装成功

更换 Maven 镜像

Maven 的官方镜像比较慢,建议使用 开源中国 Maven 库 提供的镜像,速度比较快,避免因网络问题无法下载依赖包,更改镜像只需要修改 Maven 的配置文件(vim /usr/local/maven/conf/setting.xml)即可。此外,笔者实践时,发现 Storm 所需的部分依赖包需要从 clojars.org 下载,但该网站的证书有问题,导致通过 https 无法下载,需要在配置文件中将该源的访问方式改为 http 访问。

修改 Maven 的配置文件(vim /usr/local/maven/conf/setting.xml),在 <mirrors> … </mirrors> 间增加如下内容:

  1. <mirror>
  2. <id>nexus-osc</id>
  3. <mirrorOf>central</mirrorOf>
  4. <name>Nexus osc</name>
  5. <url>http://maven.oschina.net/content/groups/public/</url>
  6. </mirror>
  7. <mirror>
  8. <id>nexus-osc-thirdparty</id>
  9. <mirrorOf>thirdparty</mirrorOf>
  10. <name>Nexus osc thirdparty</name>
  11. <url>http://maven.oschina.net/content/repositories/thirdparty/</url>
  12. </mirror>
  13. <mirror>
  14. <id>clojars</id>
  15. <mirrorOf>clojars</mirrorOf>
  16. <url>http://clojars.org/repo/</url>
  17. </mirror>
XML

并在 <profile> … </profile> 间增加如下内容:

  1. <id>jdk-1.4</id>
  2. <activation>
  3. <jdk>1.4</jdk>
  4. </activation>
  5. <repositories>
  6. <repository>
  7. <id>nexus</id>
  8. <name>local private nexus</name>
  9. <url>http://maven.oschina.net/content/groups/public/</url>
  10. <releases>
  11. <enabled>true</enabled>
  12. </releases>
  13. <snapshots>
  14. <enabled>false</enabled>
  15. </snapshots>
  16. </repository>
  17. <repository>
  18. <id>osc_thirdparty</id>
  19. <url>http://maven.oschina.net/content/repositories/thirdparty/</url>
  20. </repository>
  21. <repository>
  22. <id>clojars</id>
  23. <url>http://clojars.org/repo/</url>
  24. </repository>
  25. </repositories>
  26. <pluginRepositories>
  27. <pluginRepository>
  28. <id>nexus</id>
  29. <name>local private nexus</name>
  30. <url>http://maven.oschina.net/content/groups/public/</url>
  31. <releases>
  32. <enabled>true</enabled>
  33. </releases>
  34. <snapshots>
  35. <enabled>false</enabled>
  36. </snapshots>
  37. </pluginRepository>
  38. </pluginRepositories>
XML

修改后保存配置文件就可以了。

该配置注释文本较多,看起来比较凌乱,不方便更改,如果有需要,也可以下载笔者修改好的版本,下载地址:http://pan.baidu.com/s/1qXwZlsK,下载后执行如下命令替换配置文件:

  1. cp ~/下载/maven-settings.xml /usr/local/maven/conf/settings.xml
Shell 命令

编译、运行代码

在此之前请先开启 Storm (即开启 zookeeper,nimbus 和 supervisor),并确定系统处于联网状态,因为在编译过程中需要下载不少依赖包。

接着我们开始使用 maven 编译、运行 Storm starter。我们只需要进入 storm starter 所在目录,再执行相应的 mvn 命令,并指定参数即可,以运行 Storm starter 中的 WordCount 为例(WordCount 源码位于:/usr/local/storm/examples/storm-starter 下的 src/jvm/storm/starter/WordCountTopology.java):

  1. cd /usr/local/storm/examples/storm-starter
  2. mvn compile exec:java -Dstorm.topology=storm.starter.WordCountTopology
Shell 命令

mvn 命令需要在项目的根目录中运行,即在 storm-starter 目录中运行,该命令会查找当前目录下的 pom.xml 文件,下载所需要的依赖包。

首次运行需要下载较多东西,如下图所示,请耐心等待。

首次运行需要下载较多依赖包

如果遇到网络错误,导致有些依赖包无法下载或下载不完整,编译结束时会提示如下图的 ERROR 信息(Failed to execute goal on project storm-starter: Could not resolve dependencies for project org.apache.storm:storm-starter:jar:0.9.6: The following artifacts could not be resolve…),此时可以重新运行上述代码再试几次。

Maven下载依赖包时可能会出现网络错误

一般会出现网络问题都是由于无法访问 clojars.org,编译过程中会提示错误 “信息: I/O exception (java.net.SocketException) caught when processing request to {}->http://clojars.org:80: 网络不可达”。

如果多次尝试均无法正常下载的话,请下载笔者的离线依赖包,解压到本地的依赖库中(本地依赖库位置为 ~/.m2/),可以解决该问题(Maven 查找依赖包时,首先查找的是本地已下载的依赖包,缺少的再从网络中下载)。下载地址:http://pan.baidu.com/s/1eQWVe3w(笔者提供的依赖包仅适合于 Storm 0.9.6 版本)。

下载后,如果还在进行编译需要先中断,然后执行如下命令解压依赖包,解压后再次编译应该就能成功了:

  1. tar -zxf ~/下载/storm-starter-0.9.6-repository.tar.gz -C ~/.m2/
Shell 命令

编译成功后,紧接着就会在 Storm 中运行,我们能看到不断输出的 INFO 信息,编译最后如果是出现如下 BUILD FAILURE 信息:

  1. ...
  2. 22125 [SessionTracker] INFO org.apache.storm.zookeeper.server.SessionTrackerImpl - SessionTrackerImpl exited loop!
  3. [INFO] ------------------------------------------------------------------------
  4. [INFO] BUILD FAILURE
  5. [INFO] ------------------------------------------------------------------------
  6. ...

一般是没有问题的,程序有正确执行。我们可以再运行一次,执行如下代码,用 grep 命令进行过滤,只查看重要的运行结果:

  1. mvn compile exec:java -Dstorm.topology=storm.starter.WordCountTopology | grep 'Thread-[0-9]*-count'
Shell 命令

此时不需要再下载这么多东西,编译很快完成。我们只输出单词统计信息,可以看到输出结果与 Storm安装教程 中运行实例时是一致的,说明编译正确。

WordCount输出结果

打包代码

我们也可以将代码打包成 jar,打包后可以直接提交到 Storm 中运行。在 storm starter 所在目录中执行如下命令(这样打包的是整个 Storm starter):

  1. mvn package
Shell 命令

打包完成后,会在 target 文件中生成 storm-starter-0.9.6.jar 和 storm-starter-0.9.6-with-dependencies.jar,就可以把 jar 包提交到 Storm 中运行了。

  1. /usr/local/storm/bin/storm jar ./target/storm-starter-0.9.6.jar storm.starter.WordCountTopology
Shell 命令

后续我们编写自己的代码时,建议使用 maven 来方便的编译、运行代码。另外,官方使用说明中有更为详细的一些说明,如在 Intellij 中运行 Storm starter,有需要的可以自行查看。

总的来说,Storm starter 提供了很好的代码(源代码是在 storm-starter/src/jvm/storm/starter/ 中),例如RollingTopWords,给我们自己编写 Storm 代码提供了一个很好的借鉴。

使用Maven编译运行Storm入门代码(Storm starter)(转)的更多相关文章

  1. Lua 学习笔记(七)编译、执行外部代码块

    Lua称为解释型语言的原因:Lua允许在运行源代码之前,先将源代码预编译为一种中间形式.区别解释型语言的主要特征是在于编译器是否是语言运行时库的一部分,即有能力执行动态生成的代码.因为Lua中有dof ...

  2. Storm入门2-单词计数案例学习

     [本篇文章主要是通过一个单词计数的案例学习,来加深对storm的基本概念的理解以及基本的开发流程和如何提交并运行一个拓扑] 单词计数拓扑WordCountTopology实现的基本功能就是不停地读入 ...

  3. Storm入门教程 第三章Storm集群安装部署步骤、storm开发环境

    一. Storm集群组件 Storm集群中包含两类节点:主控节点(Master Node)和工作节点(Work Node).其分别对应的角色如下: 主控节点(Master Node)上运行一个被称为N ...

  4. storm入门(一):storm编程框架与举例

    基础 http://os.51cto.com/art/201308/408739.htm   模型 http://www.cnblogs.com/linjiqin/archive/2013/05/28 ...

  5. Storm系列(三):创建Maven项目打包提交wordcount到Storm集群

    在上一篇博客中,我们通过Storm.Net.Adapter创建了一个使用Csharp编写的Storm Topology - wordcount.本文将介绍如何编写Java端的程序以及如何发布到测试的S ...

  6. Storm入门教程 第二章 构建Topology[转]

    2.1 Storm基本概念 在运行一个Storm任务之前,需要了解一些概念: Topologies Streams Spouts Bolts Stream groupings Reliability ...

  7. Storm入门

    Storm框架入门 1 Topology构成 和同样是计算框架的Mapreduce相比,Mapreduce集群上运行的是Job,而Storm集群上运行的是Topology.但是Job在运行结束之后会自 ...

  8. Storm入门之第二章

    1.准备开始 本章创建一个Storm工程和第一个Storm拓扑结构. 需要提供JER版本在1.6以上,下载地址http://www.java .com/downloads/. 2.操作模式 Storm ...

  9. Storm入门之第一章

    Storm入门之第一章 1.名词 spout龙卷,读取原始数据为bolt提供数据 bolt雷电,从spout或者其他的bolt接收数据,并处理数据,处理结果可作为其他bolt的数据源或最终结果 nim ...

随机推荐

  1. k8s 安装

    1.1 k8s的架构 除了核心组件,还有一些推荐的Add-ons: 组件名称 说明 kube-dns 负责为整个集群提供DNS服务 Ingress Controller 为服务提供外网入口 Heaps ...

  2. 从零开始学习jQuery (六) jquery中的AJAX使用

    本篇文章讲解如何使用jQuery方便快捷的实现Ajax功能.统一所有开发人员使用Ajax的方式. 一.摘要 本系列文章将带您进入jQuery的精彩世界, 其中有很多作者具体的使用经验和解决方案,  即 ...

  3. java编程规约三

    七.集合处理 1.尽量使用String对象做Map的key 2.list转数组,用list的toArray(T[] array),传入的参数array是类型完全一样的数组,大小是list.size() ...

  4. POJ 2187 /// 凸包入门 旋转卡壳

    题目大意: 求最远点对距离 求凸包上的最远点对 挑战263页 #include <cstdio> #include <string.h> #include <algori ...

  5. C++:多线程002

    https://blog.csdn.net/morewindows/article/details/7442333 程序描述:主线程启动10个子线程并将表示子线程序号的变量地址作为参数传递给子线程.子 ...

  6. Android开发 WebView的详解

    前言 WebView 是Android显示html内容的主要方式,当然TextView也可以加载html内容.但是WebView除了功能更加强大,最重要的是还能调用Html里的JavaScript语言 ...

  7. js怎样截取以'-'分割的字符串

    在日期2019-09-01,怎样截取年只要月和日,下面是主要代码 var aa = '2019-09-01'; var bb = aa.split('-'); console.log(bb);//打印 ...

  8. SpringCloud之Fegin学习笔记

    以下部分内容来源于网络摘抄~ 1.作用 Feign 是一种声明式.模板化的 HTTP 客户端.在 Spring Cloud 中使用 Feign,可以做到使用 HTTP 请求访问远程服务,就像调用本地方 ...

  9. 安装hadoop伪分布式

    修改hosts cat /etc/hosts 127.0.0.1 mo.don.com 创建用户 useradd hadoop passwd hadoop sudo授权 visudo hadoop A ...

  10. SpringCloud学习笔记(五):Ribbon负载均衡

    简介 Spring Cloud Ribbon是基于Netflix Ribbon实现的一套 客户端 负载均衡的工具 .(重点:客户端) 简单的说,Ribbon是Netflix发布的开源项目,主要功能是提 ...