Twitter Storm：单机环境的安装与配置

Twitter Storm：单机环境的安装与配置

好久没写博客了，这一段时间一直被导师push着做毕业设计。由于目前的方向偏向于图像识别检索，毕设打算做一个基于分布式计算平台的图像检索系统，查阅相关资料发现Hadoop不适用于实时的计算环境，而Twitter Storm却能够满足自己的需求。我花了大概3~4天的时间，才将一个单机环境下的Storm平台部署好，期间经历了各种各样的“奇葩”的错误，此外，网上相关的Storm配置文章各种各样，叙述得多少有些不完整，为此我特下下这篇博客，记录整个安装过程，和大家分享。

1 准备阶段

　　在配置一个Storm环境之前，我们首先需要一个Linux操作系统。我使用的是Ubuntu 12.04，系统最好是全新安装的，以防止各种各种别的问题。因为我手头上有两个版本的Ubuntu：11.10和12.04,。在11.10上安装后，supervisor进程总是抛出异常，也搞不清楚是操作系统版本的问题还是别的软件的影响。因此，为了减少问题的出现，我建议系统使用全新的。此外，尽量保证操作系统处于联网状态，否则Storm在运行时会抛出网络不可达的SocketException。

　　PS：CentOS也可以，但是我没有在上面尝试过。有兴趣的读者可以自行尝试一下。

　　Storm需要JVM的支持，选择Java 1.6或者Java 1.7都可以。下面是Java的安装过程与环境变量的配置，如果你不知道的话或者不像去其他地方查阅资料的话，可以参考下面的安装步骤。

1.1(a) Java 1.6的安装与配置

　　(1)下载，在http://www.oracle.com/technetwork/indexes/downloads里下载需要的linux的java版本

　　(2)安装（假设下载的文件为java1.6.0_37.bin，放在/home/chenny目录下）

　　　　a.将下载的安装文件授权为可以执行：

>>sudo chmod u+x java1.6.0_37.bin

　　　　b.改变工作目录到你要安装java的地方，我的是/usr/lib，所以是cd /usr/lib
　　　　c.运行安装文件：

>>/home/chenny/java1.6.0_37.bin

　　(3)环境设置,打开/etc/profile文件：

>>sudo gedit /etc/profile

　　　　在文件最后增加如下几行：

export JAVA_HOME=/usr/lib/jdk1.6.0_37
export JRE_HOME=/usr/lib/jdk1.6.0_37/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

　　(4)替换系统原有的OpenJDK

>>sudo update-alternatives --install /usr/bin/java java /usr/lib/jdk1.6.0_37/bin/java 300
>>sudo update-alternatives --install /usr/bin/javac javac  /usr/lib/jdk1.6.0_37/bin/javac 300
>>sudo update-alternatives --config java

　　然后输入我们需要的那个JDK作为默认即可。注意，如果在终端中输入命令的时候，系统提示没有权限操作，那我们使用sudo以超级用户的身份运行即可。
　　(5)注销系统或者重启机器，在终端中键入java -version得到java version "1.6.0_37"的话表示安装好java环境了.

1.1(b)  Java 1.7的安装配置

　　(1)去官网下载JDK，我下载的版本是最新的，jdk-7u21-linux-i586.tar.gz。

　　(2)解压其到我们想要存放的目录：

>>sudo mkdir /usr/lib/jvm
>>tar zxvf ./jdk-7u21-linux-i586.tar.gz -C /usr/lib/jvm

　　(3)此后的步骤与1.1(a)中的(3)-(5)相同。

1.2 Python 2.7+的安装

　　Ubuntu 12,.04中已经自带了Python 2.7.3，无需再安装；对于其他系统或者Python版本较低的，此步骤需要安装Python 2.7+的版本。

1.3 其他相关软件的安装

　　在我们安装Storm的过程中，需要其他一些小的软件包，例如，automake、g++、build-essential、uuid-dev、unzip、autoconf等等，这些软件在之后的过程如果缺失的话，会出现相关的提示，那样的话，提示缺少哪些软件，就安装相应的软件包即可。

2 ZooKeeper的安装配置

　　Ubuntu12.04中自带的有一个zookeeper，不知道干什么用的，不放心的话，可以使用sudo apt-get remove zookeeper先将其移除。我使用的版本是zookeeper 3.3.5，下载之后，我们将其解压到相应位置，为了使用方便，我们可以按照安装Java的过程为ZooKeeper配置环境变量：

>>sudo gedit /etc/profile

　　在其中添加：

export ZOOKEEPER_HOME=/home/chenny/Storm/zookeeper-3.3.5
export PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$JRE_HOME/bin:$PATH

　　将zookeeper-3.4.5/conf目录下面的 zoo_sample.cfg修改为zoo.cfg，配置文件内容如下所示：

tickTime=2000
dataDir=/home/chenny/Storm/tmp/zookeeper
clientPort=2181
initLimit=5
syncLimit=2  

　　每个变量的含义可以参见配置文件中的注释。在此不再赘述。使用：

>>zkServer.sh start

来启动ZooKeeper服务器，如果在启动过程中，提示找不到/etc/zookeeper/zoo.cfg这个配置文件，我们就需要将上面修改过的zoo.cfg拷贝到/etc/zookeeper下：

>>sudo cp -R /home/chenny/Storm/zookeeper-3.3.5/conf/zoo.cfg /etc/zookeeper

　　然后再次启动服务，此时就可以了。然后使用：

>>zkServer.sh status

来查看服务器状态，此时服务器的模式（Mode）应该是standalone。我们可以使用

>>zkCli.sh 

来连接服务器，如果在这个过程中没有抛出异常的话，就说明我们能够正确地配置了Zookeeper。

3 ZeroMQ的安装

　　我使用的版本是zeromq-2.1.7，下载，解压，进入目录，输入：

>>./autogen.sh
>>./configure
>>make
>>sudo make install  

4 jzmq的安装

>>git clone https://github.com/nathanmarz/jzmq.git
>>cd jzmq
>>./autogen.sh
>>./configure
>>make
>>sudo make install

　　安装时，可能碰到两个错误：

　　　　(1).make[1]: *** 没有规则可以创建“org/zeromq/ZMQ.class”需要的目标“classdist_noinst.stamp”。 停止
   　　　　　　修正方法，创建classdist_noinst.stamp文件：

touch src/classdist_noinst.stamp  

　　　　(2).错误：无法访问 org.zeromq.ZMQ
 　　　　　　 修正方法，进入src目录，手动编译相关java代码：

javac -d ./src/org/zeromq/*.java  

5 Storm

　　我使用的Storm版本是最新的稳定版0.8.2，下载，解压，修改/conf/storm.yaml配置文件：

 storm.zookeeper.servers:
        - "192.168.1.117"
 nimbus.host: "192.168.1.117"
 storm.local.dir: "/home/chenny/Storm/tmp/storm"
 java.library.path: "/usr/local/lib:/opt/local/lib:/usr/lib"
 topology.debug: "true" 

需要注意的是Storm读取此配置文件，要求每一行开始都要有一个空格，每一个冒号后面也要有一个空格，否则就会出现错误，造成启动失败。我们同样可以为Storm添加环境变量，来方便我们的启动、停止。

5.1 启动Storm

>>storm nimbus&
>>storm supervisor&
>>storm ui&

　　如果我们没有为storm添加环境变量，那么在启动的时候，我们就需要使用绝对路径或相对路径来定位/chenny/Storm/storm-0.8.2/bin/storm这个程序。启动完成后，我们可以使用jps来查看进程状态：

>>jps

　　在没有运行任务时，我们必须应该要看到5个进程：QuorumPeerMain、nimbus、core、Jps、supervisor。否则就需要检查是否正确地启动，如果启动之后没有过多久就停止了，我们就需要查看~/storm-0.8.2/logs下面的对应的log文件，查看引起异常的原因是什么，然后解决后再次启动。

　　同时，我们可以在浏览器中输入http://127.0.0.1:8080来进入Storm UI的界面，可以查看Storm运行期间的相关信息。

6 运行第一个Topology程序

　　网上别的资料介绍了许多方式来编译可执行的Topology程序，我们这里提供一个简单的办法，只需要使用Eclipse和相关的Jar包即可，Ubuntu或者Windows环境下均可。我们需要从github上下载下来一个供初学者学习的storm-starter，同时，我们还需要有commons-collections-3.2.1-bin.tar.gz、twitter4j-2.2.6.zip和storm-0.8.2.zip等软件包，如果没有的话，需要去下载。以Windows XP下的Eclipse为例。首先我们将所有需要的包解压放到桌面，打开Eclipse，新建Java Project，名字任意取，我取名叫做MyFirstStormApp，然后点击Finish。

　　在MyFirstStormApp上右键，选择Import，然后选择File System：

　　在From Directory中输入相应的路径或者点击Browse，选择路径：

　　我们依次展开storm-starter-master/src/jvm/storm，选中jvm文件夹，点击确定，然后勾选jvm，点击finish：

　　这样，我们就在左侧看到Project的结构：

　　拖动storm到src中，然后安装同样的方式将storm-starter-master/storm-starter-master/multilang导入到项目中，然后我们就在左侧看到如下图所示的结构：

　　可以看到上面有很多红叉，此时，我们就需要导入项目所依赖的jar包，在项目上右键，选择Properties，然后Java Build Path，切换到Libraries选项夹下，点击Add External JARs：

　　将storm-0.8.2/lib目录下的所有jar包都加入到项目中，将commons-collections-3.2.1.jar添加到项目中，将twitter4j-2.2.6/lib中的所有jar包加入到项目中，将storm-0.8.2/storm-0.8.2.jar加入到项目中，然后点击OK，这个时候，可以看到项目中的所有错误都消失了。接下来，我们将PrintSampleStream.java和TwitterSampleSpout.java中的注释取消，或者将这两个文件删除。

　　在项目上选择Export，然后选择JAR file，在下一页，我们将项目导出，勾选如下图所示：

　　点击finish后，如果没有错误，只有warning的话，就不用管了，否则我们需要检查错误，然后重新打包。打包后的jar包是MyFirstStormApp.jar，将它拷贝到部署有Storm的机器上，然后在终端中输入：

>>storm jar MyFirstStormApp.jar storm.starter.WordCountTopology test2

　　如果没有错误，就成功提交了，在浏览器中输入http://127.0.0.1:8080，可以看到这个Topology已经在运行了，点击它的名字，可以进入Topology summary：

　　如果看到有Emiited等数据，就说明我们正确地完成了配置。Enjoy~

作者：Chenny Chen 
出处：http://www.cnblogs.com/XjChenny/ 
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。

 

分类: twitter storm

标签: 实时流计算平台, storm, storm安装配置, 单机storm, storm topology, storm入门