如果你要利用代码来跑kafka的应用,那你最好先把官网给出的example先在单机环境和分布式环境下跑通,然后再逐步将原有的consumer、producer和broker替换成自己写的代码。所以在阅读这篇文章前你需要具备以下前提:

1.  简单了解kafka功能,理解kafka的分布式原理

2.  能在分布式环境下成功运行—topic test。

如果你还没有完成上述两个前提,请先看:

kafka分布式初步      kafka搭建分布式环境

接下来我们就简单介绍下kafka开发环境的搭建。

1.    搭建scala环境,这里有两种方案,第一直接去scala官网下载SDK,解压配置环境变量;第二种办法,你可以不用安装SDK,直接在项目中引用kafka编译后下载下来的scala编译包和编码包(scala-compiler.jar和scala-library.jar)。我推荐第二种,因为通过kafka编译下载下来的scala版本和kafka版本都是匹配的(但是有时候可能会跟eclipse的插件需要的环境冲突,所以最好把第一种也安装一下,以防万一),而一般我们用的是java项目来写,所以直接导入相关依赖包就可以了,第一种方案有助于我们看源码和用scala开发。这些jar的路径位于kafka-0.7.2-incubating-src\javatest\lib目录下。

2.    为eclipse安装scala开发环境。这只是一个插件,可以在:http://scala-ide.org/中下载安装或者在线安装。装完之后,你就能在eclipse中创建scala的项目了。

我们可以先写一个hello world试一下,这样一来,是不是又多了一种语言写hello world了。

有些人new的时候找不到scala相关的类,那是因为你eclipse的perspective不对,切换到scala的perspective下就可以了。注意new的是object,然后输入:

1
2
3
4
5
6
7
8
package com.a2.kafka.scala.test
 
object Hello {
 
  def main(args: Array[String]): Unit = {
    printf("Hello Scala!!");
  }
}

3.     找到编码需要的依赖包。记住去你linux上经过update的kafka文件夹里找,不要从直接从官网上下载的文件里找。具体路径是:kafka-0.7.2-incubating-src\javatest\lib 这是你用java开发kafka相关程序用到的最基础的包,如果你用到了hadoop,只要去相关的文件夹找一下就可以了。然后把这些包加到项目里即可。

到了这里,基本的开发环境应该是搭建完了,然后我们要开始写点儿简单的代码了。我们还是根据之前《分布式环境搭建》中给出的例子。稍微回忆下:

1.   启动zookeeper server :bin/zookeeper-server-start.sh ../config/zookeeper.properties  & (用&是为了能退出命令行)

2.   启动kafka server:  bin/kafka-server-start.sh ../config/server.properties  &

3.    Kafka为我们提供了一个console来做连通性测试,下面我们先运行producer:bin/kafka-console-producer.sh --zookeeper 192.168.10.11:2181 --topic test 这是相当于开启了一个producer的命令行。

4.   接下来运行consumer,新启一个terminal:bin/kafka-console-consumer.sh --zookeeper 192.168.10.11:2181 --topic test --from-beginning

5.    执行完consumer的命令后,你可以在producer的terminal中输入信息,马上在consumer的terminal中就会出现你输的信息。

这个例子就是在分布式的环境下producer生产数据,然后consumer从broker抓取数据显示在console上。当然注意一点server.properties中的hostname需要换成你的对应地址,具体可以回去看《分布式环境搭建》。现在我们就用代码来模拟producer发送数据的过程:

这里我们建一个java project就可以了,导入依赖包。kafka-0.7.2-incubating-src\javatest\lib目录下的jar.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
package com.a2.test.kafka;
 
import java.util.Properties;
 
import kafka.javaapi.producer.Producer;
import kafka.javaapi.producer.ProducerData;
 
import kafka.producer.ProducerConfig;
 
public class Producertest {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("zk.connect", "192.168.10.11:2181");
        props.put("serializer.class", "kafka.serializer.StringEncoder");
        ProducerConfig config = new ProducerConfig(props);
        Producer<String, String> producer = new Producer<String, String>(config);
        ProducerData<String, String> data = new ProducerData<String, String>("test", "Hello");
        producer.send(data);
    }
}

这样我们就用代码代替了console去发送信息了,这里我们用了utils中的properties对象直接构建了配置,而不是直接读取,当然你也可以读配置。Data里的两个参数,第一个是指定topic,第二个是发送的内容。

接下来就是运行了,如果你是在windows下,可能会等待很久然后报Unable to connect to zookeeper server within timeout: 6000,这个可能是网卡的原因,你可以直接放到linux上,然后用命令行运行,注意引包。

1
Java –jar test.jar  Dclasspath=/lib

Consumer的代码以及实现和producer差不多,如果你感兴趣可以去官网找相关的代码,都很简单。当然还有一部分关于producer和consumer的配置,我们下篇再说。

Kafka开发环境搭建(五)的更多相关文章

  1. 五步搞定Android开发环境部署——非常详细的Android开发环境搭建教程

      在windows安装Android的开发环境不简单也说不上算复杂,本文写给第一次想在自己Windows上建立Android开发环境投入Android浪潮的朋友们,为了确保大家能顺利完成开发环境的搭 ...

  2. 转:Windows下的PHP开发环境搭建——PHP线程安全与非线程安全、Apache版本选择,及详解五种运行模式。

    原文来自于:http://www.ituring.com.cn/article/128439 Windows下的PHP开发环境搭建——PHP线程安全与非线程安全.Apache版本选择,及详解五种运行模 ...

  3. SLAM+语音机器人DIY系列:(五)树莓派3开发环境搭建——1.安装系统ubuntu_mate_16.04

    摘要 通过前面一系列的铺垫,相信大家对整个miiboo机器人的DIY有了一个清晰整体的认识.接下来就正式进入机器人大脑(嵌入式主板:树莓派3)的开发.本章将从树莓派3的开发环境搭建入手,为后续ros开 ...

  4. Struts2开发环境搭建,及一个简单登录功能实例

    首先是搭建Struts2环境. 第一步 下载Struts2去Struts官网 http://struts.apache.org/ 下载Struts2组件.截至目前,struts2最新版本为2.3.1. ...

  5. android开发环境搭建日记和嵌入式Android开发环境初探

    非常感谢博客园的各位,按照你们的博文,还有利用百度和谷歌逐渐建立了android的开发环境,只是给自己备份参考查看,看过的人可以忽略这篇文章. 本文章大部分参考了:http://www.cnblogs ...

  6. mac10.9下eclipse的storm开发环境搭建

    --------------------------------------- 博文作者:迦壹 博客地址:http://idoall.org/home.php?mod=space&uid=1& ...

  7. Spark Idea Maven 开发环境搭建

    一.安装jdk jdk版本最好是1.7以上,设置好环境变量,安装过程,略. 二.安装Maven 我选择的Maven版本是3.3.3,安装过程,略. 编辑Maven安装目录conf/settings.x ...

  8. Android开发环境搭建(转)

    转载:http://www.cnblogs.com/zoupeiyang/p/4034517.html#1 引言   在windows安装Android的开发环境不简单也说不上算复杂,本文写给第一次想 ...

  9. iOS开发教程之:iPhone开发环境搭建

    安装条件: 硬件:一台拥有支持虚拟技术的64位双核处理器和2GB以上内存的PC. 注意:运行MAC OS,需要电脑支持虚拟技术(VT),安装时,需要将VT启动,在BIOS中开启. 软件: Window ...

随机推荐

  1. const理解

    const int * a4 = &a1; ///const data,non-const pointer int * const a5 = &a1; ///non-const dat ...

  2. Eclipse中syso 快捷键 Alt + / 不能使用的问题

    通过使用windows-preferences-java-editor-templates中的快捷键,可以显著提升输入速度.快捷键的设置一般是在这里以及general下面的keys里面设置. 但是,在 ...

  3. MySQL 20个经典面试题

    1.MySQL的复制原理以及流程 基本原理流程,3个线程以及之间的关联: 1. 主:binlog线程——记录下所有改变了数据库数据的语句,放进master上的binlog中: 2. 从:io线程——在 ...

  4. Jersey入门三:创建一个JavaEE的Web项目

    1.在终端中输入如下命令,创建一个名为的simple-service-webapp项目: mvn archetype:generate -DarchetypeArtifactId=jersey-qui ...

  5. React Native踩坑之FlatList组件中的onEndReached

    最近在做一个RN项目,有使用到FlatList这样一个RN封装的组件去做上拉加载更多功能,在iOS和Android平台上,总结了以下几个遇到的问题及解决方案 1. 进入页面onReached开始就被触 ...

  6. ssm框架常见问题

    搭建SSM框架时,总是遇到这样那样的问题,有的一眼就能看出来,有的需要经验的积累.现将自己搭建SSM框架时遇到的典型问题总结如下: 一.Struts2框架下的action中无法使用@Autowired ...

  7. [leetcode tree]102. Binary Tree Level Order Traversal

    Given a binary tree, return the level order traversal of its nodes' values. (ie, from left to right, ...

  8. 深入解释yield和Generators

    生成器和yield关键字可能是Python里面最强大的最难理解的概念之一(或许没有之一), 但是并不妨碍yield成为Python里面最强大的关键字,对于初学者来讲确实非常难于理解,来看一篇关于yie ...

  9. QT学习笔记6:常见的 QGraphicsItem

    简述 QGraphicsItem 类是 QGraphicsScene 中所有 item 的基类. 它提供了一个轻量级的基础,用于编写自定义 item.其中包括:定义 item 的几何形状.碰撞检测.绘 ...

  10. PAT(Basic Level)--个位数统计

    输入一个不超过1000位的整数,计算每个数字出现的次数. 一道十分简单的题目,最开始以为Java的String没有计算长度的方法,还想了半天,而且还用HashMap做了一次,代码特别长,看了别人的代码 ...