Erlang 编写 Kafka 客户端之最简单入门
Erlang 编写 Kafka 客户端之最简单入门
费劲周折,终于测通了 erlang 向kafka 发送消息,使用了ekaf 库,参考:
An advanced but simple to use, Kafka producer written in Erlang
https://github.com/helpshift/ekaf
1 准备kafka客户端
准备2台机器,一台是ekaf运行的kafka客户端(192.168.191.2),一台是kafka服务端(zookeeper+kafka)(192.168.122.199)。我在开发机器 (192.168.191.2)上,安装ekaf。虽然ekaf的机器上不需要安装 kafka ,但是为了测试 kafka 命令行客户端是否可用,我还是安装了 kafka:
$ echo $KAFKA_HOME
/usr/local/apache/kafka_2.9.2-0.8.1.1
打开一个kafka客户端producer:
$ kafka-console-producer.sh --broker-list 192.168.122.199:9092 --sync --topic ekaf
2 准备kafka 服务端
kafka 服务端(broker)的安装参考我的文章,并且已经建立了 ekaf 这个topic:
kafka broker安装位置在:192.168.122.199:9092,配置文件 server.properties 部分内容如下:
broker.id=0 port=9092 host.name=192.168.122.199 advertised.host.name=192.168.122.199 advertised.port=9092 num.partitions=2 zookeeper.connect=192.168.122.199:2181,192.168.122.199:2182,192.168.122.199:2183
/etc/profile 配置包含:
export APACHE_HOME=/usr/local/apache export KAFKA_HOME=$APACHE_HOME/kafka_2.9.2-0.8.1.1 export ZK1_HOME=$APACHE_HOME/zk-cluster/zk1/zookeeper-3.4.6 export ZK2_HOME=$APACHE_HOME/zk-cluster/zk2/zookeeper-3.4.6 export ZK3_HOME=$APACHE_HOME/zk-cluster/zk3/zookeeper-3.4.6
启动 zookeeper:
$ZK1_HOME/bin/zkServer.sh start $ZK2_HOME/bin/zkServer.sh start $ZK3_HOME/bin/zkServer.sh start
启动zookeeper后,稍微等一会(30秒)再启动kafka,否则出错:
$KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties &
启动kafka broker之后,启动一个consumer,监听消息队列:
$KAFKA_HOME/bin/kafka-console-consumer.sh --zookeeper 192.168.122.199:2181 --topic ekaf --from-beginning
此时在kafka客户端producer窗口里输入消息,er窗口中显示出来,证明消息队列已经准备好了。
3 kafka客户端开发
下面的操作都在kafka客户端(192.168.191.2)上进行。
1) 获取 ekaf
$ git clone https://github.com/helpshift/ekaf.git $ cd ekaf
2) 编译 ekaf
$ rebar get-deps clean compile
如何安装和使用 rebar 请参考我的其他文章:
3) 运行 ekaf
$ erl -pa './deps/gproc/ebin' -pa './deps/kafkamocker/ebin' -pa './ebin' 1> application:load(gproc). ok 2> application:load(kafkamocker). ok 3> application:load(ekaf). ok 4> application:set_env(ekaf, ekaf_bootstrap_broker, {"192.168.122.199", 9092}). ok 5> application:start(gproc). ok 6> application:start(kafkamocker). ok 7> application:start(ekaf). ok 8> ekaf:produce_sync(<<"ekaf">>, <<"Hello Kafka">>). {{sent,0,<0.67.0>}, {produce_response,1,0, [{topic,<<"ekaf">>,0,[{partition,0,0,0,[],[],0,[]}]}]}} 9> ekaf:produce_sync(<<"ekaf">>, <<"Hello Kafka 99">>). {{sent,1,<0.196.0>}, {produce_response,1,0, [{topic,<<"ekaf">>,0,[{partition,0,0,0,[],[],0,[]}]}]}} 10> q(). ok
注意,application:set_env(ekaf, ekaf_bootstrap_broker, {"192.168.122.199", 9092}). 的配置要确保与kafka-console-producer.sh使用的一致。我就是一个使用了IP,一个使用了hostname,导致一直无法成功,浪费了几天时间。
Erlang 编写 Kafka 客户端之最简单入门的更多相关文章
- BAT脚本编写教程简单入门篇
BAT脚本编写教程简单入门篇 批处理文件最常用的几个命令: echo表示显示此命令后的字符 echo on 表示在此语句后所有运行的命令都显示命令行本身 echo off 表示在此语句后所有运行的命 ...
- 《KAFKA官方文档》入门指南(转)
1.入门指南 1.1简介 Apache的Kafka™是一个分布式流平台(a distributed streaming platform).这到底意味着什么? 我们认为,一个流处理平台应该具有三个关键 ...
- 程序员,一起玩转GitHub版本控制,超简单入门教程 干货2
本GitHub教程旨在能够帮助大家快速入门学习使用GitHub,进行版本控制.帮助大家摆脱命令行工具,简单快速的使用GitHub. 做全栈攻城狮-写代码也要读书,爱全栈,更爱生活. 更多原创教程请关注 ...
- 一文彻底理解Redis序列化协议,你也可以编写Redis客户端
前提 最近学习Netty的时候想做一个基于Redis服务协议的编码解码模块,过程中顺便阅读了Redis服务序列化协议RESP,结合自己的理解对文档进行了翻译并且简单实现了RESP基于Java语言的解析 ...
- MacOS SVN简单入门
背景:MacOS内置了SVN的客户端和服务器端的软件,下边所使用到的目录需要结合自己电脑的具体情况进行设置,并不是很困难. MacOS SVN简单入门 第一部分,创建本地的SVN测试仓库,并修改相应的 ...
- Web---演示Servlet的相关类、表单多参数接收、文件上传简单入门
说明: Servlet的其他相关类: ServletConfig – 代表Servlet的初始化配置参数. ServletContext – 代表整个Web项目. ServletRequest – 代 ...
- 简单入门使用GitHub总结
简单入门使用GitHub总结 ps: 试着自己弄一下GitHub,发现问题多多,中间还差点把自己的资料给全部弄没了(直接摔啦~). 然后网上查找各种资料进行设置终于成功了. 以下是参考的资料链接: G ...
- GitHub这么火,程序员你不学学吗? 超简单入门教程 【转载】
本GitHub教程旨在能够帮助大家快速入门学习使用GitHub. 本文章由做全栈攻城狮-写代码也要读书,爱全栈,更爱生活.原创.如有转载,请注明出处. GitHub是什么? GitHub首先是个分布式 ...
- Java中Redis简单入门
Redis是一个开源的,先进的 key-value 存储可用于构建高性能,可扩展的 Web 应用程序的解决方案. Redis官方网网站是:http://www.redis.io/,如下: Redis ...
随机推荐
- EBS开发性能优化之SQL语句优化
(1)选择运算 尽可能先做选择运算,这是优化策略中最重要.最基本的一条,选择运算一般会使计算的中间结果大大变小,在对同一表格进行多个选择运算时,选择条件的排列顺序对性能也有很大影响,因为排列顺序不仅影 ...
- PLSQL实现分页查询
--集合实现游标查询 CREATE OR REPLACE PACKAGE emppkg IS TYPE t_record IS RECORD( rn INT, empno emp.empno%TYPE ...
- OpenCV, MatBGR2ARGB, ARGB2MatBGR
代码片段~ unsigned int* abMatBGR2ARGB(Mat imag) { int nCols; int nRows; unsigned int *pbuff = NULL; if(i ...
- 关于Lt分发系统的时序图分析
我们已经知道,系统共分为两个模块,mather与son 同时系统允许的操作也有三种,向mather提交war包,我某个服务器更新代码,为所有服务器更新代码 我们一个一个来看 先说,向mather提交w ...
- XML之DTD(文档类型定义)
文档类型定义(DTD)可定义合法的XML文档构建模块.它使用一系列合法的元素来定义文档的结构. DTD 可被成行地声明于 XML 文档中,也可作为一个外部引用. 声明元素 在 DTD 中,XML 元素 ...
- Android的View类介绍-android的学习之旅(十三)
view概述 android绝大部分UI组件都放在android.view和android.widght包中,android的虽有UI组件都继承了View类. View类还有一个非常重要的子类:Vie ...
- UNIX网络编程——UDP 的connect函数(改进版)
上一篇我们提到,除非套接字已连接,否则异步错误是不会返回到UDP套接字的.我们确实可以给UDP套接字调用connect,然而这样做的结果却与TCP连接大相径庭:没有三次握手.内核只是检查是否存在立即可 ...
- 【Unity Shaders】Transparency —— 透明的cutoff shader
本系列主要参考<Unity Shaders and Effects Cookbook>一书(感谢原书作者),同时会加上一点个人理解或拓展. 这里是本书所有的插图.这里是本书所需的代码和资源 ...
- Rational Rose正逆向工程(类图转Java代码,Java代码转类图)
一,正向工程 1.设置默认语言为Java,Tools->Options->Notation->default:选择Java. 2.设置环境变量Class ...
- linux下重启weblogic(关闭和启动)
ssh远程连接Linux服务器! 开启weblogic: 1.找到/Oracle/Middleware/user_projects/domains/用户_domain目录, 2.执行nohup ...