遇到的问题: 在本机或者其他机器telnet IP 9092,通,使用域名也通,telnet 127.0.0.1 9092不通 host.name:按配置文件说明,是Kafka绑定的interface.其实这个说明有点误导,下面会见到. advertised.host.name:是注册到zookeeper,client要访问的broker地址.(可能producer也是拿这个值,没有验证) 如果advertised.host.name没有设,会用host.name的值注册到zookeeper,如

kafka的server.properties文件 ```host.name```开始只绑定在了内部IP上,对外网卡无法访问. 把值设置为空的话会kafka监听端口在所有的网卡上绑定.但是在外网访问时,客户端又遇到了```java.nio.channels.ClosedChannelException```异常信息,server端用tcpdump分析的时候发现客户端有传递kafka所在机器的机器名过来.在client里断点跟踪一下发现是findLeader的时候返回的元信息是机器名而不是IP.客

listeners, Listener List - Comma-separated list of URIs we will listen on and their protocols. Specify hostname as 0.0.0.0 to bind to all interfaces. Leave hostname empty to bind to default interface. Examples of legal listener lists: PLAINTEXT://myh

今天在测试kafka时遇到 Unknow host问题,经过Google,找到了解决办法,总结如下: 原因:Linux主机名称为null 第一步通过修改/etc/sysconfig/network 中hostname的值为localhost.localdomain 第二步 通过sysctl kernelhostname=localhost完成设置 第三步 打开一个新的窗口,重新输入相关命令 同时注意在/etc/hosts 文件中添加本机的IP地址 如:10.0.6.1 localhost

问题:Ambari下Kafka多IP监听配置 环境:Ambari 1.7.0 , Hadoop 2.2 Kafka 0.8.1.2.2.0.0 现象: Ambari 中是不能配置Kafka的host.name配置项的,Ambari配置时,使用Ambar中为节点指定的hostname值,比如node1.google (Kafka自身的默认值是localhost) 一般在内网配置Ambari,用的hostname都是内网的IP,如 192.168.1.1 node1.google 192.168.1

ELK+Kafka集群分析系统部署 因为是自己本地写好的word文档复制进来的.格式有些出入还望体谅.如有错误请回复.谢谢! 一. 系统介绍 2 二. 版本说明 3 三. 服务部署 3 1) JDK部署 3 2) Elasticsearch集群部署及优化 3 3) Elasticsearch健康插件安装 13 4) Shield之elasticsearch安全插件 15 5)Zookeeper集群搭建 15 6)Kafka集群搭建 17 7)测试Kafka和Zookeeper集群连通性 19 8

Kafka 0.9版本对java client的api做出了较大调整,本文主要总结了Kafka 0.9在集群搭建.高可用性.新API方面的相关过程和细节,以及本人在安装调试过程中踩出的各种坑. 关于Kafka的结构.功能.特点.适用场景等,网上到处都是,我就不再赘述了,直接进入正文 Kafka 0.9集群安装配置 操作系统:CentOS 6.5 1. 安装Java环境 Zookeeper和Kafka的运行都需要Java环境,所以先安装JRE,Kafka默认使用G1垃圾回收器,如果不更改垃圾回收器

伟大的程序员版权所有,转载请注明:http://www.lenggirl.com/bigdata/server-sofeware-install.html 一.安装mongodb 官网下载包mongodb 配置文件config.conf,需绑定内网IP且开启web监控 bind_ip=172.16.0.10,127.0.0.1 rest=true dbpath=/data/db/mongodb/27017 port=27017 logpath=/data/logs/db/mongodb/mong

在kafka/config/目录下面有3个配置文件: producer.properties consumer.properties server.properties (1).producer.properties:生产端的配置文件 #指定kafka节点列表,用于获取metadata,不必全部指定 #需要kafka的服务器地址,来获取每一个topic的分片数等元数据信息. metadata.broker.list=kafka01:9092,kafka02:9092,kafka03:9092 #

因公司数据安全和分析的需要,故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用: 安装,配置过程,使用情况等续 一,glusterfs分布式文件系统部署: 说明: 公司想做网站业务日志及系统日志统一收集和管理,经过对mfs, fastdfs 等分布式文件系统的调研,最后选择了 glusterfs,因为Gluster具有高扩展性.高性能.高可用性.可横向扩展的弹性特点,无元数据服务器设计使glust

kafka是一个开源的分布式消息队列 他提供可靠的集群容错机制,并保证故障切换时的数据完整性. 无论从性能.可靠性.易用性都强过ActiveMQ(client的API感觉还是不如ActiveMQ好用,文档也没有更新到最新版)   下面简单记录一下安装步骤和常用命令.   1.安装 http://kafka.apache.org/documentation.html 下载压缩包并解压 可以解压到 /usr/local/kafka   2.配置 vim conf/server.properties

一.kafka官网地址 http://kafka.apache.org 下载地址: http://kafka.apache.org/downloads.html 二.版本 0.9.0.1 is the latest release. The current stable version is 0.9.0.1. 截止到目前为止,kafka最新的版本为0.9.0.1(线上常用的稳定版本为0.8) 三.部署相关 基础依赖环境 jdk1.7 zookeeper 3.3.x及以上 kafka0.8.x 以

高吞吐量的分布式发布订阅消息系统Kafka--安装及测试   一.Kafka概述 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据. 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素. 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决. 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案.Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息

这次的笔记主要记录一下kafka的生产者的使用和一些重要的参数. 文中主要截图均来自kafka权威指南 主要涉及到两个类KafkaProducer和ProducerRecord. 总览 生产者的主要架构如下: 首先创建了一个ProducerRecord 进行序列化 kv变为ByteArray 进入Partitioner 如果之前指定了分区 那这一步什么都不会做 接着将Record放入要被发送到的同样的topic和分区的batch中 另一个单独的thread会进行发送操作 发送成功会返回Recor

为了演示集群的效果,这里准备一台虚拟机(window 7),在虚拟机中搭建了单IP多节点的zookeeper集群(多IP节点的也是同理的),并且在本机(win 7)和虚拟机中都安装了kafka. 前期准备说明: 1.三台zookeeper服务器,本机安装一个作为server1,虚拟机安装两个(单IP) 2.三台kafka服务器,本机安装一个作为server1,虚拟机安装两个. 备注:当然你可以直接在虚拟机上安装三个服务器分别为server1.server2.server3 . 虚拟机和本机网络环

kafka的配置分为 broker.producter.consumer三个不同的配置 一 BROKER 的全局配置   最为核心的三个配置 broker.id.log.dir.zookeeper.connect . ------------------------------------------- 系统 相关 ------------------------------------------- ##每一个broker在集群中的唯一标示,要求是正数.在改变IP地址,不改变broker.id

第一:kafka的介绍,kafka官网:http://kafka.apache.org/ http://www.jasongj.com/2015/03/10/KafkaColumn1/ kafka的简单介绍: 1. kafka是一个流平台,所谓流平台: 允许发布和订阅记录流.在这方面类似消息队列和企业级的消息系统. 允许以容错的方式存储记录流. 允许以流的形式处理记录. 2.kafka相关必须明白一下几个概念: 1.producer: 生产者,发布消息到 kafka 集群中的服务或程序. Pro

一. org.apache.kafka.common.errors.TimeoutException: Batch Expired 问题描述:通过java客户端访问kafka服务器,当生产者线程向kafka插入数据时候出现该错误 问题分析:批处理过期 1.检查kafkaip地址是否访问正常 telnet ip port 2. 正常情况下,检查配置文件是否配置正确 在config/server.properties中加入如下属性 advertised.host.name=你的ip地址 问题解决:如

kafka简介 kafka (官网地址:http://kafka.apache.org)是一款分布式消息发布和订阅的系统,具有高性能和高吞吐率. 下载地址:http://kafka.apache.org/downloads 消息的发布(publish)称作producer,消息的订阅(subscribe)称作consumer,中间的存储阵列称作broker. 多个broker协同合作,producer.consumer和broker三者之间通过zookeeper来协调请求和转发. produce

Zookeeper+Kafka完全分布式实战部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 其实我之前部署过kafak和zookeeper的完全分布式,集群是可以正常使用没错,但是在调优方案我做的很少,本次部署模拟我实际生成环境中的kafka版本zookeeper的一些调优措施,以及一些脚本管理等.部署集群需要你自行安装jdk,本篇博客就直接上干货了. 关于本篇博客的测试版本视频:链接:https://pan.baidu.com/s/1S3UqwTH05RKQOuQ9bw