Kafka Unknow host

今天在测试kafka时遇到 Unknow host问题,经过Google,找到了解决办法,总结如下: 原因:Linux主机名称为null 第一步通过修改/etc/sysconfig/network 中hostname的值为localhost.localdomain 第二步通过sysctl kernelhostname=localhost完成设置第三步打开一个新的窗口,重新输入相关命令同时注意在/etc/hosts 文件中添加本机的IP地址如:10.0.6.1 localhost…

kafka配置项host.name advertised.host.name

遇到的问题: 在本机或者其他机器telnet IP 9092,通,使用域名也通,telnet 127.0.0.1 9092不通 host.name:按配置文件说明,是Kafka绑定的interface.其实这个说明有点误导,下面会见到. advertised.host.name:是注册到zookeeper,client要访问的broker地址.(可能producer也是拿这个值,没有验证) 如果advertised.host.name没有设,会用host.name的值注册到zookeeper,如…

Ambari 不能配置 Kafka 监听host的问题

问题:Ambari下Kafka多IP监听配置环境:Ambari 1.7.0 , Hadoop 2.2 Kafka 0.8.1.2.2.0.0 现象: Ambari 中是不能配置Kafka的host.name配置项的,Ambari配置时,使用Ambar中为节点指定的hostname值,比如node1.google (Kafka自身的默认值是localhost) 一般在内网配置Ambari,用的hostname都是内网的IP,如 192.168.1.1 node1.google 192.168.1…

Storm集成Kafka应用的开发

我们知道storm的作用主要是进行流式计算,对于源源不断的均匀数据流流入处理是非常有效的,而现实生活中大部分场景并不是均匀的数据流,而是时而多时而少的数据流入,这种情况下显然用批量处理是不合适的,如果使用storm做实时计算的话可能因为数据拥堵而导致服务器挂掉,应对这种情况,使用kafka作为消息队列是非常合适的选择,kafka可以将不均匀的数据转换成均匀的消息流,从而和storm比较完善的结合,这样才可以实现稳定的流式计算,那么我们接下来开发一个简单的案例来实现storm和kafka的结合 s…

Kafka 消息监控 - Kafka Eagle

1.概述在开发工作当中,消费 Kafka 集群中的消息时,数据的变动是我们所关心的,当业务并不复杂的前提下,我们可以使用 Kafka 提供的命令工具,配合 Zookeeper 客户端工具,可以很方便的完成我们的工作.随着业务的复杂化,Group 和 Topic 的增加,此时我们使用 Kafka 提供的命令工具,已预感到力不从心,这时候 Kafka 的监控系统此刻便尤为显得重要,我们需要观察消费应用的详情. 监控系统业界有很多杰出的开源监控系统.我们在早期,有使用 KafkaMonitor 和…

Kafka - 消费接口分析

1.概述在 Kafka 中,官方对外提供了两种消费 API,一种是高等级消费 API,另一种是低等级的消费 API.在 <高级消费 API>一文中,介绍了其高级消费的 API 实现.今天给大家介绍另一种消费 API. 2.内容在使用过 Kafka 的高级消费 API 后,我们知道它是一种高度抽象的消费 API,使用起来简单,方便,但是对于某些特殊的需求我们可能要用到第二种更加底层的 API.那么,我们首先需要知道低级消费 API 的作用.它能帮助我们去做那些事情: 一个消息进行多次读取在…

kafka offset-check工具失效的问题

转载请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/5414077.html 由于平时业务预警等需求,针对现在公司的kafka系统部署了几套监控系统,包括调用kafka-consumer-offset-checker.sh脚本写的lag监控,kafkaoffsetmonitor开源监控以及kafka-manager管理系统.最近发现kafka-consumer-offset-checker.sh脚本在原本运行正常的情况下一直出现"Exiting due…

Kafka 集群消息监控系统：Kafka Eagle

Kafka Eagle 1.概述在开发工作当中,消费 Kafka 集群中的消息时,数据的变动是我们所关心的,当业务并不复杂的前提下,我们可以使用 Kafka 提供的命令工具,配合 Zookeeper 客户端工具,可以很方便的完成我们的工作.随着业务的复杂化,Group 和 Topic 的增加,此时我们使用 Kafka 提供的命令工具,已预感到力不从心,这时候 Kafka 的监控系统此刻便尤为显得重要,我们需要观察消费应用的详情. 监控系统业界有很多杰出的开源监控系统.我们在早期,有使用 Kaf…

使用docker搭建kafka环境

Requirements 最近学习了下kafka,为方便搭建环境,使用docker进行部署. 需要首先安装docker的环境.要求操作系统是linux的64位系统. docker的安装(适于rpm/deb安装): curl -fsSL https://get.docker.com/ | sh docker-compose的安装: curl -L https://github.com/docker/compose/releases/download/1.7.0/docker-compose-`un…

【原创】大叔问题定位分享（5）Kafka客户端报错SocketException: Too many open files 打开的文件过多

kafka0.8.1 一问题 10月22号应用系统忽然报错: [2014/12/22 11:52:32.738]java.net.SocketException: 打开的文件过多 [2014/12/22 11:52:32.738] at java.net.Socket.createImpl(Socket.java:447) [2014/12/22 11:52:32.738] at java.net.Socket.connect(Socket.java:577) [201…

nginx+lua+kafka 编写在线日志上报系统

案例一 rewrite_by_lua ' --引入openresty自带的json处理对象 local cjson = require("cjson") local producer = require "resty.kafka.producer" -- 定义kafka broker地址,ip需要和kafka的host.name配置一致 local broker_list = { { host = "192.168.115.28", port =…

物联网架构成长之路(8)-EMQ-Hook了解、连接Kafka发送消息

1. 前言按照我自己设计的物联网框架,对于MQTT集群中的所有消息,是要持久化到磁盘的,这里采用一个消息队列中间件Kafka作为数据缓冲,缓冲结果存到数据仓库中,以供后续作为数据分析.由于MQTT集群中的消息都是比较分散的,所以使用Kafka来聚合.采集消息. 2. 下载&编译&安装 Kafka依赖ZooKeeper 在这里下载 http://mirrors.shuosc.org/apache/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar…

【大数据】关于Kafka的进一步理解

前置: 文件host 192.168.11.13 192.168.11.14 192.168.11.30 脚本init_kafka.sh #!/bin/bash source /etc/profile if [ `whoami` != "root" ];then echo " only root can run me" exit 1 fi basepath=$(cd `dirname $0`; pwd) cd $basepath for host in `cat $…

Kafka kafka.common.OffsetOutOfRangeException 问题处理

最近公司的zk的down掉了, storm job 重启的时候报出 kafka.common.OffsetOutOfRangeException 异常网上查询了一些朋友的做法, 自己也看了一下代码, 最终还是解决了原因: zk挂掉的这几天, kafka中之前的数据已经被清掉了, 但是zk中保存的offset还是几天之前的, 导致KafkaSpout要获取的offset超过了当前kafka的offset, 就像ArrayIndexOutOfRangeException一样解决方案: Kaf…

nginx lua集成kafka

NGINX lua集成kafka 第一步:进入opresty目录 [root@node03 openresty]# cd /export/servers/openresty/ [root@node03 openresty]# ll total 356 drwxr-xr-x 2 root root 4096 Jul 26 11:33 bin drwxrwxr-x 44 1000 1000 4096 Jul 26 11:31 build drwxrwxr-x 43 1000 1000 4096 No…

openresty+lua+kafka方案与Tomcat接口并发度对比分析

1.openresty+lua+kafka 1.1 openresty+lua+kafka方案之前的项目基于nginx反向代理后转发到Tomcat的API接口进行业务处理,然后将json数据打入kafka中,但是随着业务的扩大,访问量越来越大,并发数也很高,导致程序遇到性能问题: 基于nginx的高性能特点,现在考虑使用一种openresty+lua+kafka,直接在nginx阶段将数据打入kafka中,来提高性能. 1.1.1 OpenResty运行原理 Nginx 采用的是 master…

OpenResty + Lua + Kafka 实现日志收集系统以及部署过程中遇到的坑

********************* 部署过程 ************************** 一:场景描述对于线上大流量服务或者需要上报日志的nginx服务,每天会产生大量的日志,这些日志非常有价值.可用于计数上报.用户行为分析.接口质量.性能监控等需求.但传统nginx记录日志的方式数据会散落在各自nginx上,而且大流量日志本身对磁盘也是一种冲击. 我们需要把这部分nginx日志统一收集汇总起来,收集过程和结果需要满足如下需求: 支持不同业务获取数据,如监控业务,数据分析统计…

Linux-./configure: error: the HTTP rewrite module requires the PCRE library.

这个问题是要解决: yum -y install pcre-devel 然后在yum的时候发现出错.问题是我的linux不能上网. 这个问题搞得烦死了.和主机能ping.但是就是不能上网: ping www.baidu.com之后就报: unknow host...... 解决办法: 之前的博客写过怎么解决,就是: 然后虚拟机重启,必须要重启,不然没用.然后就能上网了. 能上网之后 yum的问题就解决了.…

linux dns 配置

今天线上出现一个bug,图片上传失败. 经过排查发现,上传图片接口调用失败,ping 域名提示 unknow host,ping IP正常. 猜想可能是dns的问题.解决过程如下: /etc 下没有 resolv.conf,手工创建,之后重启网络服务,不起作用.删除 resolv.conf. 修改 /etc/sysconfig/network-scripts/ifcfg-eth0,增加一行 DNS1=10.202.72.118 重启网络服务,ping 域名正常.上传图片正常. 再回到/etc下,…

centos7.2环境elasticsearch-5.0.1+kibana-5.0.1+zookeeper3.4.6+kafka_2.9.2-0.8.2.1部署详解

centos7.2环境elasticsearch-5.0.1+kibana-5.0.1+zookeeper3.4.6+kafka_2.9.2-0.8.2.1部署详解环境准备: 操作系统:centos7.2 x86_64 # uname -a Linux u04elk03.yaya.corp 3.10.0-327.22.2.el7.x86_64 #1 SMP Thu Jun 23 17:05:11 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux 软件包: jdk-…

Linux时间同步方式记录

Linux时间同步部署Hadoop集群,遇到各个linux服务器的时间不同步的问题,于是研究了一下linux的时间同步方式,特将同步方式,总结如下: A. 前提条件 a) 网络是连通的,这个不用解释撒,呵呵 b) DNS服务器是正常的,可以通过ping来测试,如果出现unknow host,则需要设置DNS服务器. 设置DNS的方式: ---------------------------------------------- 执行:vi /etc/resolv…

KafkaSpout 浅析

最近在使用storm做一个实时计算的项目,Spout需要从 KAFKA 集群中读取数据,为了提高开发效率,直接使用了Storm提供的KAFKA插件.今天抽空看了一下KafkaSpout的源码,记录下心得体会. KafkaSpout基于kafka.javaapi.consumer.SimpleConsumer实现了consumer客户端的功能,包括 partition的分配,消费状态的维护(offset).同时KafkaSpout使用了storm的可靠API,并实现了spout的ack 和 fai…

1 weekend110的Linux带图形系统安装 + 网络配置 + 静态IP设置

一.weekend110的Linux带图形系统安装二.网络配置明明是配置好的啊,只能说是域名出现问题了, 出现ping:unknow host www.baidu.com的问题解决解决Ubuntu系统的每次开机重启后,resolv.conf清空的问题网络配置和静态IP设置,成功! 参考链接:http://jingyan.baidu.com/article/4d58d54137d2a19dd5e9c050.html Ctrl + Alt + F1,到图形界面 Ctrl…

CetnOS minimal 网络不可用

系统版本: CentOS-6.6-i386-minimal 问题说明: CentOS minimal 在安装完成之后,网络不可用,一些常见的命令报错,如: ping: unknow host xxxyum: Could not retrieve mirrorlist xxx error was 14: PYCURL ERROR 6 - "Could't resolve host 'mirrorlist.centos.org'" ... 原因说明: CentOS minimal 在安装完…

linux设置好IP后，可以访问内网，不能访问外网

1,设置网卡,ip vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 #描述网卡对应的设备别名,例如ifcfg-eth0的文件中它为eth0 BOOTPROTO=static #设置网卡获得ip地址的方式,可能的选项为static,dhcp或bootp,分别对应静态指定的 ip地址,通过dhcp协议获得的ip地址,通过bootp协议获得的ip地址 BROADCAST=192.168.0.255 #对应的子网广播地址 HWADDR=0…