一.准备三台服务器,配置好主机名和ip地址 二.服务器初始化:包括安装常用命令工具,修改系统时区,校对系统时间,关闭selinux,关闭firewalld,修改主机名,修改系统文件描述符,优化内核参数,优化数据盘挂载参数 1.安装常用命令工具 yum install vim net-tools bash-completion wget unzip ntp bzip2 epel-release -y 2.修改系统时区,校对系统时间 timedatectl set-timezone Asia/Sha

环境 主机名 IP 地址 安装路径 系统 sht-sgmhadoopdn-01 172.16.101.58 /opt/kafka_2.12-1.0.0 /opt/kafka(软连接) CentOS Linux release 7.3.1611 (Core) sht-sgmhadoopdn-02 172.16.101.59 sht-sgmhadoopdn-03 172.16.101.60 软件下载 Kafka下载 http://archive.apache.org/dist/kafka/1.0.0

Kafka是由Apache软件基金会开发的一个开源流处理平台,是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据. 特性:(1)通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能.(2)高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息.(3)支持通过Kafka服务器和消费机集群来分区消息.(4)支持Hadoop并行数据加载.相关术语:(1)BrokerKafka集群包含一个或多个服务器,这种服务

笔者博文:妳那伊抹微笑 itdog8 地址链接 : http://www.itdog8.com(个人链接) 博客地址:http://blog.csdn.net/u012185296 博文标题:_00024 妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0 个性签名:世界上最遥远的距离不是天涯,也不是海角.而是我站在妳的面前.妳却感觉不到我的存在 技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahou

Kafka安装配置 我们使用5台机器搭建Kafka集群: 1. cluster-1-namenode-1-001       172.16.0.147 2. cluster-1-datanode-1-001       172.16.0.144 3. cluster-1-datanode-1-003       172.16.0.145 4. cluster-1-datanode-1-002       172.16.0.146 5. cluster-1-datanode-1-004      

原有环境 主机名 IP 地址 安装路径 系统 sht-sgmhadoopdn-01 172.16.101.58 /opt/kafka_2.12-1.0.0 /opt/kafka(软连接) CentOS Linux release 7.3.1611 (Core) sht-sgmhadoopdn-02 172.16.101.59 sht-sgmhadoopdn-03 172.16.101.60 向集群增加节点 sht-sgmhadoopdn-04(172.16.101.66) 过程 一. 新节点配置

kafka提供工具kafka-producer-perf-test.sh用以压测, 参数 说明 messages 生产者发送总的消息数量 message-size 每条消息大小 batch-size 每次批量发送消息的数量 topics 生产者发送的topic threads 生产者使用几个线程同时发送 broker-list 安装kafka服务的机器ip:port列表 producer-num-retries 一个消息失败发送重试次数 request-timeout-ms 一个消息请求发送超时

系统环境 1.操作系统:64位CentOS Linux release 7.2.1511 (Core) 2.jdk版本:1.8.0_121 3.zookeeper版本:zookeeper-3.4.9.tar.gz 4.三台服务器:192.168.1.91; 192.168.1.92; 192.168.1.93; 说明:确保zookeeper集群已经在上面三台服务器上部署成功.可参考之前的文章:centos7安装zookeeper3.4.9集群. 下载kafka 访问网址:http://kafka

博文作者:妳那伊抹微笑 itdog8 地址链接 : http://www.itdog8.com(个人链接) 博客地址:http://blog.csdn.net/u012185296 博文标题:_00017 Kafka的体系结构介绍以及Kafka入门案例(0基础案例+Java API的使用) 个性签名:世界上最遥远的距离不是天涯,也不是海角.而是我站在妳的面前,妳却感觉不到我的存在 技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spar

KafkaManager 是雅虎开源的一款 针对kafka集群的web管理工具, 具体功能和介绍就不再这细讲 kafka-manager github官网  https://github.com/yahoo/kafka-manager 比较坑,github上仅提供了源码包,没有提供安装包,我们需要自己选择 release包 进行打包 release包下载地址, https://github.com/yahoo/kafka-manager/releases 笔者操作之时,最新版本 2.0.0.2了

一.kafka-manager简介 项目地址为:https://github.com/yahoo/kafka-manager 为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager.这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况.它支持管理多个集群.选择副本.副本重新分配以及创建Topic.同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具

1.概述 Kafka Eagle是一款用于管理Kafka的监控系统,且完全开源.当前Kafka Eagle发布了2.0.0版本.今天笔者就为大家来介绍一下2.0.0更新了哪些功能. 官网地址:http://www.kafka-eagle.org/ 开源地址:https://github.com/smartloli/kafka-eagle 2.内容 Kafka Eagle所包含的功能有数据面板.数据大屏.主题列表.消费者组.集群详情.监控中心.告警策略.系统管理等功能.那在Kafka Eagle

ThinkPHP6.0 的环境: PHP >= 7.1.0 我本地环境: Win10 PhpStudy 安装 PhpStudy 如果你已经安装 PhpStudy 或其他环境,请忽略这里 安装方法特别的简单一直下一步即可 注意事项 安装路径不能包含 “中文” 或者 “空格”,否则启动会报错(例如错误提示:Can’t change dir to ‘G:\x65b0\x5efa\x6587\) 保证安装路径是纯净的,安装路径下不能有已安装的 V8 版本,若重新安装,请选择其它路径 安装成功后开启服务即

概述 **本人博客网站 **IT小神 www.itxiaoshen.com 定义 Apache Kafka官网地址 http://kafka.apache.org/ 最新版本为 3.0.0 Apache Kafka是一个开源的分布式事件流平台,使用Scala和Java混合编写,Kafka最初由Linkedin公司开发,2011年贡献给了Apache基金会并成为顶级开源项目.消息队列就是用于数据生产方和消费方解耦合的中间件.顾名思义,主体就是一个队列的形式收集消息,数据在消费端按照FIFO的原则被

1.概述 最近有同学留言,关于Kafka Eagle的一些使用问题.今天笔者就为大家来详细介绍Kafka Eagle 3.0.1的功能以及使用方法. 2.内容 在3.0.1版本中,EFAK优化了分布式模式的服务性能,减少了磁盘IO和网络IO的操作次数,提升了内存和CPU的使用率.下面,我们就来看看3.0.1的相关功能. 2.1 基础环境 部署EFAK所需要的基础环境如下: 2.2.1 硬件和操作系统 操作系统:Linux系统即可(Ubuntu.CentOS等) JDK:JDK8以上 CPU:1核

Spark详解(03) - Spark3.0.0运行环境安装 Spark运行模式 Spark常见部署模式: Local模式:在本地部署单个Spark服务 所谓的Local模式,就是不需要其他任何节点资源就可以在本地执行Spark代码的环境,一般用于教学,调试,演示等. 在IDEA中运行代码的环境称之为开发环境,和Local模式还是有区别的. Standalone模式:Spark自带的任务调度模式.(国内常用) YARN模式:Spark使用Hadoop的YARN组件进行资源与任务调度.(国内常用)

一.版本的选择 之前安装的Mysql,现在才来总结,好像有点晚,后台换系统了,现在从新装上Mysql,感觉好多坑,我是来踩坑,大家看到坑就别跳了,这样可以省点安装时间,这个折腾了两天,安装了好多个版本,终于安装好了,最终选择了最新的版本mysql-installer-community-5.7.16.0. 以前是在其他软件网站下载的,但是觉得还是在官方网站下载比较靠谱. 进入到MySql官方网站,进入到下载界面.看到这个,选择"MySQL Installer 5.7.16",而不是&q

特殊注明:安装zabbix 2.4.8和2.4.6遇到2个问题,如下:找了很多解决办法,实在无解,只能换版本,尝试换(2.2.2正常 | 3.0.3正常)都正常,最后决定换3.0.3 1.Error connecting to database: No such file or directory 2.如图 ========================================================= 正文开始   1.安装mysql(略过,参考mysql5.1安装)   2

前面已经介绍了分布式监控系统Zabbix-3.0.3-完整安装记录(2)-添加mysql监控,但是没有提供可以直接使用的Key,太过简陋,监控效果不佳.要想更加仔细的监控Mysql,业内同学们都会选择采用Percona Monitoring Plugins监控MySQL.以下就是Zabbix中通过percona监控MySQL的操作记录:

elasticsearch5.0.0 安装插件及配置过程 由于es5.0是里程碑式的更新,所以很多变化的地方,暂时我就插件安装遇到的问题记录一下. 插件安装命令 2.3版本的安装命令 安装Marvel ./bin/plugin -i elasticsearch/marvel/latest 5.0版本的安装命令 安装Marvel sudo bin/elasticsearch-plugin install x-pack 是不是很尴尬,怎么都报错找不到Marvel,因为在5.0把很多插件都集成到了x-

查看当前系统版本是否支持 当前,nginx发布包支持以下Linux操作系统版本: RHEL/CentOS: Version Supported Platforms 5.x x86_64, i386 6.x x86_64, i386 7.x x86_64, ppc64le Debian: Version Codename Supported Platforms 7.x wheezy x86_64, i386 8.x jessie x86_64, i386 Ubuntu: Version Coden