Kafka介绍 Kafka是分布式的发布—订阅消息系统.它最初由LinkedIn(领英)公司发布,使用Scala和Java语言编写,与2010年12月份开源,成为Apache的顶级项目.Kafka是一个高吞吐量的.持久性的.分布式发布订阅消息系统. 三大特点: 高吞吐量 可以满足每秒百万级别消息的生产和消费——生产消费. 持久性 有一套完善的消息存储机制,确保数据的高效安全的持久化——中间存储. 分布式 基于分布式的扩展和容错机制:Kafka的数据都会复制到几台服务器上.当某一台故障失效时,生产…

Kafka 安装配置 windows 下 标签(空格分隔): Kafka Kafka 内核部分需要安装jdk, zookeeper. 安装JDK 安装JDK就不需要讲解了,安装完配置下JAVA_HOME,和Path,将java安装目录和运行文件目录配置下就ok拉. 安装地址: 下载 安装 zookeeper 安装地址:下载 安装完zookeeper 需要配置如下信息: 下载后,解压放在目录D:\bigdata(本文所用的目录)下,关于zookeeper以及kafka的目录,路径中最好不要出现空格…

kudu介绍及安装配置 介绍 Kudu 是一个针对 Apache Hadoop 平台而开发的列式存储管理器.Kudu 共享 Hadoop 生态系统应用的常见技术特性: 它在 commodity hardware(商品硬件)上运行,horizontally scalable(水平可扩展),并支持 highly available(高可用)性操作.此外,Kudu 还有更多优化的特点: OLAP 工作的快速处理. 与 MapReduce,Spark 和其他 Hadoop 生态系统组件集成. 与 Apa…

Linux环境Kafka集群安装配置及常用命令 Kafka 消息队列内部实现原理 Kafka架构 一.下载Kafka安装包 二.Kafka安装包的解压 三.设置环境变量 四.配置kafka文件 4.1 server.properties 五.启动kafka集群并测试 5.1创建Topic 5.2创建broker 5.3创建订阅者 六.kafka常用命令 6.1创建主题(4个分区,2个副本) 6.2查询 6.3发送和消费 6.4平衡leader 6.5kafka自带压测命令 Kafka 用途:在流…

MySQL用了很多年了,今天写个总结. 一.介绍 MySQL是开源软件,后来归Oracle所有.开源便于软件的完善改进.但开源不等于滥用,也不等于完全免费.MySQL有商业版,商业用途是付费的.也有免费版(社区版),方便软件开发用.一般程序员下载社区免费版. 二.下载 去官网下载安装包.下载安装版 社区版的下载项有很多,有MySQL服务端MySQL Community Server(下载这个),有shell工具,还有Linux上用的yum安装包和suse的安装包.我看到有一个MySQL on W…

本节内容: 消息中间件 消息中间件特点 消息中间件的传递模型 Kafka介绍 安装部署Kafka集群 安装Yahoo kafka manager kafka-manager添加kafka cluster 一.消息中间件 消息中间件是在消息的传输过程中保存消息的容器.消息中间件在将消息从消息生产者到消费者时充当中间人的作用.队列的主要目的是提供路由并保证消息的传送:如果发送消息时接收者不可用,消息对列会保留消息,直到可以成功地传递它为止,当然,消息队列保存消息也是有期限的. 二.消息中间件特点 1…

搭建过程 Hyper-V 是自Windows Server2008 以来提供的虚拟机管理软件,它操作简便,功能也不错,可以方便的在它里面安装各种操作系统,如图所示: 现在,想利用这几台虚拟服务器搭建一个负载均衡环境,并且想在虚拟机的宿主机上对负载均衡的主机进行管理,于是在宿主机.WinServer2008.WinServer2008-2.WinServer2008-3上面先分别安装好NLB功能: 安装完成后,打开“网络负载平衡管理器”,新建群集,连接到作为群集服务器当中的一台主机,注意,这里说的…

一.概述 1.1git概念 Git是一个开源的分布式版本控制系统,用于敏捷高效处理任意规模的项目,其作者为Linux创造者Linus Torvalds为管理Linux内核而开放的一个开源的版本控制柔软剂与其他版本控制工具例如:CVS,Subversion 等不同,它可采用分布式版本,不必依赖于服务器端软件支持. 1.2Git与SVN区别 Git不仅仅是版本控制系统,也是一个内容管理系统相比与SVN的区别如下:1.GIT为分布式,SVN则不是:2.GIT按照元数据形式存储内容,讲所有资源孔子系统都…

前言: 国内好些空间.博客是支持Windows Live Writer客户端的,也就是说使用Windows Live Writer不用登陆博客网站,就可以向不同的博客网站发布博客了. Windows Live Writer下载地址:http://download.live.com/writer. 安装步骤: 1. 双击下载的wlsetup-web.exe文件,打开windows 软件包界面, 默认选择"安装所有软件包",不过为了少给我们电脑增加负担,最好是点击下面的"选择要安…

一.背景 由于要学习MongoDB,所以就下载了最新的MongoDB 的Community Server版的4.0.0版本.可能是新的版本的缘故,在安装配置上与MongoDB3有许多不同,而且在3中的许多配置(如 设置dbpath.logpath.安装服务等),在4中都可以省去. ​​也就是说,在MongoDB4.0.0中,只要安装好了,基本不用配置就可以用了.由于之前不知道这些,而且安装配置的教程都是参照MongoDB3的,所以走了许多弯路.在此,进行一些安装记录. 二.下载安装 下载 在mo…