在<流数据平台构建实战指南>第一部分中,Confluent联合创始人Jay Kreps介绍了如何构建一个公司范围的实时流数据中心.InfoQ前期对此进行过报道.本文是根据第二部分整理而成.在这一部分中,Jay给出了一些构建数据流平台的具体建议. 限制集群数量 Kafka集群数量越少,系统架构就越简单,也就意味着集成点更少,新增应用程序的增量成本更低,数据流推理更简单.但出于以下几个方面的考虑,再少也不可能只有一个集群: 将活动限制在本地数据中心.Jay建议将所有的应用程序都连接到本地数据中心的…

近来,有许多关于“流处理”和“事件数据”的讨论,它们往往都与像Kafka.Storm或Samza这样的技术相关.但并不是每个人都知道如何将这种技术引入他们自己的技术栈.于是,Confluent联合创始人Jay Kreps发布了<流数据平台构建实战指南>.他结合自己过去五年中在LinkedIn构建Apache Kafka的经验,介绍了如何构建一个公司范围的实时流数据中心. 他们将该实时流数据中心称为流数据平台,其出现主要是由于需要: 在关系型OLTP数据库.Hadoop.Teradata.搜索系…

概述 **本人博客网站 **IT小神 www.itxiaoshen.com 定义 Apache Kafka官网地址 http://kafka.apache.org/ 最新版本为 3.0.0 Apache Kafka是一个开源的分布式事件流平台,使用Scala和Java混合编写,Kafka最初由Linkedin公司开发,2011年贡献给了Apache基金会并成为顶级开源项目.消息队列就是用于数据生产方和消费方解耦合的中间件.顾名思义,主体就是一个队列的形式收集消息,数据在消费端按照FIFO的原则被…

Kafka 的作者 Neha Narkhede 在 Confluent 上发表了一篇博文,介绍了Kafka 新引入的KSQL 引擎——一个基于流的SQL.推出KSQL 是为了降低流式处理的门槛,为处理Kafka 数据提供简单而完整的可交互式SQL 接口.KSQL 目前可以支持多种流式操作,包括聚合(aggregate).连接(join).时间窗口(window).会话(session),等等. 与传统 SQL 的主要区别 KSQL 与关系型数据库中的 SQL 还是有很大不同的.传统的 SQL 都…

一.Cloudera Manager介绍 Cloudera Manager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器,这款利器具有集群自动化安装.中心化管理.集群监控.报警等功能,使得安装集群从几天的时间缩短在几小时以内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率. 开始之前其实有很多的工作要做,比如配置IP地址.关闭防火墙.配置SSH免密登录等,这些都是比较常规的环境配置,这里不再赘述,不懂者可以参考大数据 -- Hadoop集群环境搭建中部分内容. 附上…

Kyligence联合创始人兼CEO,Apache Kylin项目管理委员会主席(PMC Chair)韩卿 武汉市云升科技发展有限公司董事长,<智慧城市-大数据.物联网和云计算之应用>作者杨正洪 万达网络科技集团大数据中心副总经理,<Spark高级数据分析>中文版译者龚少成 数据架构师,IT脱口秀(清风那个吹)创始人,<开源大数据分析引擎Impala实战>作者贾传青 等等业内专家联合推荐 Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查…

CDH构建大数据平台-使用自建的镜像地址安装Cloudera Manager 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.   一.搭建CM私有仓库 详情请参考我的笔记: https://www.cnblogs.com/yinzhengjie/p/10412455.html. 1>.安装web服务器并启动  [root@node105 ~]# yum -y install httpd Loaded plugins: fastestmirror Loading mirror s…

 CDH构建大数据平台-配置集群的Kerberos认证安全 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 当平台用户使用量少的时候我们可能不会在一集群安全功能的缺失,因为用户少,团队规模小,相对容易把控,开发人员直接也彼此了解.这时候只需要做好团队内部或是企业通过一些列行政管理手段就能管理好集群的安全问题.但是别忘了我们的平台定位可是作为一个单一的大数据来支持企业内部所有应用的.正所谓人上一百,形形色色.当平台用户达到一定数量之后其素质难免会参差不齐,大数据平台面对的也不再是…

CDH构建大数据平台-Kerberos高可用部署[完结篇] 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.  一.安装Kerberos相关的软件包并同步配置文件 1>.实验环境说明 [root@node101.yinzhengjie.org.cn ~]# cat /etc/redhat-release CentOS Linux release (Core) [root@node101.yinzhengjie.org.cn ~]# [root@node101.yinzhengji…

初识kafka https://www.cnblogs.com/wenBlog/p/9550039.html 简介 Kafka经常用于实时流数据架构,用于提供实时分析.本篇将会简单介绍kafka以及它为什么能够广泛应用. kafka的增长是爆炸性的.2017年超过三分之一的世界五百强公司在使用kafka.这其中很多公司每天通过kafka处理超过TB级别的数据.kafka被用于实时数据流.收集大数据或者做一些实时分析.kafka是也为基于内存的微服务提供数据持久化并把数据传输给复杂的事件流系统和I…