confluent部署:
confluent介绍
https://www.cnblogs.com/dadadechengzi/p/9506964.html
kafka connect:
https://www.cnblogs.com/dadadechengzi/p/9506216.html
官网文档:
https://docs.confluent.io/current/
部署:
https://blog.csdn.net/zzq900503/article/details/83419245 GG
https://www.jianshu.com/p/87ae3a822f2f
官网安装:
https://docs.confluent.io/current/quickstart/cos-quickstart.html#cos-quickstart
tail -500 /data1/confluent-5.2.2/logs/connect/kafka-connect.log |grep error
confluent status
confluent start
confluent stop
平台自带监控平台: 适用期30天
Control Center
https://docs.confluent.io/current/control-center/installation/install-apache-kafka.html
Confluent的组件
Confluent Platform 包括更多的工具和服务,使构建和管理数据流平台更加容易。
Confluent Control Center(闭源)。管理和监控Kafka最全面的GUI驱动系统。
Confluent Kafka Connectors(开源)。连接SQL数据库/Hadoop/Hive
Confluent Kafka Clients(开源)。对于其他编程语言,包括C/C++,Python
Confluent Kafka REST Proxy(开源)。允许一些系统通过HTTP和kafka之间发送和接收消息。
Confluent Schema Registry(开源)。帮助确定每一个应用使用正确的schema当写数据或者读数据到kafka中。
confluent:
安装JDK
https://www.cnblogs.com/hongfeng2019/p/11331688.html
下载部署
https://docs.confluent.io/current/installation/installing_cp/zip-tar.html
curl -O http://packages.confluent.io/archive/5.3/confluent-5.3.1-2.12.tar.gz
tar xzf confluent-5.3.1-2.12.tar.gz -C /data1/
添加环境变量:
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.222.b10-0.el7_6.x86_64
JRE_HOME=$JAVA_HOME/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:/data1/confluent-5.2.2/bin
source /etc/profile
可能还配zK
启动
confluent status
测试:
curl localhost:8083/connectors
#如果场景是指用connector,做一个systemctl启动服务
cd /data1/confluent-5.2.2/bin
cd /usr/lib/systemd/system/
ll | grep confluent
[root@bigdata-confluent-1 system]# cat confluent-kafka-connect.service
[Unit]
Description=Apache Kafka Connect - distributed
Documentation=http://docs.confluent.io/
After=network.target
[Service]
Type=simple
Environment="KAFKA_HEAP_OPTS=-Xms1G -Xmx6G"
ExecStart=/data1/confluent-5.2.2/bin/connect-distributed /data1/confluent-5.2.2/etc/schema-registry/connect-avro-distributed.properties
TimeoutStopSec=30
Restart=always
[Install]
WantedBy=multi-user.target
---------------
systemctl daemon-reload
systemctl enable confluent-kafka-connect.service
systemctl star confluent-kafka-connect
/data1/confluent-5.2.2/etc/schema-registry
vim connect-avro-distributed.properties
bootstrap.servers=152.32.140.94:9092,152.32.140.94:19092,152.32.140.143:9092,152.32.140.143:19092
/data1/confluent-5.2.2/bin/connect-distributed /data1/confluent-5.2.2/etc/schema-registry/connect-avro-distributed.properties
confluent部署:的更多相关文章
- Tencent Cloud 腾讯云上部署 EMR Cluster + Kafka + Confluent (Schema-Registry)
腾讯云上有些操作比起 Amazon AWS 还是很方便的, 尤其部署EMR Cluster,下面详细介绍步骤:
- Confluent Platform 3.0支持使用Kafka Streams实现实时的数据处理(最新版已经是3.1了,支持kafka0.10了)
来自 Confluent 的 Confluent Platform 3.0 消息系统支持使用 Kafka Streams 实现实时的数据处理,这家公司也是在背后支撑 Apache Kafka 消息框架 ...
- ELK部署与使用总结
前言 自己最近在负责elk的工作,在这里想写一个总结,把好多遇到的问题啥的,都写一下,也做个笔记, 目录 环境介绍 kafka,zookeeper安装 logstash安装 elasticsearch ...
- Kafka Confluent
今天我们要讲的大数据公司叫作Confluent,这个公司是前LinkedIn员工出来后联合创办的,而创业的基础是一款叫作Apache Kafka的开源软件. Confluen联合创始人Jun Rao即 ...
- 01.Flink笔记-编译、部署
Flink开发环境部署配置 Flink是一个以Java及Scala作为开发语言的开源大数据项目,代码开源在github上,并使用maven来编译和构建项目.所需工具:Java.maven.Git. 本 ...
- Confluent之Kafka Connector初体验
概述 背景 Apache Kafka 是最大.最成功的开源项目之一,可以说是无人不知无人不晓,在前面的文章<Apache Kafka分布式流处理平台及大厂面试宝典>我们也充分认识了Kafk ...
- Kafka部署安装
一.环境准备 1.jdk 8+ 2.zookeeper 3.kafka 说明:在kafka较新版本中已经集成了zookeeper,所以不用单独安装zookeeper,只需要在kafka文件目录中启动z ...
- [原]CentOS7.2部署node-mapnik
转载请注明表作者think8848及出处(http://think8848.cnblogs.com) node-mapnik依赖项中要求g++ >= 5, toolchain (>= GL ...
- 使用Visual Studio 2015 开发ASP.NET MVC 5 项目部署到Mono/Jexus
最新的Mono 4.4已经支持运行asp.net mvc5项目,有的同学听了这句话就兴高采烈的拿起Visual Studio 2015创建了一个mvc 5的项目,然后部署到Mono上,浏览下发现一堆错 ...
随机推荐
- BZOJ 1444: [Jsoi2009]有趣的游戏 AC自动机+概率与期望+矩阵乘法
这道题还比较友好~首先,构建出来 $AC$ 自动机,那么我们要求的就是从 $0$ 号点走无限次走到一个终止节点的概率. 考虑构建转移矩阵 $M,$ $M_{i,j}$ 表示节点 $i$ 转移到节点 $ ...
- 交换机配置——VTP管理交换机的VLAN配置
一.实验目的:将S1配置成VTP-Server,S2配置成VTP-Transparent,S3配置成VTP-Client,S4配置成VTP-Client 二.拓扑图如下 三.具体步骤: (1)S1交换 ...
- TTTTTTTTTTTTTTTTTTT UVA 2045 Richness of words
J - Richness of words Time Limit:500MS Memory Limit:65536KB 64bit IO Format:%I64d & %I64 ...
- 火焰图分析CPU性能问题
1.找出应用程序或内核消耗CPU的PID 2.执行perf record 命令,记录该PID的行为 perf record -a -g -p 14851 -- sleep 30 --30秒后退出 3. ...
- 性能指标:TPS 并发数 响应时间 QPS
响应时间(RT)reponse time指系统对请求作出响应的时间.一般关注平均响应时间和最大响应时间.对于单机没有并发操作的应用系统而言,普遍认为响应时间是一个合理且准确的性能指标,但响应时间并不能 ...
- python3精品解析运算符
算数运算符 +:两个对象相加 -:得到负数或者,或者一个数减去另一个数 *:两个数相乘或者是返回一个被重复若干次的字符串 /:5/2等于2.1 5//2=2(/有余数,//取整) %:取模(5%2=1 ...
- cha[] strrev(char[])
反转字符串 保留在原函数中
- SRS之SrsRtmpConn::stream_service_cycle详解
首先使用 obs 推流符合如下流程:参考自 Hanvision Makito X cann't publish to SRS.. FFMPEG: C/S: Handshake C: ConnectAp ...
- LeetCode 94. 二叉树的中序遍历(Binary Tree Inorder Traversal)
题目描述 给定一个二叉树,返回它的中序 遍历. 示例: 输入: [1,null,2,3] 1 \ 2 / 3 输出: [1,3,2] 进阶: 递归算法很简单,你可以通过迭代算法完成吗? 解题思路 由于 ...
- Laravel find in set排序
做项目遇到个需求,需要对结果集中的数据进行指定规则的顺序排列.例如,用户状态有四种: 0=>未激活:1=>正常:2=>禁用:3=>软删除 现在的需求是,我要按照:正常-> ...