kafka 自启脚本】的更多相关文章

每次使用的时候都要手动去启动真头痛! 解决办法,自启吧! 方法一: 方法一: /etc/rc.local中添加 文件地址记得替换掉 ,我没使用这种,发现不是每次都行,就换了第二种方法 /usr/local/kafka_2.11-0.9.0.1/bin/kafka-server-start.sh  /usr/local/kafka_2.11-0.9.0.1/config/server.properties cd /etc/rc.d/init.d touch kafka chmod +x kafka…
今天整理服务器上SpringBoot项目发现是自启的,于是想看看实现.翻看离职同事的交接文档发现一个***.service文件内容如下 [Unit] Description=sgfront After=network.target [Service]Type=forkingUser=rootPrivateTmp=trueRestart=alwaysWorkingDirectory=/opt/data/StudyGameEnvironment=JAVA_HOME=/opt/data/jdk1.8.…
启动kafka集群,关闭kafka集群脚本 在$KAFKA_HOME/bin下新建如下脚本文件 start-kafka.sh #!/bin/bash BROKERS="mini41 mini42 mini43" APPHOME="/home/hadoop/apps/kafka" APP_NAME="kafka_2.10-0.10.1.0" for i in $BROKERS do echo "Starting ${APP_NAME} o…
#!/bin/bash cd /root/xcloud/ str=$"/n" sstr=$(echo -e $str) nohup ./deploy >>/dev/null & echo "$sstr" 说明:1)nohup执行后,需要回车跳过当前命令,$str变量表示回车;2)nohup需要用相对路径执行;3)将脚本加入rc.local中执行开机自启.…
1.vi /home/dpf/mqtt.sh #!/bin/sh/home/dpf/Desktop/Udp_Single_Async_Mqtt_yuan/hwjc_udp_receive_mqtt & 2.系统脚本可以放置在/etc/rc.d/init.d 中并建立/etc/rc.d/rc?.d 链接,也可以直接放置在/etc/rc.d/rc.local 中. init.d 脚本包含完整的 start,stop,status,reload 等参数,是标准做法,推荐使用. 为特定用户使用的程序(如…
#!/bin/sh # # chkconfig: 345 99 01 # description: Kafka # # File : Kafka # # Description: Starts and stops the Kafka server # source /etc/rc.d/init.d/functions KAFKA_HOME=/opt/kafka KAFKA_USER=kafka # See how we were called. case "$1" in start)…
/etc/init.d$ vi kafka-start-up.sh #!/bin/bash #export KAFKA_HOME=$PATH export KAFKA_HOME=/opt/Kafka/kafka_2.- #chkconfig: #description:kafka #processname:kafka in start) chmod -R $KAFKA_HOME/logs chmod -R /data/kafka $KAFKA_HOME/bin/zookeeper-server-…
1.看是否rc.local 第一行如果是 #!/bin/sh -e 改成 #!/bin/bash sudo systemctl enable rc-local.service 2.看rc.local的权限 chmod a+x /etc/rc.local…
#!/bin/sh## rabbitmq-server RabbitMQ broker## chkconfig: - 80 05# description: Enable AMQP service provided by RabbitMQ# ### BEGIN INIT INFO# Provides: rabbitmq-server# Required-Start: $remote_fs $network# Required-Stop: $remote_fs $network# Descript…
往往我们在工作中需要自行写一些脚本来管理服务,一旦服务异常或宕机等问题,脚本无法自行管理,当然我们可以写定时任务或将需要管理的脚本加入自启等方法来避免这种尴尬的事情,case适用与写启动脚本,下面给大家带来一个开机自启管理nginx服务,写的不好,望各位大佬指点评价... 已知nginx常用管理命令为: 启动:/application/nginx/sbin/nginx 停止:/application/nginx/sbin/nginx –s stop 重启:/application/nginx/s…
安装脚本 #!/bin/bash # auto install kafka echo "========= Start to install kafka ==============" function install_kafka(){ if [ -f "./kafka_2.12-2.0.0.gz" ];then echo "Start installing kafka" isopen9=$(firewall-cmd --query-port=/…
kafka-server-start脚本 ------启动kafka server kafka-server-stop脚本 ------关闭kafka server kafka-topics脚本 --------------负责kafka中Topic相关操作.如:创建Topic,查询Topic详细信息,添加分区并完成新增的副本等等 kafka-preferred-replica-election脚本 ----------------触发指定的分区进行“优先副本”的选举,这样可以让分区Leader…
1) 首先配置SSH免密登录,在这里我用kafka(151)这台机器来作为启动脚本的存放和执行机器 [root@kafaka3 .ssh]# pwd #生成SSH KEY /root/.ssh [root@kafaka .ssh]# ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty f…
在上一篇文章<Linux安装Kafka>中,已经介绍了如何在Linux安装Kafka,以及Kafka的启动/关闭和创建发话题并产生消息和消费消息.这篇文章就介绍介绍Kafka的那些常用的命令. 关于Kafka的启停/创建话题/消息的产生和消费等命令在上一篇文章<Linux安装Kafka>中已经指出,这里就不说了.就说说其他常用命令. ♛ 1 查看消费者状态和消费详情 有时候我们需要关心消费者应用的状态,一般消费者应用会自己通过日志获知当前消费到了哪个topic的哪个partitio…
一.添加开机自启服务 在centos7中添加开机自启服务非常方便,只需要两条命令(以Jenkins为例): systemctl enable jenkins.service #设置jenkins服务为自启动服务 sysstemctl start jenkins.service #启动jenkins服务 二.添加开机自启脚本 在centos7中增加脚本有两种常用的方法,以脚本autostart.sh为例: #!/bin/bash #description:开机自启脚本 /usr/local/tom…
Kafka 0.9版本对java client的api做出了较大调整,本文主要总结了Kafka 0.9在集群搭建.高可用性.新API方面的相关过程和细节,以及本人在安装调试过程中踩出的各种坑. 关于Kafka的结构.功能.特点.适用场景等,网上到处都是,我就不再赘述了,直接进入正文 Kafka 0.9集群安装配置 操作系统:CentOS 6.5 1. 安装Java环境 Zookeeper和Kafka的运行都需要Java环境,所以先安装JRE,Kafka默认使用G1垃圾回收器,如果不更改垃圾回收器…
关于Ubuntu运行级别.开机启动脚本的说明 目录简介 1.1介绍Ubuntu下面的自启动脚本目录 1.2 Linux操作系统运行级别的概念 1.3关于操作系统自启脚本的启动顺序 1.4    Linux操作系统运行级别的概念 1.5 自启和关闭自启服务 1.6 对于init [number]命令 Content: 1.1 介绍Ubuntu操作系统关于自启动脚本的几个目录 其中rc0.d~rc.6.d文件夹下分别对应的是操作系统0-6级运行的状态下需要执行的脚本.此外还有rcS.d文件夹和rc.…
四.TopicDeletionManager.scala 管理topic删除的状态机,具体逻辑如下: TopicCommand发送topic删除命令,在zk的/admin/delete_topics目录下创建topic节点 controller会监听该zk目录下任何节点的变更并为对应的topic开启删除操作 controller开启一个后台线程处理topic的删除.使用该线程主要为了以后能够增加TTL(time to live)的特性.无论何时开启或重启topic删除操作时都会通知该线程.当前,…
Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计.这个独特的设计是什么样的呢 介绍 Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计.这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统术语: •Kafka将消息以topic为单位进行归纳.•将向Kafka topic发布消息的程序成为producers.•将预订topics并消费消息的程序成为consumer.•Kafka以集群的…
线上kafka与storm的空载情况下负载都比较高, kafka达到122%, storm平均负载达到, 20%,  当前是通过Ambari下管理kafka的, a. 先停止s5的kafka进程.b. 开启s5 上kafka的jmx远程监控, kafka的启动命令为: source /usr/hdp/current/kafka-broker/config/kafka-env.sh ; /usr/hdp/current/kafka-broker/bin/kafka start , kafka 的s…
第一步:准备 1. 操作系统 CentOS-7-x86_64-Everything-1511 2. 安装包 kafka_2.12-0.10.2.0.tgz zookeeper-3.4.9.tar.gz 3. Java 环境 Zookeeper 和 Kafka 的运行都需要 Java 环境,Kafka 默认使用 G1 垃圾回收器.如果不更改垃圾回收期,官方推荐使用 7u51 以上版本的 JRE .如果使用老版本的 JRE,需要更改 Kafka 的启动脚本,指定 G1 以外的垃圾回收器. 本文使用系…
本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容: 基础环境安装 zookeeper集群的搭建 kafka集群的搭建 hadoop/hbase集群的搭建 spark集群的搭建 flink集群的搭建 elasticsearch集群的搭建 alluxio集群的搭建 1.kafak简介 Kafka是一个分布式.分区的.多副本的.多订阅者的消息队列,以高吞吐量著称,主要用于实时数据的传输和处理,总体架构如下 更多内容请阅读官网 http://kafka.apache.org/document…
前置资料  kafka kafka消费中的问题及解决方法: 情况1: 问题:脚本读取kafka 数据,写入到数据库,有时候出现MySQL server has gone away,导致脚本死掉.再次启动,这过程中的kafka数据丢失. 原因:MySQL server has gone away 出现可能是连接超时,可能超过每秒请求上限-这些异常是小概率事件,难以避免.git kafka 的demo脚本是实时监听的脚本, 简单明了,没有再去针对kafka偏移量研究:但是一旦断掉, 过程中的kafk…
简介: 不想通过kafka shell来管理kafka已创建的topic信息,想通过管理页面来统一管理和查看kafka集群.所以选择了大部分人使用的kafka manager,我一共有一台主机master和三台节点slave1,slave2,slave3,一共有三个zookeeper server和三个kafka broker,分别在master,slave1,slave2.所以我把kafka manager安装在了slave3的服务器上面. 一.启动kafka的JMX端口的访问 至于JMX是什…
由于种种原因我们需要重启服务器或断电重启,服务都得手动一个一个启动太过麻烦,所以专门了解开机自启脚本的设置方法. 方式一: 直接在脚本/etc/rc.d/rc.local(和/etc/rc.local是同一个文件,软链)末尾添加自己的脚本.然后,增加执行权限chmod +x /etc/rc.d/rc.local. 方法二: 每次登录自动执行 也可以设置每次登录自动执行脚本,在/etc/profile.d/目录下增加sh脚本, 用户第一次登录时,/etc/profile会遍历/etc/profil…
Kafka 简介 Apache Kafka是一个分布式发布-订阅消息传递系统. 它最初由LinkedIn公司开发,LinkedIn于2010年贡献给了Apache基金会并成为顶级开源项目.Kafka用于构建实时数据管道和流式应用程序.它具有水平扩展性.容错性.极快的速度,目前也得到了广泛的应用. Kafka不但是分布式消息系统而且也支持流式计算,所以在介绍Kafka在Apache Flink中的应用之前,先以一个Kafka的简单示例直观了解什么是Kafka. 安装 本篇不是系统的,详尽的介绍Ka…
<Apache kafka实战>读书笔记-管理Kafka集群安全之ACL篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 想必大家能看到这篇博客的小伙伴,估计你对kafka已经有了深入对一步了解了,因为现在的你已经不考虑如何部署kafka以及调优了,而是考虑到kafka安全的问题.其实,在很多企业中,很少有人考虑到kafka的安全,小到几十人的小型互联网公司,达到某些云平台的云服务(我这里就不说是哪家云公司了),他们默认都是不会给kafka配置相关安全策略的,而是要求用户自…
<Apache Kafka 实战>读书笔记-认识Apache Kafka 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.kafka概要设计 kafka在设计初衷就是为了解决互联网公司的超级大量级数据的实时传输.为了实现这个目标,kafka在设计之初就需要考虑以下四个方面: 第一:吞吐量/延迟 第二:消息持久化  第三:负载均衡和故障转移 第四:伸缩性 1>.吞吐量/延时介绍 我们先打个比方:若kafka处理一条消息需要花费2ms,那么计算得到的吞吐量不会超过500…
Zookeeper+Kafka完全分布式实战部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 其实我之前部署过kafak和zookeeper的完全分布式,集群是可以正常使用没错,但是在调优方案我做的很少,本次部署模拟我实际生成环境中的kafka版本zookeeper的一些调优措施,以及一些脚本管理等.部署集群需要你自行安装jdk,本篇博客就直接上干货了. 关于本篇博客的测试版本视频:链接:https://pan.baidu.com/s/1S3UqwTH05RKQOuQ9bw…
一.添加开机自启服务 在centos7中添加开机自启服务非常方便,只需要两条命令(以Jenkins为例): systemctl enable jenkins.service #设置jenkins服务为自启动服务 systemctl start jenkins.service #启动jenkins服务 二.添加开机自启脚本 在centos7中增加脚本有两种常用的方法,以脚本autostart.sh为例: #!/bin/bash #description:开机自启脚本 /usr/local/tomc…