问题 先前存储kafka日志的磁盘空间太小,zabbix警报不断,于是加了磁盘,将日志存到新磁盘上. 解决方案 依次在每台机器上操作,保证有机器能响应producer和consumer的操作. 加磁盘需要重启服务器. 1. 拷贝日志 服务器启动后,将以前的日志拷贝到新目录 cp /data/kafka-logs /home/data/kafka-logs 2. 修改配置文件 这里以默认配置文件为例config/server.properties vim server.properties #修改

RPM安装MySQL5.7并更改数据目录 文末附MySQL完整配置文件 官网地址:https://dev.mysql.com/downloads/mysql/5.7.html#downloads 注意: 下载安装包必须是.rpm-bundle.tar结尾的 安装的时候对应自己下载的版本号,不要直接复制本文命令 一.准备工作 1.1 上传安装包到服务器 1.2 解压 [root@localhost mysql_install_pkg]# tar xvf mysql-5.7.32-1.el7.x86

1.新建新数据目录,检查目录属主机权限,一般情况下属于mysql组,myql用户,因为我们安装mysql的时候会新建该账户和组. 2.目录权限检查完毕,停止数据库服务. 3.移动数据目录 ,我用的是mv命令直接移动到新目录. 4.更改配置文件内容,主要有 4.1 client块和mysqld块的sock路径,更改为新路径. 4.2 mysqld块检查是否有datadir目录,如果没有是启动不成功的,没有就添加该配置项 datadir = 新数据目录 4.3 如果你是inodb引擎,往下找还有2个

weblogic版本10.3.3.0 更改控制台密码后,服务重启失败,报错如下: -------------------------------------------------------------------------------------------------- <2013-10-8 23:40:04> <INFO> <NodeManager> <Server output log file is '/home/weblogic/nodemanag

docker+mysql 更改配置后重启不了的解决方案 前提:在最近的项目中,决定将项目改造成数据库读写分离的架构,于是擅自更改生产环境的数据库的配置文件my.cnf,由于我是用docker进行部署的,执行docker restart mysql后发现没有起来,执行docker logs -f --tail 10 your-mysql,出现如下的错误: 这里我提一句,docker restart mysql基本不会造成数据丢失(高并发场景下除外).不慌,既然配置文件出错了,那我改过来就好了,于是

ZooKeeper的ACL机制 zookeeper通过ACL机制控制znode节点的访问权限. 首先介绍下znode的5种操作权限:CREATE.READ.WRITE.DELETE.ADMIN 也就是 增.删.改.查.管理权限,这5种权限简写为crwda(即:每个单词的首字符缩写)注:这5种权限中,delete是指对子节点的删除权限,其它4种权限指对自身节点的操作权限 身份的认证有4种方式: world:默认方式,相当于全世界都能访问 auth:代表已经认证通过的用户(cli中可以通过addau

spring-boot-devtools 是一个为开发者服务的一个模块,其中最重要的功能就是自动应用代码更改到最新的App上面去.相关Blog: 点击打开链接 原理是在发现代码有更改之后,重新启动应用,但是比速度比手动停止后再启动还要更快,更快指的不是节省出来的手工操作的时间. 其深层原理是使用了两个ClassLoader,一个Classloader加载那些不会改变的类(第三方Jar包),另一个ClassLoader加载会更改的类,称为  restart ClassLoader ,这样在有代码更

更改Ubuntu的 resolv.conf的时候,重启的时候,经常又给重置了.google大法找到方法. sudo apt-get install resolvconf  原来Ubuntu的resolvconf 服务重启的时候/etc/resolv.conf 的内容会被修改成默认的样子.默认的内容则来自于/etc/resolvconf/resolv.conf.d/base,将要添加的内容配置在这个文件即可在每次重启服务的时候重置nameserver, sudo gedit /etc/resolv

openvp 客户端 /home 目录下各脚本文件名 [root@jira home]# ls openvpn_server_restart.sh openvpn_tunnel_monitor.sh openvpn_tunnel_monitor.sh 为死循环脚本来检测 tun0 网卡是否存在,若不存在,对服务器端 openvpn server 进行操作,更换port并重启openvpn 服务,同时更改openvpn 客户端port端口对应服务器port端口,同时重新启动客户端 cat open

mysql 更改默认数据目录 http://www.cnblogs.com/chenny7/p/3642363.html 本文主要介绍在CentOS下通过yum命令安装MySQL之后,如何移动默认数据目录到指定位置. 安装mysql: yum -y install mysql-server mysql-client Mysql 安装之后默认的数据文件存储目录为/var/lib/mysql. 假如要把目录移到/home/data下需要进行下面几步: 1.home目录下建立data目录 cd /ho

使用crontab,定时监控 kafka进程,发现挂了后重启. shell脚本如下: #!/bin/sh source /etc/profile proc_dir="/data/kafka" # 程序目录 proc_name="kafka.Kafka" # 进程名 file_name="cron.log" # 日志文件 pid= proc_num() # 计算进程数 { num=`ps -ef | grep $proc_name | grep -

之前的系统没有这个问题,就是win10有这个问题,过一段时间就会出现这个问题,网上找了很多,最后发现是显卡驱动的问题,是A卡的问题,只需要更新A卡驱动即可,如果更新A卡驱动不行的话,或者说A卡驱动已经是最新了,那么就去设备管理器回滚驱动程序到上一个版本. 更新显卡驱动的方法: 桌面上右键,Radeon设置,然后 如果更新驱动不行那么就回滚驱动: win+X,然后打开设备管理器,然后双击 然后回滚驱动 不行的话可以卸载干净这个驱动然后重新安装试试. 我开始是卸载驱动然后重新安装,这个方法还是不行,

本文转载自:http://www.leftso.com/blog/362.html 介绍 数据库随着时间的推移而增长,有时超过了文件系统的空间.当它们与操作系统的其他部分位于同一分区上时,也可能遇到I / O争用.RAID,网络块存储和其他设备可以提供冗余和其他所需的功能.无论您是增加更多空间,评估优化性能的方法,还是希望利用其他存储功能,本教程将指导您重新定位MySQL的数据目录.   先决条件 要完成本指南,您需要: 一个CentOS 7服务器,具有sudo安装有权限和MySQL 的非roo

今天由于用nat与本地局域网冲突,可能和之前ENSP搭建时虚拟机冲突造成 然后修改了VMnet8的ip,网关,DNS 同时更改虚拟网络编译器与VMnet8保持相同 进入虚拟机,更改/etc/sysconfig/network-scripts/ifcft-ens33  更改ip ,dns, gateway 进入/etc/resolv.conf 更改dns 进入/etc/sysconfig/network 更改gateway 然后重启network   (service network restar

1.概念 Kafka是一个开源的消息系统.由Scala编写,它具备以下特点: ①消息持久化: 为了从大数据中获取有价值的信息,任何信息的丢失都是负担不起的.使用Kafka时,message会被存储并且会被复制(zk备份)以防止数据丢失. ②高吞吐量: 设计是工作在普通的硬件设施上多个客户端能够每秒处理几百兆的数据量. ③分布式: Kafka Broker的中心化集群支持消息分区,而consumer采用分布式进行消费. ④多种Client支持: Kafka很容易与其它平台进行支持,例如:Java.

kafka介绍: Kafka[1是一种高吞吐量[2]  的分布式发布订阅消息系统,有如下特性: 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能. 高吞吐量[2]  :即使是非常普通的硬件Kafka也可以支持每秒数百万[2]  的消息. 支持通过Kafka服务器和消费机集群来分区消息. 支持Hadoop并行数据加载.[3]  Kafka相关术语介绍 Broker Kafka集群包含一个或多个服务器,这种服务器被称为broker[5]  To

我在本地做kafka的producer调试,每隔一段时间后,所使用的topic管道就会堆积数据,而且我这边使用的是  kafka   bin 下的consumer命令单独消费的,每次都是  --from-beginning,,启动后有一堆数据,感觉麻烦,,,所幸抽出点时间来,,看看怎么干掉他   下边来看俩种常见的方法:见下文! ------------------------------------------------------------------------------------

一.操作日志 首先附上kafka 操作日志配置文件:log4j.properties 根据相应的需要设置日志. #日志级别覆盖规则 优先级:ALL < DEBUG < INFO <WARN < ERROR < FATAL < OFF #1.子日志log4j.logger会覆盖主日志log4j.rootLogger,这里设置的是日志输出级别,Threshold设置appender的日志接收级别: #2.log4j.logger级别低于Threshold,appender接

前言:删除kafka topic及其数据,严格来说并不是很难的操作.但是,往往给kafka 使用者带来诸多问题.项目组之前接触过多个开发者,发现都会偶然出现无法彻底删除kafka的情况.本文总结多个删除kafka topic的应用场景,总结一套删除kafka topic的标准操作方法. step1:如果需要被删除topic 此时正在被程序 produce和consume,则这些生产和消费程序需要停止.因为如果有程序正在生产或者消费该topic,则该topic的offset信息一致会在broker

https://blog.csdn.net/ychenfeng/article/details/74980531 Kafka Kafka是最初由Linkedin公司开发,是一个分布式.支持分区的(partition).多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统.低延迟的实时系统.storm/Spark流式处理引擎,web/nginx日志.访问日志,消息服务等等,用scala语