kafka调优

kafka调优:
[root@bi-kafka-1 bin]# pwd
/data/kafka-9092/bin
cat kafka-server-start.sh
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
export JMX_PORT="9998"
fi
#调整heap,推荐6G,可改为
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
　　#默认的KAFKA的HEAP内存为1G，在实际生产环境中显然是不够的，在《kafka权威指南》书中说是配置5G，在《Apache Kafka实战》书中说配置6G，其实差距并不是很大，我们这里暂且配置6G吧，当时书中的知识是死的，如果Kafka配置了6G的Heap内存严重发现Full GC的话，到时候我们应该学会变通，将其在扩大，但在实际生产环境中，我就是这样配置的。注意力，这样配置如果你的虚拟机可用内存如果不足6G可能会直接抛出OOM异常哟~
#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
export KAFKA_HEAP_OPTS="-Xmx6g -Xms6g -XX:MetaspaceSize=96m -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:G1HeapRegionSize=16M -XX:MinMetaspaceFreeRatio=50 -XX:MaxMetaspaceFreeRatio=80"
fi
#从这行命令不难看出，该脚本会调用kafka-run-class.sh，如果我们在该配置文件中配置HEAP内存，就不要在Kafka-run-class.sh脚本里再去配置了哟，否则当前脚本配置的HEAP将无效！

日志设置调优:

[root@bi-kafka-1 config]# pwd
/data/kafka-9092/config
cat producer.properties

#处理磁盘I/O的线程数,从3改为30
num.io.threads=30

log存放地址:
log.dirs=/data/kafka-9092/logs/kafka-logs
#每个topic的分区个数，若是在topic创建时候没有指定的话会被topic创建时的指定参数覆盖
num.partitions=16
# 日志保存时间 (hours|minutes)，默认为7天（168小时）。超过这个时间会根据policy处理数据。bytes和minutes无论哪个先达到都会触发。
log.retention.hours=168
#日志数据存储的最大字节数。超过这个时间会根据policy处理数据。
#log.retention.bytes=1073741824

# 日志片段文件的检查周期，查看它们是否达到了删除策略的设置（log.retention.hours或log.retention.bytes）
log.retention.check.interval.ms=600000

#控制日志segment文件的大小，超出该大小则追加到一个新的日志segment文件中（-1表示没有限制）
log.segment.bytes=536870912