kafka 磁盘写满导致 InternalError

tailf kafka/log/server.log

[-- ::,] FATAL (main kafka.server.KafkaServerStartable ) Fatal error during KafkaServerStartable startup. Prepare to shutdown
java.lang.InternalError: a fault occurred in a recent unsafe memory access operation in compiled Java code
        at kafka.log.FileMessageSet$$anon$.makeNext(FileMessageSet.scala:)
        at kafka.log.FileMessageSet$$anon$.makeNext(FileMessageSet.scala:)
        at kafka.utils.IteratorTemplate.maybeComputeNext(IteratorTemplate.scala:)
        at kafka.utils.IteratorTemplate.hasNext(IteratorTemplate.scala:)
        at kafka.log.LogSegment.recover(LogSegment.scala:)
        at kafka.log.Log$$anonfun$loadSegments$.apply(Log.scala:)
        at kafka.log.Log$$anonfun$loadSegments$.apply(Log.scala:)
        at scala.collection.TraversableLike$WithFilter$$anonfun$foreach$.apply(TraversableLike.scala:)
        at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:)
        at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:)
        at scala.collection.TraversableLike$WithFilter.foreach(TraversableLike.scala:)
        at kafka.log.Log.loadSegments(Log.scala:)
        at kafka.log.Log.<init>(Log.scala:)
        at kafka.log.LogManager$$anonfun$loadLogs$$$anonfun$$$anonfun$apply$$$anonfun$apply$.apply$mcV$sp(LogManager.scala:)
        at kafka.utils.CoreUtils$$anon$.run(CoreUtils.scala:)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:)
        at java.util.concurrent.FutureTask.run(FutureTask.java:)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:)
        at java.lang.Thread.run(Thread.java:)

看日志查询资料发现是磁盘满了。

[kafka@datanode15 kafka]$ du -sh /data11/kafka/
.4T    /data11/kafka/
[kafka@ngsoc15 kafka]$ df -h
Filesystem      Size  Used Avail Use% Mounted on
devtmpfs        126G       126G   % /dev
/dev/sda2       880G   14G  823G   % /
/dev/sda1       190M  126M   51M  % /boot
/dev/sdj        .6T  .8T  618G  % /data09
/dev/sdf        .6T  .0T  .5T  % /data05
/dev/sdd        .6T  .5T  954G  % /data03
/dev/sdi        .6T  .7T  .8T  % /data08
/dev/sdk        .6T  .4T  .1T  % /data10
/dev/sde        .6T  .5T  986G  % /data04
/dev/sdb        .6T  .1T  .4T  % /data01
/dev/sdg        .6T  .4T  .1T  % /data06
/dev/sdh        .6T  .5T  948G  % /data07
/dev/sdl        .6T  .4T      % /data11
/dev/sdm        .6T  .0T  473G  % /data12
/dev/sdc        .6T  .3T  .2T  % /data02

解决思路：

｛3节点*12盘=36 ; 36/2副本=18分区｝

sh bin/kafka-topics.sh --zookeeper zookeeper.host: --alter --topic flow_dns --partition 

* 为什么不直接报IO异常，而是内部错误不安全的内存操作？-----来自网络描述

此错误表示或内存访问导致SIGBUS错误，然后被 JVM 捕获并转换为异步 。sun.misc.Unsafe.getX()putX()InternalError

更多细节：

sun.misc.Unsafe是 JDK 私有 API，允许直接从 Java 访问本机内存。此 API 是直接字节缓冲区的基础，特别是映射字节缓冲区的基础。
在某些情况下，对文件的内存映射区域的访问可能会导致 OS 级异常，即 。典型的示例包括：SIGBUS

在基础文件被截断后，将访问内存映射缓冲区。
网络驱动器上的文件已映射到内存，并且在网络连接断开后访问映射的缓冲区。
尝试写入映射到文件系统上的文件的页面会导致内存不足（默认情况下，空间受总 RAM 的 % 限制）。tmpfstmpfs
热点 JVM 无法提前有效地检测这些问题。它编译对简单内存访问指令的调用。查看内存区域是否有效的其他检查将过于昂贵。Unsafe.getX / putX

相反，JVM 处理信号。如果它看到调用中发生了错误，它将发布到当前线程并继续执行。SIGBUGUnsafeInternalError
IOException更合适，但 JVM 不能引发它或任何其他异常，因为公共协定不允许其方法引发任何异常。ByteBufferget/put
如果 JIT 编译方法中的内存访问失败，JVM 不会立即引发异常（同样，对于此类热字节缓冲区 API 来说，这太贵了）。相反，它将异步发布到当前线程。这意味着错误实际上将扔到最近的本机方法或最接近 VM 运行时的调用处。因此，错误消息中的"最近"一词。UnsafeInternalError

参考：

https://zh.wikipedia.org/wiki/%E6%80%BB%E7%BA%BF%E9%94%99%E8%AF%AF

https://bugs.openjdk.java.net/browse/JDK-4454115