一、NameNode、Fsimage 、Edits 和 SecondaryNameNode 概述

NameNode：在内存中储存 HDFS 文件的元数据信息（目录）

如果节点故障或断电，存在内存中的数据会丢失，显然只在内存中保存是不可靠的

实际在磁盘当中也有保存：Fsimage 和 Edits，一个 NameNode 节点在重启后会根据这磁盘上的这两个文件来恢复到之前的状态

Fsimage（镜像文件） 和 Edits（编辑日志）：记录内存中的元数据

如果每次对 HDFS 的操作都实时的把内存中的元数据信息往磁盘上传输，这样显然效率不够高，也不稳定

这时就出现了 Edits 文件，用来记录每次对 HDFS 的操作，这样在磁盘上每次就只用做很小改动（只进行追加操作）

当  Edits 文件达到了一定大小或过了一定的时间，就需要把 Edits 文件转化 Fsimage 文件，然后清空 Edits

这样的 Fsimage 文件不会和内存中的元数据实时同步，需要加上 Edits 文件才相等

SecondaryNameNode：负责 Edits 转化成 Fsimage

SecondaryNameNode 不是 NameNode 的备份

SecondaryNameNode 会定时定量的把集群中的 Edits 文件转化为 Fsimage 文件，来保证 NameNode 中数据的可靠性

二、NameNode 工作机制

磁盘上的元数据文件

三、查看 Edits 与 Fsimage

Edits 和 Fsimage 并非明文存储，需要转换后才能查看，使用 hdfs 命令进行转换

# 部分命令参数

Usage: hdfs [--config confdir] [--loglevel loglevel] COMMAND

       where COMMAND is one of:

# 转换 fsimage 文件

  oiv                  apply the offline fsimage viewer to an fsimage

# 转换旧版 fsimage 文件

  oiv_legacy           apply the offline fsimage viewer to an legacy fsimage

# 转换 edits 文件

  oev                  apply the offline edits viewer to an edits file

1.转换 Fsimage 文件

hdfs oiv：查看参数

部分参数说明

Usage: bin/hdfs oiv [OPTIONS] -i INPUTFILE -o OUTPUTFILE

-i 要转换的文件

-o 转换后文件路径

-p 转换格式 (XML|FileDistribution|ReverseXML|Web|Delimited)

转换文件

hdfs oiv -p XML -i ./fsimage_0000000000000000326 -o ./fsimage.xml

转换后的文件，记录了文件信息

<?xml version="1.0"?>

<fsimage>

    <version>

        <layoutVersion>-63</layoutVersion>

        <onDiskVersion>1</onDiskVersion>

        <oivRevision>Unknown</oivRevision>

    </version>

    <NameSection>

        <namespaceId>1803101069</namespaceId>

        <genstampV1>1000</genstampV1>

        <genstampV2>1015</genstampV2>

        <genstampV1Limit>0</genstampV1Limit>

        <lastAllocatedBlockId>1073741839</lastAllocatedBlockId>

        <txid>326</txid>

    </NameSection>

    <INodeSection>

        <lastInodeId>16400</lastInodeId>

        <numInodes>11</numInodes>

        <inode>

            <id>16385</id>

            <type>DIRECTORY</type>

            <name></name>

            <mtime>1555218314075</mtime>

            <permission>root:supergroup:0755</permission>

            <nsquota>9223372036854775807</nsquota>

            <dsquota>-1</dsquota>

        </inode>

        <inode>

            <id>16388</id>

            <type>FILE</type>

            <name>javafx-src.zip</name>

            <replication>2</replication>

            <mtime>1554996304962</mtime>

            <atime>15550 84059617</atime>

            <preferredBlockSize>134217728</preferredBlockSize>

            <permission>root:supergroup:0644</permission>

            <blocks>

                <block>

                    <id>107 3741829</id>

                    <genstamp>1005</genstamp>

                    <numBytes>5211154</numBytes>

                </block>

            </blocks>

            <storagePolicyId>0</storagePolicyId>

        </inode>

        <inode>

            <id>16389</id>

            <type>DIRECTORY</type>

            <name>0529</name>

            <mtime>1554999968472</mtime>

            <permission>root:supergroup:0755</permission>

            <nsquota>-1</nsquota>

            <dsquota>-1</dsquota>

        </inode>

        <inode>

            <id>16390</id>

            <type>DIRECTORY</type>

            <name>mkmk</name>

            <mtime>1555000275046</mtime>

            <permission>root:supergroup:0755</permission>

            <nsquota>-1</nsquota>

            <dsquota>-1</dsquota>

        </inode>

        <inode>

            <id>16391</id>

            <type>DIRECTORY</type>

            <name>10088</name>

            <mtime>1555000763405</mtime>

            <permission>root:supergroup:0755</permission>

            <nsquota>-1</nsquota>

            <dsquota>-1</dsquota>

        </inode>

        <inode>

            <id>16394</id>

            <type>FILE</type>

            <name>Writage-1.12.msi</name>

            <replication>3</replication>

            <mtime>1555086090236</mtime>

            <atime>155 5086085824</atime>

            <preferredBlockSize>134217728</preferredBlockSize>

            <permission>root:supergroup:0644</permission>

            <blocks>

                <block>

                    <id>1 073741832</id>

                    <genstamp>1008</genstamp>

                    <numBytes>12771328</numBytes>

                </block>

            </blocks>

            <storagePolicyId>0</storagePolicyId>

        </inode>

        <inode>

            <id>16395</id>

            <type>FILE</type>

            <name>hadoop-2.9.2-win10-64.tar.gz</name>

            <replication>3</replication>

            <mtime>1555086717860</mtime>

            <atime>1555086612935</atime>

            <preferredBlockSize>134217728</preferredBlockSize>

            <permission>root:supergroup:0644</permission>

            <blocks>

                <block>

                    <id>1073741833</id>

                    <genstamp>1009</genstamp>

                    <numBytes>134217728</numBytes>

                </block>

                <block>

                    <id>1073741834</id>

                    <genstamp>1010</genstamp>

                    <numBytes>134217728</numBytes>

                </block>

                <block>

                    <id>1073741835</id>

                    <genstamp>1011</genstamp>

                    <numBytes>43080138</numBytes>

                </block>

            </blocks>

            <storagePolicyId>0</storagePolicyId>

        </inode>

        <inode>

            <id>16396</id>

            <type>DIRECTORY</type>

            <name>Priority</name>

            <mtime>1555219450567</mtime>

            <permission>root:supergroup:0755</permission>

            <nsquota>-1</nsquota>

            <dsquota>-1</dsquota>

        </inode>

        <inode>

            <id>16398</id>

            <type>FILE</type>

            <name>AAA.msi</name>

            <replication>3</replication>

            <mtime>1555219070073</mtime>

            <atime>155521906501 6</atime>

            <preferredBlockSize>134217728</preferredBlockSize>

            <permission>root:supergroup:0644</permission>

            <blocks>

                <block>

                    <id>1073741837</id>

                    <genstamp>1013</genstamp>

                    <numBytes>12771328</numBytes>

                </block>

            </blocks>

            <storagePolicyId>0</storagePolicyId>

        </inode>

        <inode>

            <id>16399</id>

            <type>FILE</type>

            <name>BBB.msi</name>

            <replication>1</replication>

            <mtime>1555219285187</mtime>

            <atime>155521928012 9</atime>

            <preferredBlockSize>134217728</preferredBlockSize>

            <permission>root:supergroup:0644</permission>

            <blocks>

                <block>

                    <id>1073741838</id>

                    <genstamp>1014</genstamp>

                    <numBytes>12771328</numBytes>

                </block>

            </blocks>

            <storagePolicyId>0</storagePolicyId>

        </inode>

        <inode>

            <id>16400</id>

            <type>FILE</type>

            <name>CCC.msi</name>

            <replication>2</replication>

            <mtime>1555219455139</mtime>

            <atime>155521945056 7</atime>

            <preferredBlockSize>134217728</preferredBlockSize>

            <permission>root:supergroup:0644</permission>

            <blocks>

                <block>

                    <id>1073741839</id>

                    <genstamp>1015</genstamp>

                    <numBytes>12771328</numBytes>

                </block>

            </blocks>

            <storagePolicyId>0</storagePolicyId>

        </inode>

    </INodeSection>

    <INodeReferenceSection></INodeReferenceSection>

    <SnapshotSection>

        <snapshotCounter>0</snapshotCounter>

        <numSnapshots>0</numSnapshots>

    </SnapshotSection>

    <INodeDirectorySection>

        <directory>

            <parent>16385</parent>

            <child>16389</child>

            <child>16391</child>

            <child>16396</child>

            <child>16394</child>

            <child>16395</child>

            <child>16388</child>

            <child>16390</child>

        </directory>

        <directory>

            <parent>16396</parent>

            <child>16398</child>

            <child>16399</child>

            <child>16400</child>

        </directory>

    </INodeDirectorySection>

    <FileUnderConstructionSection></FileUnderConstructionSection>

    <SecretManagerSection>

        <currentId>0</currentId>

        <tokenSequenceNumber>0</tokenSequenceNumber>

        <numDelegationKeys>0</numDelegationKeys>

        <numTokens>0</numTokens>

    </SecretManagerSection>

    <CacheManagerSection>

        <nextDirectiveId>1</nextDirectiveId>

        <numDirectives>0</numDirectives>

        <numPools>0</numPools>

    </CacheManagerSection>

</fsimage>

2.转换 Edits 文件

hdfs oev：查看参数

参数与上面类似，-p 有些不同

-p  binary (native binary format that Hadoop uses), xml (default, XML  format), stats (prints statistics about edits file)

转换文件

hdfs oev -p xml -i ./edits_inprogress_0000000000000000329 -o ./edits.xml

转换后的文件，记录 hdfs 的操作记录

<?xml version="1.0" encoding="UTF-8"?>

<EDITS>

    <EDITS_VERSION>-63</EDITS_VERSION>

    <RECORD>

        <OPCODE>OP_START_LOG_SEGMENT</OPCODE>

        <DATA>

            <TXID>16</TXID>

        </DATA>

    </RECORD>

    <RECORD>

        <OPCODE>OP_ADD</OPCODE>

        <DATA>

            <TXID>17</TXID>

            <LENGTH>0</LENGTH>

            <INODEID>16386</INODEID>

            <PATH>/javafx-src.zip._COPYING_</PATH>

            <REPLICATION>3</REPLICATION>

            <MTIME>1554995796290</MTIME>

            <ATIME>1554995796290</ATIME>

            <BLOCKSIZE>134217728</BLOCKSIZE>

            <CLIENT_NAME>DFSClient_NONMAPREDUCE_1941526907_1</CLIENT_NAME>

            <CLIENT_MACHINE>192.168.8.136</CLIENT_MACHINE>

            <OVERWRITE>true</OVERWRITE>

            <PERMISSION_STATUS>

                <USERNAME>root</USERNAME>

                <GROUPNAME>supergroup</GROUPNAME>

                <MODE>420</MODE>

            </PERMISSION_STATUS>

            <RPC_CLIENTID>5b80319d-463f-4591-b090-2d1462563e48</RPC_CLIENTID>

            <RPC_CALLID>3</RPC_CALLID>

        </DATA>

    </RECORD>

    <RECORD>

        <OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>

        <DATA>

            <TXID>18</TXID>

            <BLOCK_ID>1073741825</BLOCK_ID>

        </DATA>

    </RECORD>

    <RECORD>

        <OPCODE>OP_SET_GENSTAMP_V2</OPCODE>

        <DATA>

            <TXID>19</TXID>

            <GENSTAMPV2>1001</GENSTAMPV2>

        </DATA>

    </RECORD>

    <RECORD>

        <OPCODE>OP_ADD_BLOCK</OPCODE>

        <DATA>

            <TXID>20</TXID>

            <PATH>/javafx-src.zip._COPYING_</PATH>

            <BLOCK>

                <BLOCK_ID>1073741825</BLOCK_ID>

                <NUM_BYTES>0</NUM_BYTES>

                <GENSTAMP>1001</GENSTAMP>

            </BLOCK>

            <RPC_CLIENTID></RPC_CLIENTID>

            <RPC_CALLID>-2</RPC_CALLID>

        </DATA>

    </RECORD>

    <RECORD>

        <OPCODE>OP_UPDATE_BLOCKS</OPCODE>

        <DATA>

            <TXID>21</TXID>

            <PATH>/javafx-src.zip._COPYING_</PATH>

            <RPC_CLIENTID></RPC_CLIENTID>

            <RPC_CALLID>-2</RPC_CALLID>

        </DATA>

    </RECORD>

    <RECORD>

        <OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>

        <DATA>

            <TXID>22</TXID>

            <BLOCK_ID>1073741826</BLOCK_ID>

        </DATA>

    </RECORD>

    <RECORD>

        <OPCODE>OP_SET_GENSTAMP_V2</OPCODE>

        <DATA>

            <TXID>23</TXID>

            <GENSTAMPV2>1002</GENSTAMPV2>

        </DATA>

    </RECORD>

    <RECORD>

        <OPCODE>OP_ADD_BLOCK</OPCODE>

        <DATA>

            <TXID>24</TXID>

            <PATH>/javafx-src.zip._COPYING_</PATH>

            <BLOCK>

                <BLOCK_ID>1073741826</BLOCK_ID>

                <NUM_BYTES>0</NUM_BYTES>

                <GENSTAMP>1002</GENSTAMP>

            </BLOCK>

            <RPC_CLIENTID></RPC_CLIENTID>

            <RPC_CALLID>-2</RPC_CALLID>

        </DATA>

    </RECORD>

    <RECORD>

        <OPCODE>OP_CLOSE</OPCODE>

        <DATA>

            <TXID>25</TXID>

            <LENGTH>0</LENGTH>

            <INODEID>0</INODEID>

            <PATH>/javafx-src.zip._COPYING_</PATH>

            <REPLICATION>3</REPLICATION>

            <MTIME>1554995797095</MTIME>

            <ATIME>1554995796290</ATIME>

            <BLOCKSIZE>134217728</BLOCKSIZE>

            <CLIENT_NAME></CLIENT_NAME>

            <CLIENT_MACHINE></CLIENT_MACHINE>

            <OVERWRITE>false</OVERWRITE>

            <BLOCK>

                <BLOCK_ID>1073741826</BLOCK_ID>

                <NUM_BYTES>5211154</NUM_BYTES>

                <GENSTAMP>1002</GENSTAMP>

            </BLOCK>

            <PERMISSION_STATUS>

                <USERNAME>root</USERNAME>

                <GROUPNAME>supergroup</GROUPNAME>

                <MODE>420</MODE>

            </PERMISSION_STATUS>

        </DATA>

    </RECORD>

    <RECORD>

        <OPCODE>OP_RENAME_OLD</OPCODE>

        <DATA>

            <TXID>26</TXID>

            <LENGTH>0</LENGTH>

            <SRC>/javafx-src.zip._COPYING_</SRC>

            <DST>/javafx-src.zip</DST>

            <TIMESTAMP>1554995797102</TIMESTAMP>

            <RPC_CLIENTID>5b80319d-463f-4591-b090-2d1462563e48</RPC_CLIENTID>

            <RPC_CALLID>11</RPC_CALLID>

        </DATA>

    </RECORD>

    <RECORD>

        <OPCODE>OP_DELETE</OPCODE>

        <DATA>

            <TXID>27</TXID>

            <LENGTH>0</LENGTH>

            <PATH>/javafx-src.zip</PATH>

            <TIMESTAMP>1554995877570</TIMESTAMP>

            <RPC_CLIENTID>847eb009-9524-4f1c-a5a5-5253908ec1b5</RPC_CLIENTID>

            <RPC_CALLID>3</RPC_CALLID>

        </DATA>

    </RECORD>

</EDITS>

四、CheckPoint 时间设置

1.以时间为准

<property>

    <name>dfs.namenode.checkpoint.period</name>

    <value>3600</value>

</property>

SecondaryNameNode 默认每隔一小时执行一次

查看默认配置：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

2.以次数为准

<property>

    <name>dfs.namenode.checkpoint.txns</name>

    <value>10000</value>

    <description>作次数到达一万次就发起合并</description>

</property>

<property>

    <name>dfs.namenode.checkpoint.check.period</name>

    <value>600</value>

    <description>每间隔10分钟检查一次操作次数是否到达</description>

</property>

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsEditsViewer.html

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsImageViewer.html

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Secondary_NameNode

NameNode 与 SecondaryNameNode 的工作机制的更多相关文章

  1. NameNode和SecondaryNameNode的工作机制

    NameNode&Secondary NameNode 工作机制 NameNode: 1.启动时,加载编辑日志和镜像文件到内存 2.当客户端对元数据进行增删改,请求NameNode 3.Nam ...

  2. HDFS的NameNode与SecondaryNameNode的工作原理

    原文:https://blog.51cto.com/xpleaf/2147375 看完之后确实对nameNode的工作更加清晰一些 在Hadoop中,有一些命名不好的模块,Secondary Name ...

  3. 深刻理解HDFS工作机制

    深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法,也是唯一途径.对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原理和实现细节.在看这篇博文之前需 ...

  4. Hadoop_09_HDFS 的 NameNode工作机制

    理解NameNode的工作机制尤其是元数据管理机制,以增强对HDFS工作原理的理解,及培养hadoop集群运营中“性能调优” “NameNode”故障问题的分析解决能力 1.NameNode职责: H ...

  5. HDFS成员的工作机制

    NameNode工作机制 nn负责管理块的元数据信息,元数据信息为fsimage和edits预写日志,通过edits预写日志来更新fsimage中的元数据信息,每次namenode启动时,都会将磁盘中 ...

  6. hadoop及NameNode和SecondaryNameNode工作机制

    hadoop及NameNode和SecondaryNameNode工作机制 1.hadoop组成 Common MapReduce Yarn HDFS (1)HDFS namenode:存放目录,最重 ...

  7. NameNode和SecondaryNameNode工作原理剖析

    NameNode和SecondaryNameNode工作原理剖析 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.NameNode中的元数据是存储在那里的? 1>.首先,我 ...

  8. Hadoop的namenode的管理机制，工作机制和datanode的工作原理

    HDFS前言: 1) 设计思想 分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: 2)在大数据系统中作用: 为各类分布式运算框架(如:mapr ...

  9. hdfs namenode/datanode工作机制

    一. namenode工作机制 1. 客户端上传文件时,namenode先检查有没有同名的文件,如果有,则直接返回错误信息.如果没有,则根据要上传文件的大小以及block的大小,算出需要分成几个blo ...

随机推荐

  1. 洛谷P1360 [USACO07MAR]黄金阵容均衡题解

    题目 不得不说这个题非常毒瘤. 简化题意 这个题的暴力还是非常好想的,完全可以过\(50\%\)的数据.但是\(100\%\)就很难想了. 因为数据很大,所以我们需要用\(O(\sqrt n)\)的时 ...

  2. bzoj 3673 可持久化并查集 by zky

    Description n个集合 m个操作操作:1 a b 合并a,b所在集合2 k 回到第k次操作之后的状态(查询算作操作)3 a b 询问a,b是否属于同一集合,是则输出1否则输出0 0<n ...

  3. pfSense用户界面汉化翻译教程

    pfSense用户界面汉化翻译教程 来源 https://blog.51cto.com/fxn2025/2087182 为了记录自己的汉化过程,同时也为了方便网友自己制作汉化版本,我把自己汉化pfSe ...

  4. linux 定时任务到秒级

    linux crontab 只有到分钟级别的 有两种方法 方法1.写个sh脚本,循环(下例为每秒访问一次百度) #! /bin/bash PATH=/bin:/sbin:/usr/bin:/usr/l ...

  5. LOJ2255. 「SNOI2017」炸弹 （线段树）

    本文为线段树做法 (听说可以tarjan缩点+拓扑? 感觉差不多..而且这样看起来方便很多 找到左端点的过程可以看作 点 -> 区间内lowerbound最小的点 -> lowerboun ...

  6. 【正睿oi省选十连测】第一场

    四小时写了两个暴力??自闭 [原来这就是神仙们的分量Orz rank 56/75 可以说是无比垃圾了 下周目标:进步十名?[大雾 T1 题意:有n个点的图 点有点权Ai 也有点权Bi = A_1 + ...

  7. Hdoj 2563.统计问题 题解

    Problem Description 在一无限大的二维平面中,我们做如下假设: 1. 每次只能移动一格: 2. 不能向后走(假设你的目的地是"向上",那么你可以向左走,可以向右走 ...

  8. 【BZOJ3576】江南乐（博弈论）

    [BZOJ3576]江南乐(博弈论) 题面 BZOJ 洛谷 题解 无论一堆石头怎么拆分,都并不能改变它是一个\(Multi-SG\)的事实. 既然每一组的\(F\)都是固定的,那么我们预处理所有的可能 ...

  9. 「洛谷2495」「BZOJ3052」「SDOI2001」消耗战【虚树+树形动态规划】

    题目大意 给你\(k\)个点,让这一些点和一号节点断开,删去某一些边,求最小的删去边权之和. 做题的心路历程 做了\(HG\)昨天的模拟赛,深深感觉到了窝的菜,所以为了\(A\)掉T1这一道毒瘤,窝就 ...

  10. Balanced Sequence HDU - 6299（杭电多校1 B）

    题目说要n个字符串串内随意组合以后将这些串放在一起,然后求最长的括号匹配的长度,并不要求是连续的 因为不需要是连续的,所以可以先把已经匹配好的括号加入到答案里面去,先把这些删掉,以为并不影响结果,然后 ...