| 查看hdfs的fsimage和editlog | 您所在的位置：网站首页 › a628d38c-5291-44c3-9d06-8667ed865e34jpg › 查看hdfs的fsimage和editlog |
查看hdfs的fsimage和editlog
|
（一）名称解释 fsimage，namenode的元数据镜像文件，保存在磁盘 editlog，namenode操作日志 fstime，最近一次的checkpoint时间 metadata，一个文件存储在哪些DataNode节点的哪些位置的元数据信息 NN，namenode SNN，secondarynamenode
Namenode主要维护两个文件，一个是fsimage，一个是editlog （二）如何查看fsimage和editlog 查看hdfs-site.xml，查看dfs.namenode.name.dir的配置值，我的配置为/var/lib/hadoop-hdfs/cache/hdfs/dfs/name/current/ cd /var/lib/hadoop-hdfs/cache/hdfs/dfs/name/current/ ll 输出为 -rw-r--r-- 1 hdfs hdfs 238K Aug 7 2017 edits_0000000000000069606-0000000000000071239 -rw-r--r-- 1 hdfs hdfs 239K Aug 7 2017 edits_0000000000000071240-0000000000000072884 -rw-r--r-- 1 hdfs hdfs 238K Aug 7 2017 edits_0000000000000072885-0000000000000074518 -rw-r--r-- 1 hdfs hdfs 289K Aug 7 2017 edits_0000000000000074519-0000000000000076555 -rw-r--r-- 1 hdfs hdfs 269K Aug 7 2017 edits_0000000000000076556-0000000000000078473 -rw-r--r-- 1 hdfs hdfs 237K Aug 7 2017 edits_0000000000000078474-0000000000000080104 -rw-r--r-- 1 hdfs hdfs 1.0M Aug 8 2017 edits_0000000000000080105-0000000000000081013 -rw-r--r-- 1 hdfs hdfs 11K Jun 3 22:34 edits_0000000000000081014-0000000000000081083 -rw-r--r-- 1 hdfs hdfs 242K Jun 3 23:34 edits_0000000000000081084-0000000000000082753 -rw-r--r-- 1 hdfs hdfs 1.0M Jun 3 23:34 edits_0000000000000082754-0000000000000082758 -rw-r--r-- 1 hdfs hdfs 1.0M Jun 4 00:02 edits_0000000000000082759-0000000000000083550 -rw-r--r-- 1 hdfs hdfs 127K Jun 4 00:35 edits_0000000000000083551-0000000000000084425 -rw-r--r-- 1 hdfs hdfs 250K Jun 4 07:52 edits_0000000000000084426-0000000000000086156 -rw-r--r-- 1 hdfs hdfs 238K Jun 4 08:52 edits_0000000000000086157-0000000000000087789 -rw-r--r-- 1 hdfs hdfs 239K Jun 4 09:52 edits_0000000000000087790-0000000000000089425 -rw-r--r-- 1 hdfs hdfs 238K Jun 4 10:52 edits_0000000000000089426-0000000000000091058 -rw-r--r-- 1 hdfs hdfs 1.0M Jun 4 11:15 edits_inprogress_0000000000000091059 -rw-r--r-- 1 hdfs hdfs 312K Jun 4 09:52 fsimage_0000000000000089425 -rw-r--r-- 1 hdfs hdfs 62 Jun 4 09:52 fsimage_0000000000000089425.md5 -rw-r--r-- 1 hdfs hdfs 317K Jun 4 10:52 fsimage_0000000000000091058 -rw-r--r-- 1 hdfs hdfs 62 Jun 4 10:52 fsimage_0000000000000091058.md5 -rw-r--r-- 1 hdfs hdfs 6 Jun 4 10:52 seen_txid -rw-r--r-- 1 hdfs hadoop 202 Jun 3 22:33 VERSION
（三）什么是FSImage和EditsLog fsimage保存了最新的元数据检查点，包含了整个HDFS文件系统的所有目录和文件的信息。 对于文件来说包括了数据块描述信息、修改时间、访问时间等； 对于目录来说包括修改时间、访问权限控制信息(目录所属用户，所在组)等。
上面数据中，通过edits_inprogress_0000000000000091059，可以看出fsimage文件已经加载到了最新的一个edits_0000000000000089426-0000000000000091058文件，仅仅只有inprogress状态的edit log未被加载。在启动HDFS时，只需要读入fsimage_0000000000000091058以及edits_inprogress_0000000000000091059就可以还原出当前hdfs的最新状况。但是这里又会出现一个问题，如果edit log文件越来越多、越来越大时，当重新启动hdfs时，由于需要加载fsimage后再把所有的edit log也加载进来，就会出现第一段中出现的问题了。怎么解决？HDFS会采用checkpoing机制定期将edit log合并到fsimage中生成新的fsimage。分析见（四）
（四）checkpoint机制 fsimage和edit log合并的过程如下图所示：
考虑到合并过程很耗费磁盘IO，网络IO，CPU，合并过程都放在secondarynamenode【SN】上进行。 checkpoint的触发条件： --满足dfs.namenode.checkpoint.preiod【默认1小时】时间点 --或者满足dfs.namenode.checkpoint.txns【默认100万次txns id】 合并步骤 SNN告诉NN滚动inprogress editlog文件，这样新的操作都会写到新的editlog文件，同事，NN更新seen_txidSNN通过http get方式从NN获取最新的fsimage和editlogSNN将fsimage加载到内存，并从editlog中读取每一次事务，应用到fsimage，这样就产生了一个新的fsimageSNN将新的fsimage通过http put的方式发送到NN，NN将fsimage保存为临时fsimage.ckpt文件中NN将fsimage.ckpt文件重命名，此完成了fsimage和editlog的同步hadoop集群配置高可用时，checkpoint机制参考（四）
（四）HA模式下Checkpointing过程分析 在HA模式下，checkpoint过程由standBy namenode进行【SBNN】，active namenode【ACNN】 HA模式下的edit log文件会同时写入多个JournalNodes节点的dfs.journalnode.edits.dir路径下，JournalNodes的个数为大于1的奇数，类似于Zookeeper的节点数，当有不超过一半的JournalNodes出现故障时，仍然能保证集群的稳定运行。 同步过程如图：
思考：同步使用http，而不是RPC，为什么呢？
（五）查看fsimage文件 启动 hdfs oiv -i fsimage_0000000000000092691 屏幕输出 18/06/04 11:58:08 INFO offlineImageViewer.FSImageHandler: Loading 15 strings 18/06/04 11:58:08 INFO offlineImageViewer.FSImageHandler: Loading 4592 inodes. 18/06/04 11:58:08 INFO offlineImageViewer.FSImageHandler: Loading inode references 18/06/04 11:58:08 INFO offlineImageViewer.FSImageHandler: Loaded 0 inode references 18/06/04 11:58:08 INFO offlineImageViewer.FSImageHandler: Loading inode directory section 18/06/04 11:58:08 INFO offlineImageViewer.FSImageHandler: Loaded 1887 directories 18/06/04 11:58:08 INFO offlineImageViewer.WebImageViewer: WebImageViewer started. Listening on /127.0.0.1:5978. Press Ctrl+C to stop the viewer.
执行 hdfs dfs -ls -R webhdfs://127.0.0.1:5978/
输出内容： drwx------ - cloudera cloudera 0 2017-08-07 19:08 webhdfs://127.0.0.1:5978/user/cloudera/.Trash drwx------ - cloudera cloudera 0 2017-08-05 23:39 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802 drwx------ - cloudera cloudera 0 2017-08-05 23:39 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user drwx------ - cloudera cloudera 0 2017-08-05 23:39 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive drwx------ - cloudera cloudera 0 2017-08-06 23:38 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive/warehouse drwx------ - cloudera cloudera 0 2017-08-07 17:19 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive/warehouse/ibeifeng.db drwxrwxrwx - cloudera supergroup 0 2017-08-07 00:45 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive/warehouse/ibeifeng.db/session_info -rwxrwxrwx 1 cloudera supergroup 5498008 2017-08-07 00:45 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive/warehouse/ibeifeng.db/session_info/000000_0 drwxrwxrwx - cloudera supergroup 0 2017-08-07 17:09 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive/warehouse/ibeifeng.db/session_info1502096965787 drwxrwxrwx - cloudera supergroup 0 2017-08-07 17:09 webhdfs://127.0.0.1:5978/user/cloudera/.Trash/170807190802/user/hive/warehouse/ibeifeng.db/session_info1502097580348 导出fsimage到xml文件命令 hdfs oiv -p XML -i fsimage_0000000000000092691 -o fsimage.xml
（六）导出editlog文件到xml hdfs oev -i edits_0000000000000091059-0000000000000092691 -o edit.xml 部分文件内容 -60
OP_START_LOG_SEGMENT
91059
OP_ADD
91060 0 42793 /user/spark/applicationHistory/.1b3d5ff3-4187-42b7-9d06-0b4224e1b988 1 1528080778475 1528080778475 134217728 DFSClient_NONMAPREDUCE_-2124177401_1 127.0.0.1 true
spark supergroup 420
3143bf48-a33d-4800-ad82-3579e2c40b43 8108
OP_CLOSE
91061 0 0 /user/spark/applicationHistory/.1b3d5ff3-4187-42b7-9d06-0b4224e1b988 1 1528080778479 1528080778475 134217728
false
spark supergroup 420
OP_RENAME_OLD
92690 0 /user/hue/.cloudera_manager_hive_metastore_canary/hive_HIVEMETASTORE /user/hue/.Trash/Current/user/hue/.cloudera_manager_hive_metastore_canary/hive_HIVEMETASTORE1528084369048 1528084369049 683845ea-3b6b-4419-9d9d-144a85344b40 4691
OP_END_LOG_SEGMENT
92691
在输出的xml文件中，每个RECORD记录了一次操作，比如图中的OP_ADD代表添加文件操作，OP_MKDIR代表创建目录操作。里面还记录了文件路径（PATH），修改时间（MTIME）、添加时间（ATIME）、客户端名称（CLIENT_NAME）、客户端地址（CLIENT_MACHINE）、权限（PERMISSION_STATUS）等非常有用的信息。 |
【本文地址】