HDFS为什么块大小不能太大也不能太小 |
您所在的位置:网站首页 › hdfs块大小默认 › HDFS为什么块大小不能太大也不能太小 |
一、HDFS 块设置的比较小会增加寻址时间,并且每个块在namenode都会存储一份元数据,增加namenode开销
一个大文件会被分为多个block存在hdfs中,而每个block对于磁盘来说就是一个文件。 该hdfs的大文件寻址时间是等于磁盘寻找每个block文件的总和。 而本地磁盘每寻找一个block文件都要寻址一次,每次寻址时间都差不多。所以block数量越多,寻址次数越多,则把该大文件的所有block寻找出来的总时间就越多。 二、HDFS块设置的比较大,那么传输时间就会变得很大我们知道,hdfs存储大文件会把该文件分为多个块。 在mapreduce中,一个mapreduce程序要处理该文件,每个map都是一个客户端,但每个map都只分别下载一个block,对于整个mapreduce程序来说,下载该文件的时间就是下载一个块的时间。当block size比较小时,那么对于整个mapreduce来说,下载这个文件的时间就会很小。
|
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭 |