Hadoop如何修改HDFS文件存储块大小 您所在的位置:网站首页 hdfs块大小参数 Hadoop如何修改HDFS文件存储块大小

Hadoop如何修改HDFS文件存储块大小

2024-07-01 00:15| 来源: 网络整理| 查看: 265

一、 临时修改可以在执行上传文件命令时,显示地指定存储的块大小。1. 查看当前 HDFS文件块大小我这里查看HDFS上的TEST目录下的jdk-7u25-linux-x64.gz  文件存储块大小。1.1 终端命令方式查看[xiaoyu@hadoop02 hadoop-1.1.2]$ ./bin/hadoop fs -stat "%o" TEST/jdk-7u25-linux-x64.gz51200单位为B(字节)1.2  或页面方式查看打开haddop datanode节点的hdfs监控页面:http://hadoop01:50070Hadoop如何修改HDFS文件存储块大小Hadoop如何修改HDFS文件存储块大小

如下所示:

Hadoop如何修改HDFS文件存储块大小

 

二、永久修改这个需要修改hdfs-site.conf配置文件,增加全局参数dfs.block.size。如下:

修改后参数

Hadoop如何修改HDFS文件存储块大小

把配置同步到其它节点,并重启hdfs。[xiaoyu@hadoop02 hadoop-1.1.2]$ bin/stop-dfs.shno namenode to stophadoop02: stopping datanodehadoop01: stopping secondarynamenode[xiaoyu@hadoop02 hadoop-1.1.2]$ bin/start-dfs.shstarting namenode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-namenode-hadoop02.outhadoop02: starting datanode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-datanode-hadoop02.outhadoop01: starting secondarynamenode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-secondarynamenode-hadoop01.out

重新查看TEST/jdk-7u25-linux-x64.gz 文件存储的块大小:

Hadoop如何修改HDFS文件存储块大小

重新上传文件到HDFS,并重命名为 比较用_jdk-7u25-linux-x64.gz

Hadoop如何修改HDFS文件存储块大小



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有