HDFS命令行操作

2024-03-21 09:39| 来源: 网络整理| 查看: 265

前提准备

熟悉HDFS的命令行操作，需要事先在机器上搭建好环境。（点击查看伪分布式搭建；点击查看HA完全分布式搭建）。

启动

然后把我们的集群启动起来（这里我就先启动了伪分布式的环境）：

start-dfs.sh

所有的节点都启动起来后，输入以下命令会给出一系列命令的提示：

[root@node1 hadoop-2.6.5]# hdfs dfs Usage: hadoop fs [generic options] [-appendToFile ... ] [-cat [-ignoreCrc] ...] [-checksum ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-copyFromLocal [-f] [-p] [-l] ... ] [-copyToLocal [-p] [-ignoreCrc] [-crc] ... ] [-count [-q] [-h] ...] [-cp [-f] [-p | -p[topax]] ... ] [-createSnapshot []] [-deleteSnapshot ] [-df [-h] [ ...]] [-du [-s] [-h] ...] [-expunge] [-get [-p] [-ignoreCrc] [-crc] ... ] [-getfacl [-R] ] [-getfattr [-R] {-n name | -d} [-e en] ] [-getmerge [-nl] ] [-help [cmd ...]] [-ls [-d] [-h] [-R] [ ...]] [-mkdir [-p] ...] [-moveFromLocal ... ] [-moveToLocal ] [-mv ... ] [-put [-f] [-p] [-l] ... ] [-renameSnapshot ] [-rm [-f] [-r|-R] [-skipTrash] ...] [-rmdir [--ignore-fail-on-non-empty] ...] [-setfacl [-R] [{-b|-k} {-m|-x } ]|[--set ]] [-setfattr {-n name [-v value] | -x name} ] [-setrep [-R] [-w] ...] [-stat [format] ...] [-tail [-f] ] [-test -[defsz] ] [-text [-ignoreCrc] ...] [-touchz ...] [-usage [cmd ...]] Generic options supported are -conf specify an application configuration file -D use value for given property -fs specify a namenode -jt specify a ResourceManager -files specify comma separated files to be copied to the map reduce cluster -libjars specify comma separated jar files to include in the classpath. -archives specify comma separated archives to be unarchived on the compute machines. The general command line syntax is bin/hadoop command [genericOptions] [commandOptions] 1.创建目录：

想创建目录就是"mkdir"，想创建多层就是"-p"

hdfs dfs -mkdir -p /user/root

在这里插入图片描述

2.上传文件

执行“-put”命令：

hdfs dfs -put ~/hadoop-2.6.5.tar.gz /user/root

在这里插入图片描述

3.修改block大小

首先我们定义一个小文件：

for i in `seq 100000`;do echo "hello world $i" >>test.txt;done

然后在上传的时候设定block的大小：

hdfs dfs -D dfs.blocksize=1048576 -put test.txt /user/root

在这里插入图片描述我们去到“/var/software/hadoop/local/dfs/data/current/BP-269914864-192.168.16.111-1560277309858/current/finalized/subdir0/subdir0 ”目录下查看：

[root@node1 subdir0]# ll 总用量 198256 -rw-r--r-- 1 root root 134217728 6月 12 16:52 blk_1073741825 -rw-r--r-- 1 root root 1048583 6月 12 16:52 blk_1073741825_1001.meta -rw-r--r-- 1 root root 65417541 6月 12 16:52 blk_1073741826 -rw-r--r-- 1 root root 511083 6月 12 16:52 blk_1073741826_1002.meta -rw-r--r-- 1 root root 1048576 6月 12 16:59 blk_1073741827 -rw-r--r-- 1 root root 8199 6月 12 16:59 blk_1073741827_1003.meta -rw-r--r-- 1 root root 740319 6月 12 16:59 blk_1073741828 -rw-r--r-- 1 root root 5791 6月 12 16:59 blk_1073741828_1004.meta

每个块旁边都有一个记录了元数据信息的小文件描述它，最重要的就是做验证用的MD5值。其它的诸如"hdfs dfs -ls",“hdfs dfs -cat”,“hdfs dfs -get” “-chmod” ，“-chown”等和Linux命令无异，举一反三，这里就过多赘述了。

【本文地址】

公司简介

联系我们