HDFS入门之Shell基本操作

HDFS入门之Shell基本操作

1. Shell 命令行客户端

Hadoop 提供了文件系统的 shell 命令行客户端，使用方法如下：hadoop fs 文件系统 shell 包括与 Hadoop 分布式文件系统（HDFS）以及 Hadoop 支持的其他文件系统（如本地 FS，HFTP FS，S3 FS 等）直接交互的各种类似 shell的命令。所有 FS shell 命令都将路径 URI 作为参数。

URI 格式为 scheme://authority/path。对于 HDFS，该 scheme 是 hdfs，对于本地 FS，该 scheme 是 file。scheme 和 authority 是可选的。如果未指定，则使用配置中指定的默认方案。

对于 HDFS,命令示例如下：hadoop fs -ls hdfs://namenode:host/parent/child hadoop fs -ls /parent/child fs.defaultFS 中有配置 对于本地文件系统，命令示例如下：hadoop fs -ls file:///root/ 如果使用的文件系统是 HDFS，则使用 hdfs dfs 也是可以的，此时hadoop fs = hdfs dfs 2. Shell 命令选项

选项名称 使用格式 含义 -ls -ls 查看指定路径的当前目录结构 -lsr -lsr 递归查看指定路径的目录结构 -du -du 统计目录下个文件大小 -dus -dus 汇总统计目录下文件(夹)大小 -count -count [-q] 统计文件(夹)数量 -mv -mv 移动 -cp -cp 复制 -rm -rm [-skipTrash] 删除文件/空白文件夹 -rmr -rmr [-skipTrash] 递归删除 -put -put 上传文件 -copyFromLocal -copyFromLocal 从本地复制 -moveFromLocal -moveFromLocal 从本地移动 -getmerge -getmerge 合并到本地 -cat -cat 查看文件内容 -text -text 查看文件内容 -copyToLocal -copyToLocal [-ignoreCrc] [-crc] [hdfs源路径] [linux 目的路径] 从本地复制 -moveToLocal -moveToLocal [-crc] 从本地移动 -mkdir -mkdir 创建空白文件夹 -setrep -setrep [-R] [-w] 修改副本数量 -touchz -touchz 创建空白文件 -stat -stat [format] 显示文件统计信息 -tail -tail [-f] 查看文件尾部信息 -chmod -chmod [-R] [路径] 修改权限 -chown -chown [-R] [属主][:[属组]] 路径 修改属主 -chgrp -chgrp [-R] 属组名称 路径 修改属组 -help -help [命令选项] 帮助 3. Shell 常用命令介绍

–ls 使用方法：hadoop fs -ls [-h] [-R] 功能：显示文件、目录信息。 示例：hadoop fs -ls /user/hadoop/file1

–mkdir 使用方法：hadoop fs -mkdir [-p] 功能：在 hdfs 上创建目录，-p 表示会创建路径中的各级父目录。 示例：hadoop fs -mkdir –p /user/hadoop/dir1

–put 使用方法：hadoop fs -put [-f] [-p] [ -| .. ]. 功能：将单个 src 或多个 srcs 从本地文件系统复制到目标文件系统。 -p：保留访问和修改时间，所有权和权限。 -f：覆盖目的地（如果已经存在） 示例：hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir

–get 使用方法：hadoop fs -get [-ignorecrc] [-crc] [-p] [-f] -ignorecrc：跳过对下载文件的 CRC 检查。 -crc：为下载的文件写 CRC 校验和。 功能：将文件复制到本地文件系统。 示例：hadoop fs -get hdfs://host:port/user/hadoop/file localfile

–appendToFile 使用方法：hadoop fs -appendToFile … 功能：追加一个文件到已经存在的文件末尾 示例：hadoop fs -appendToFile localfile /hadoop/hadoopfile

–cat 使用方法：hadoop fs -cat [-ignoreCrc] URI [URI …] 功能：显示文件内容到 stdout 示例：hadoop fs -cat /hadoop/hadoopfile

–tail 使用方法：hadoop fs -tail [-f] URI 功能：将文件的最后一千字节内容显示到 stdout。 -f 选项将在文件增长时输出附加数据。 示例：hadoop fs -tail /hadoop/hadoopfile

–chgrp 使用方法：hadoop fs -chgrp [-R] GROUP URI [URI …] 功能：更改文件组的关联。用户必须是文件的所有者，否则是超级用户。 -R 将使改变在目录结构下递归进行。 示例：hadoop fs -chgrp othergroup /hadoop/hadoopfile

–chmod 功能：改变文件的权限。使用-R 将使改变在目录结构下递归进行。 示例：hadoop fs -chmod 666 /hadoop/hadoopfile

–chown 功能：改变文件的拥有者。使用-R 将使改变在目录结构下递归进行。 示例：hadoop fs -chown someuser:somegrp /hadoop/hadoopfile

–copyFromLocal 使用方法：hadoop fs -copyFromLocal URI 功能：从本地文件系统中拷贝文件到 hdfs 路径去 示例：hadoop fs -copyFromLocal /root/1.txt /

–copyToLocal 功能：从 hdfs 拷贝到本地 示例：hadoop fs -copyToLocal /aaa/jdk.tar.gz

–cp 功能：从 hdfs 的一个路径拷贝 hdfs 的另一个路径 示例： hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

–mv 功能：在 hdfs 目录中移动文件 示例： hadoop fs -mv /aaa/jdk.tar.gz /

–getmerge 功能：合并下载多个文件 示例：比如 hdfs 的目录 /aaa/下有多个文件:log.1, log.2,log.3,…hadoop fs -getmerge /aaa/log.* ./log.sum –rm 功能：删除指定的文件。只删除非空目录和文件。-r 递归删除。 示例：hadoop fs -rm -r /aaa/bbb/

–df 功能：统计文件系统的可用空间信息 示例：hadoop fs -df -h /

–du 功能：显示目录中所有文件大小，当只指定一个文件时，显示此文件的大小。 示例：hadoop fs -du /user/hadoop/dir1

–setrep 功能：改变一个文件的副本系数。-R 选项用于递归改变目录下所有文件的副本 系数。 示例：hadoop fs -setrep -w 3 -R /user/hadoop/dir1

喜欢就点赞评论+关注吧

感谢阅读，希望能帮助到大家，谢谢大家的支持！