hdfs的java操作实验报告 常用的hdfs操作实验报告

HDFS 的使用和管理 实验环境 Linux Ubuntu 16.04

实验内容 前提条件：

1）Hadoop 3.0.0 的单点部署完成 2）Java 运行环境部署完成

上述前提条件，我们已经为你准备就绪了。

1. 启动hadoop的hdfs相关进程

2. 用jps查看HDFS是否启动

显示信息如下

我们可以看到相关进程，都已经启动。

3. 验证HDFS运行状态 先在HDFS上创建一个目录, 看是否能够成功

4. ls 命令 列出hdfs文件系统根目录下的目录和文件。

列出hdfs文件系统所有的目录和文件。

hadoop fs -ls -R /5. put 命令 1）拷贝文件：

其中< hdfs file >的父目录一定要存在，否则命令不会执行, 比如：

hadoop fs -put /apps/hadoop/README.txt / 2）拷贝目录：

其中< hdfs dir >的父目录一定要存在，否则命令不会执行, 比如：

hadoop fs -put /apps/hadoop/logs / 3）查询是否拷贝成功：

hadoop fs -ls / 如果拷贝文件和目录成功，你将会看到 /logs 和 /REAME.txt

6. moveFromLocal 命令 1）拷贝文件或目录：

与put相类似，命令执行后源文件 local src 被删除

2）查询是否拷贝成功：

如果拷贝文件和目录成功，你将会看到 /logs 和 /NOTICE.txt

7. get 命令 1）拷贝文件或目录到本地：

local file不能和 hdfs file名字不能相同，否则会提示文件已存在，没有重名的文件会复制到本地

拷贝多个文件或目录到本地时，本地要为文件夹路径

注意：如果用户不是root， local 路径要为用户文件夹下的路径，否则会出现权限问题

2）查询是否拷贝得到本地成功：

如果拷贝文件和目录成功，你将会看到 logs 和 NOTICE.txt

8. rm 命令 1）删除一个或多个文件

hadoop fs -rm /README.txt 2）删除一个或多个目录

3）查询是否删除成功

如果删除文件和目录成功，你将不会看到 /logs 和 /NOTICE.txt

9. mkdir 命令 1）创建一个新目录：

只能一级一级的建目录，父目录不存在则这个命令会报错

所创建的目录如果父目录不存在就创建该父目录

2）查询目录：

如果创建目录成功，你将不会看到 /myhadoop1/test 和 /myhadoop2/test

10. cp 命令 完成HDFS 上文件或目录的拷贝

目标文件不能存在，否则命令不能执行，相当于给文件重命名并保存，源文件还存在

目标文件夹要存在，否则命令不能执行

1）拷贝一个本地文件到 HDFS 的根目录下

成功后，即可以查询到此文件

2）然后将此文件拷贝到 /myhadoop1 下

3）查询 /myhadoop1 目录

如果拷贝成功，你将会看到 LICENSE.txt 文件

11. mv 命令 完成HDFS 上文件或目录的移动

目标文件不能存在，否则命令不能执行，相当于给文件重命名并保存，源文件不存在

源路径有多个时，目标路径必须为目录，且必须存在

注意：跨文件系统的移动（local到hdfs或者反过来）都是不允许的

1）移动一个 HDFS 文件

2）查询 /myhadoop2 目录

如果拷贝成功，你将会看到 /myhadoop2/LICENSE.txt 文件

12. count 命令 统计hdfs对应路径下的目录个数，文件个数，文件总计大小

显示为目录个数，文件个数，文件总计大小，输入路径， 如下：

显示hdfs对应路径下每个文件夹和文件的大小

显示hdfs对应路径下所有文件和的大小

显示hdfs对应路径下每个文件夹和文件的大小,文件的大小用方便阅读的形式表示，例如用64M代替67108864

14. setrep 命令

改变一个文件在hdfs中的副本个数，上述命令中数字3为所设置的副本个数

-R选项可以对一个人目录下的所有目录+文件递归执行改变副本个数的操作

15. stat 命令

返回对应路径的状态信息

[format]可选参数有：

%b（文件大小）

%o（Block大小）

%n（文件名）

%r（副本个数）

%y（最后一次修改日期和时间）

显示为文件大小， 如下：

16. balancer 命令

如果管理员发现某些DataNode保存数据过多，某些DataNode保存数据相对较少，可以使用上述命令手动启动内部的均衡过程

17. dfsadmin 命令

管理员可以通过dfsadmin管理HDFS，用法可以通过上述命令查看

显示文件系统的基本数据

enter：进入安全模式；

leave：离开安全模式；

get：获知是否开启安全模式；

wait：等待离开安全模式