Hadoop上传文件到hdfs中 您所在的位置:网站首页 查看上传到hdfs的文件是哪个文件夹 Hadoop上传文件到hdfs中

Hadoop上传文件到hdfs中

2023-09-13 10:24| 来源: 网络整理| 查看: 265

Hadoop上传文件到hdfs中

hadoop常见指令:

hdfs dfs -copyFromLocal /local/data /hdfs/data:将本地文件上传到 hdfs 上(原路径只能是一个文件) hdfs dfs -put /tmp/ /hdfs/ :和 copyFromLocal 区别是,put 原路径可以是文件夹等 hadoop fs -ls / :查看根目录文件 hadoop fs -ls /tmp/data:查看/tmp/data目录 hadoop fs -cat /tmp/a.txt :查看 a.txt,与 -text 一样 hadoop fs -mkdir dir:创建目录dir hadoop fs -rmr dir:删除目录dir

出现 Call From master to localhost:9000 failed on connection exception…的错误: 原因没有打开权限:

修改 /hadoop/etc/hadoop/hdfs.site.xml

找到dfs.permissions属性修改为false(默认为true)OK了 这里写图片描述

出现hdfs.DFSClient: DataStreamer Exception的问题: 原因:在进行namenode格式化时多次造成那么spaceID不一致。

1.删除core.site.xml中临时文件指定的目录 这里写图片描述

2.重新进行格式化

hadoop name -formate

3.启动集群

start-all.sh

4.创造目录

hadoop fs -mkdir /user hadoop fs -mkdir /user/root

5上传文件

hdfs dfs -put movie.csv /user/root/

这里写图片描述



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有