Windows环境下hadoop安装和配置详细步骤(图文) 您所在的位置:网站首页 Hadoop搭建的平台运行基础环境图 Windows环境下hadoop安装和配置详细步骤(图文)

Windows环境下hadoop安装和配置详细步骤(图文)

2024-07-02 01:53| 来源: 网络整理| 查看: 265

参考 https://www.cnblogs.com/caiyishuai/p/12392070.html

https://blog.csdn.net/qq_35535690/article/details/81976032 https://blog.csdn.net/wangaz521/article/details/79717177

1.首先下载hadoop2.7.1和hadooponwindows-master.zip

链接:https://pan.baidu.com/s/1M2i8prhEPFOIROG_EIYhJw 提取码:acif 下载并解压到本地 我是放到了的D盘 在这里插入图片描述 2.原版的Hadoop不支持Windows系统,我们需要修改一些配置方便在Windows上运行,hadooponwindows-master.zip 解压后 复制解压开的bin文件和etc文件到hadoop-2.7.1文件中,并替换原有的bin和etc文件。

或者也可以到官网下载hadoop:https://archive.apache.org/dist/hadoop/common/ 在这里插入图片描述 在这里插入图片描述

3.下载配置JAVA_HOME并检查是否成功 在这里插入图片描述

4.配置HADOOP_HOME,环境变量path添加%HADOOP_HOME%\bin 在这里插入图片描述

在这里插入图片描述在这里插入图片描述

5.使用编辑器打开D:\hadoop\hadoop-2.7.1\etc\hadoop\hadoop-env.cmd 修改JAVA_HOME的路径 把set JAVA_HOME改为jdk的位置 在这里插入图片描述 6.在D:\hadoop\hadoop-2.7.1目录下 添加tmp文件夹 在D:\hadoop\hadoop-2.7.1添加data和namenode,datanode子文件夹 在这里插入图片描述 在这里插入图片描述

7.打开 D:/hadoop/hadoop-2.7.1/etc/hadoop/hdfs-site.xml 修改路径为hadoop下的namenode和datanode 在这里插入图片描述 8.从D:\hadoop\hadoop-2.7.1\bin下拷贝hadoop.dll到 C:\Windows\System32 ,不然在window平台使用MapReduce测试时报错 在这里插入图片描述 9.以管理员身份打开命令提示符 输入hdfs namenode -format,看到如下所示就说明format成功 在这里插入图片描述

10.转到hadoop-2.7.1\sbin文件下

输入start-all,启动hadoop集群

D:\hadoop\hadoop-2.7.1\sbin>start-all

出现下面四个窗口表示启动hadoop集群成功 在这里插入图片描述

11.输入jps - 可以查看运行的所有节点 在这里插入图片描述

12.访问http://localhost:50070,访问hadoop的web界面

访问http://localhost:8088,访问yarn的web界面,有就表明已经成功 在这里插入图片描述

停止运行的所有节点的命令stop-all在这里插入图片描述 13.上传测试

根据你core-site.xml的配置,接下来你就可以通过:hdfs://localhost:9000来对hdfs进行操作了。

创建输入目录 C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/ C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/wcinput 上传数据到目录 C:\WINDOWS\system32>hadoop fs -put D:\personal\debug.log hdfs://localhost:9000/user/wcinput

在这里插入图片描述



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有