【hadoop】部署hadoop的伪分布模式 |
您所在的位置：网站首页 › 什么是完全分布式模式的特点 › 【hadoop】部署hadoop的伪分布模式 |
【hadoop】部署hadoop的伪分布模式
|
hadoop的伪分布模式
伪分布模式的特点部署伪分布模式hadoop-env.shhdfs-site.xmlcore-site.xmlmapred-site.xmlyarn-site.xml对NameNode进行格式化启动Hadoop
对部署是否完成进行测试免密码模式免密码模式的原理（重要）免密码模式的配置
伪分布模式的特点
在单机上，模拟一个分布式的环境具备Hadoop的所有的功能用于开发和测试
HDFS：NameNode、DataNode、SecondaryNameNode
Yarn：ResourceManager、NodeManager
部署伪分布模式
前提：部署好hadoop的本地模式 点击设置hadoop的本地模式 伪分布模式的部署主要是将下面的参数文件的配置参数进行更改。
注：如果在本地模式已经配置完成，这个文件则不需要重复配置。 路径：/root/training/hadoop-2.7.3/etc/hadoop（$HADOOP_HOME/etc/hadoop） 更改第25行 export JAVA_HOME=/root/training/jdk1.8.0_181 hdfs-site.xml进入 /root/training/hadoop-2.7.3/etc/hadoop/ 路径找到 hdfs-site.xml 文件进行编辑。 将下面xml代码添加该文件 dfs.replication 1
需要在hadoop目录下，先创建出tmp文件，作为HDFS对应的操作系统目录。 mkdir /root/training/hadoop-2.7.3/tmp编辑操作与上面文件相同，则不演示。 fs.defaultFS hdfs://bigdata111:9000 hadoop.tmp.dir /root/training/hadoop-2.7.3/tmp mapred-site.xml这个文件默认没有，需要我们先复制 cp mapred-site.xml.template mapred-site.xml
执行下面这条命名 hdfs namenode -format成功则出现下面这句话。
需要输入4次密码和yes。 至此部署完成，下面进行测试！ 对部署是否完成进行测试将本地文件上传到hdfs
停止集群 stop-all.sh
也需要输入4次密码，输入密码太麻烦，所以我们还需要配置免密码模式。 免密码模式 免密码模式的原理（重要）
注：root@bigdata111 是你当前的主机名
免密码模式配置完成！ |
进入/root/training/hadoop-2.7.3/share/hadoop/mapreduce/
【本文地址】
公司简介
联系我们
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |