搭建Hadoop集群

实验二 搭建Hadoop集群

搭建Hadoop集群，配置etc/下的配置文件，设置主从节点，设置Hadoop环境变量，分发到其他电脑，运行hdfs和yarn，启动namenode、datanode。

    8学时。

一、Hadoop解压、创建软连接

1、将hadoop-2.8.5.tar.gz上传到服务器~/apps下，再将其解压到/usr/local目录下。

2、进入/usr/local目录下，后使用  ln -s hadoop-2.8.5  hadoop2 创建一个软连接。再使用ls命令查看，发现hadoop-2.8.5和hadoop2都存在。

 二、配置环境变量

1、进入/etc/profiled.d目录下，使用vi命令新建hadoop.sh文件

 2、在hadoop.sh文件中添加如下命令。

 3、保存，调用source hadoop.sh。测试版本号：hadoop version

 三、配置hadoop环境脚本中的java参数

在hadoop2/etc/hadoop下，分别使用vim hadoop-env.sh、vim mapred-env.sh、vim yarn-env.sh，全部添加上export JAVA_HOME=$JAVA_HOME

四、创建Hadoop存储目录，在/目录下新建三个文件

五、配置主从节点

删除hadoop2/etc/hadoop/slaves中配置，将hp2、hp3添加到slaves中作为集群的slaves

六、配置core-site.xml

配置core-site.xml

fs.defaultFS

hdfs://hp1:9000

io.file.buffer.size

131072

hadoop.tmp.dir

file:/hadoop_data/tmp

配置改hdfs-site.xml

dfs.namenode.secondary.http-address

hp1:9001

dfs.namenode.name.dir

file:/hadoop_data/dfs/name

dfs.datanode.data.dir

file:/hadoop_data/dfs/data

dfs.replication

2

dfs.webhdfs.enabled

true

yarn-site.xml:

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

yarn.resourcemanager.address

hp1:8032

yarn.resourcemanager.scheduler.address

hp1:8030

yarn.resourcemanager.resource-tracker.address

hp1:8031

yarn.resourcemanager.admin.address

hp1:8033

yarn.resourcemanager.webapp.address

hp1:8088

mapred-site-xml:

复制文件:

cp mapred-site.xml.template  mapred-site.xml

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

hp1:10020

mapreduce.jobhistory.webapp.address

hp1:19888

七、分发hp1的配置到hp2、hp3：

1、使用scp -r hadoop.sh hp2:/etc/profile.d、scp -r hadoop.sh hp3:/etc/profile.d命令将hadoop远程复制到hp2  hp3上，并在hdp2、hdp3中分别调用source hadoop.sh。

2、使用 hadoop version命令测试版本号

 3、使用scp -r /usr/local/hadoop-2.8.5/  hdp2:/usr/local、scp -r /usr/local/hadoop-2.8.5/  hdp3:/usr/local命令，分别将hadoop远程复制到hp2、hp3上。

4、分别在hp1和hp2中输入ln -s hadoop-2.8.5  hadoop2命令，建立软连接。

5、使用scp -r hadoop_data/  hdp2:/和scp -r hadoop_data/  hdp3:/命令，将文件夹分发：

八、格式化主节点的存储目录

第一次启动hadoop是需要格式化hadoop的namenode

hdfs namenode –format

九、启动hadoop

1、启动dfs

命令：start-dfs.sh

2、启动yarn

命令：start-yarn.sh

 3、通过jps命令，可以查看hadoop启动的进程

关闭yarn

命令：stop-yarn.sh

 关闭dsf

命令：stop-dfs.sh

十、测试hadoop的安装

在web页面中查看hdfs和yarn

http://hdp1:50070

http://hdp1:8088

成功连接hdp1中hadoop。