三节点(Master、Slave1、Slave2)Hadoop集群的配置(Ubuntu) | 您所在的位置:网站首页 › hadoop从机多了个SecondaryNameNode › 三节点(Master、Slave1、Slave2)Hadoop集群的配置(Ubuntu) |
本文主要取自林子雨老师网站: http://dblab.xmu.edu.cn/blog/install-hadoop/ http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/ 思路: 1、选定一台机器作为 Master 2、在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境 3、在 Master 节点上安装 Hadoop,并完成配置 4、在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境 5、将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上 6、在 Master 节点上开启 Hadoop 创建hadoop用户如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户,那么需要增加一个名为 hadoop 的用户。 sudo useradd -m hadoop -s /bin/bash设置密码,按提示输入两次密码: sudo passwd 你要设置的密码可为 hadoop 用户增加管理员权限,方便部署 sudo adduser hadoop sudo切换到刚创建的hadoop用户 su hadoop 更新apt用 hadoop 用户登录后,先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了。 sudo apt-get update下面可以安装一个vim可以方便地修改配置文件 sudo apt-get install vim 安装SSH、配置SSH无密码登陆(很重要的一步)Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server: sudo apt-get install openssh-server安装后,可以使用如下命令登陆本机: ssh localhostSSH首次登陆提示,输入 yes 。然后按提示输入上边设置的密码,这样就登陆到本机了。 这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。 首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中: exit # 退出刚才的 ssh localhost cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost ssh-keygen -t rsa # 会有提示,都按回车就可以 cat ./id_rsa.pub >> ./authorized_keys # 加入授权此时再用 ssh localhost 命令,无需输入密码就可以直接登陆了。 安装Java环境安装openjdk sudo apt-get install openjdk-8-jre openjdk-8-jdk安装好 OpenJDK 后,需要找到相应的安装路径,这个路径是用于配置 JAVA_HOME 环境变量的。 dpkg -L openjdk8-jdk | grep '/bin/javac'接着需要配置一下 JAVA_HOME 环境变量: vim ~/.bashrc #如果不会vim的用法可以自行百度在文件最前面添加如下单独一行(注意 = 号前后不能有空格) export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64接着还需要让该环境变量生效,执行如下代码: source ~/.bashrc # 使变量设置生效设置好后我们来检验一下是否设置正确: echo $JAVA_HOME # 检验变量值 java -version $JAVA_HOME/bin/java -version # 与直接执行 java -version 一样如果设置正确的话,$JAVA_HOME/bin/java -version 会输出 java 的版本信息,且和 java -version 的输出结果一样 这样之后,Java环境配好了。 安装hadoophadoop的下载网站(我下的版本是2.9.2) 下载 “stable” 下的 hadoop-2.x.y.tar.gz 这个格式的文件,这是编译好的 选择将 Hadoop 安装至 /usr/local/ 中:` sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中 cd /usr/local/ sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop sudo chown -R hadoop ./hadoop # 修改文件权限Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息: cd /usr/local/hadoop ./bin/hadoop version以上只是一个节点的准备工作,我们的是一个主节点,两个从节点。因此另外两个从节点也要进行相同的工作。为了简化刚才重复的操作步骤,我们可以克隆两个虚拟机。 网络配置假设集群所用的节点都位于同一个局域网。 如果使用的是虚拟机安装的系统,那么需要更改网络连接方式为桥接(Bridge)模式,才能实现多个节点互连。(3个节点都要这样) Linux 中查看节点 IP 地址的命令为 ifconfig(第一次用这个命令可能需要安装:sudo apt-get install net-tools)查看inet 地址,即 由于这样它的IP地址会根据物理IP的改变而改变,所以我们要将它设置成静态IP: 1.改为桥接模式 #上一步已经完成 2.查看网卡编号 #也就是上一步看的inet地址 3.sudo vi /etc/network/interfaces 原来里面的东西不变,再添加 auto ens33 iface ens33 inet static address 192.168.1.100 # address地址三个节点之间不能相同 netmask 255.255.255.0 gateway 192.168.1.1 # gateway前面三项要与address前面三项相同,最后一项必须为1 4.重启网络 sudo /etc/init.d/networking restart 5.设置DNS sudo vi /etc/systemd/resolved.conf DNS=8.8.8.8 223.5.5.5 # 在原文件里面的DNS后面加,将DNS前的#去掉 6.重启ubuntu为了便于区分,可以修改各个节点的主机名(在终端标题、命令行中可以看到主机名,以便区分)。 sudo vim /etc/hostn可将主节点改为Master,两个从节点分别改为Slave1、Slave2 然后执行如下命令修改自己所用节点的IP映射: sudo vim /etc/hosts映射关系一定要对应准确,各个节点的IP,就是上面address地址。 修改完成后需要重启一下,重启后在终端中才会看到机器名的变化。接下来的教程中请注意区分 Master 节点与 Slave 节点的操作。 注意:网络配置需要在所有节点完成 配置好后需要在各个节点上执行如下命令,测试是否相互 ping 得通,如果 ping 不通,后面就无法顺利配置成功: ping Master -c 3 # 只ping 3次,否则要按 Ctrl+c 中断 ping Slave1 -c 3 ping Slave2 -c 3这样就ping通了 SSH无密码登陆节点首先生成 Master 节点的公匙,在 Master 节点的终端中执行(因为改过主机名,所以还需要删掉原有的再重新生成一次): cd ~/.ssh # 如果没有该目录,先执行一次ssh localhost rm ./id_rsa* # 删除之前生成的公匙(如果有) ssh-keygen -t rsa # 一直按回车就可以让 Master 节点需能无密码 SSH 本机,在 Master 节点上执行: cat ./id_rsa.pub >> ./authorized_keys完成后可执行 ssh Master 验证一下(可能需要输入 yes,成功后执行 exit 返回原来的终端)。接着在 Master 节点将上公匙传输到 Slave1 节点: scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/执行 scp 时会要求输入 Slave1 上 hadoop 用户的密码,输入完成后会提示传输完毕,如下图所示: 接着在 Master 节点将上公匙传输到 Slave2 节点: scp ~/.ssh/id_rsa.pub hadoop@Slave2:/home/hadoop/结束标志同Slave1 接着在 Slave1 节点上,将 ssh 公匙加入授权: mkdir ~/.ssh # 如果不存在该文件夹需先创建,若已存在则忽略 cat ~/id_rsa.pub >> ~/.ssh/authorized_keys rm ~/id_rsa.pub # 用完就可以删掉了接着在 Slave2 节点上,将 ssh 公匙加入授权: mkdir ~/.ssh # 如果不存在该文件夹需先创建,若已存在则忽略 cat ~/id_rsa.pub >> ~/.ssh/authorized_keys rm ~/id_rsa.pub # 用完就可以删掉了在 Master 节点上就可以无密码 SSH 到各个 Slave 节点了,可在 Master 节点上执行如下命令进行检验,如下图所示: ssh Slave2我测试的Slave2,同理可以测试Slave1. 配置PATH变量将 Hadoop 安装目录加入 PATH 变量中,这样就可以在任意目录中直接使用 hadoo、hdfs 等命令了 首先执行 vim ~/.bashrc加入一行: export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin保存后执行 source ~/.bashrc 使配置生效。 配置集群/分布式环境首先切换到配置文件目录下: cd /usr/local/hadoop/etc/hadoop1, 文件 slaves vim slaves将文件中原来的 localhost 删除,只添加两行内容: Slave1 Slave22, 文件 core-site.xml 改为下面的配置: fs.defaultFS hdfs://Master:9000 hadoop.tmp.dir file:/usr/local/hadoop/tmp Abase for other temporary directories.3, 文件 hdfs-site.xml,我们有两个 Slave 节点,所以 dfs.replication 的值设为2: dfs.namenode.secondary.http-address Master:50090 dfs.replication 2 dfs.namenode.name.dir file:/usr/local/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop/tmp/dfs/data4, 文件 mapred-site.xml (可能需要先重命名,默认文件名为 mapred-site.xml.template) mv mapred-site.xml mapred-site.xml.template然后配置修改如下: mapreduce.framework.name yarn mapreduce.jobhistory.address Master:10020 mapreduce.jobhistory.webapp.address Master:198885, 文件 yarn-site.xml: yarn.resourcemanager.hostname Master yarn.nodemanager.aux-services mapreduce_shuffle配置好后,将 Master 上的 /usr/local/Hadoop 文件夹复制到各个节点上。 cd /usr/local sudo rm -r ./hadoop/tmp # 删除 Hadoop 临时文件 sudo rm -r ./hadoop/logs/* # 删除日志文件 tar -zcf ~/hadoop.master.tar.gz ./hadoop # 先压缩再复制 cd ~ scp ./hadoop.master.tar.gz Slave1:/home/hadoop scp ./hadoop.master.tar.gz Slave2:/home/hadoop在 Slave1 节点上执行: sudo rm -r /usr/local/hadoop # 删掉旧的(如果存在) sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local sudo chown -R hadoop /usr/local/hadoop在 Slave2 节点上执行: sudo rm -r /usr/local/hadoop # 删掉旧的(如果存在) sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local sudo chown -R hadoop /usr/local/hadoop首次启动(仅首次)需要先在 Master 节点执行 NameNode 的格式化: hdfs namenode -format # 首次运行需要执行初始化,之后不需要接着启动 hadoop,启动需要在 Master 节点上进行: start-dfs.sh # 开启Master上的namenode、SecondrryNameNode进程,开启Slave1、Slave2上的datanode进程 start-yarn.sh # 开启Master上的ResourceManager进程,开启Slave1、Slave2上的NodeManager进程 mr-jobhistory-daemon.sh start historyserver #开启JobHistoryServer进程通过命令 jps 可以查看各个节点所启动的进程。正确的话,在 Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程 hdfs dfsadmin -report 查看 DataNode 是否正常启动,如果 Live datanodes 不为 0 , ,则说明集群启动成功。(我的是两个从节点 Live datanodes应该是2) 这样hadoop集群(完全分布)就配置成功了 |
CopyRight 2018-2019 实验室设备网 版权所有 |