Docker + Hadoop搭建伪集群

您所在的位置：网站首页 › docker配置hadoop集群 › Docker + Hadoop搭建伪集群

Docker + Hadoop搭建伪集群

2024-07-08 00:20| 来源: 网络整理| 查看: 265

目的：利用docker容器构建3台虚拟主机，一台为管理节点两台为数据节点以此来构建hadoop伪集群，三台虚拟主机之间使用SSH进行连接

因此整体思路为安装Centos镜像，为镜像安装SSH，Hadoop，Java，根据镜像创建三个容器，这样每个容器其实就相当于一台运行着Centos的主机，选择一个为管理节点配置Hadoop

文章很长，请耐心阅读

操作系统Centos7，安装时最好选择安装GNOME桌面

下载Docker CE1 删除旧版本

$ sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ docker-selinux \ docker-engine-selinux \ docker-engine

配置Docker仓库

$ sudo yum install -y yum-utils \ device-mapper-persistent-data \ lvm2 $ sudo yum-config-manager \ --add-repo \ https://download.docker.com/linux/centos/docker-ce.repo

安装Docker CE

$ sudo yum install docker-ce

启动Docker CE

$ sudo systemctl enable docker $ sudo systemctl start docker

为Docker创建新的工作组

$ sudo usermod -aG docker $USER

切换至root用户

$ ru test

测试Docker是否正常工作

$ docker run hello-world

Hello World

$ docker images

docker images

拉取Centos镜像

$ docker pull centos $ docker images

拉取的镜像 centos 为拉取的镜像安装SSH

$ mkdir DockerFile $ cd DockerFile $ mkdir CentOS7_SSH $ cd CentOS7_SSH $ vi Dockerfile

Dockerfile

FROM centos MAINTAINER codingstory #安装SSH RUN yum install -y openssh-server sudo RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config RUN yum install -y openssh-clients #添加用户名为hadoop用户密码为hadoop的用户 RUN useradd hadoop RUN echo "hadoop:hadoop" | chpasswd #提升hadoop用户的权限 RUN echo "hadoop ALL=(ALL) ALL" >> /etc/sudoers RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key #开启SSH服务端口为22 RUN mkdir /var/run/sshd EXPOSE 22 CMD ["/usr/sbin/sshd", "-D"]

安装

$ docker build -t centos7_ssh .

安装过程中会出现红色警报可以不用管 centos7_ssh 有了centos7_hadoop镜像构建网络环境

$ docker network create -d bridge hadoop-network $ docker network ls

network 测试SSH功能建立一个容器(此时的容器已经有操作系统和网路了相当于一台虚拟主机了)

$ docker run --network=hadoop-network -itd --name=hadoop_ssh centos7_ssh $ docker network inspect hadoop-network

容器已经有IP地址了测试SSH连接

$ ssh 172.18.0.2 -l hadoop

ssh连接解释一下命令的含义172.18.0.2代表了我们刚刚创建的容器(虚拟主机)的IP地址，hadoop代表了我们要连接到容器(虚拟主机)中名为hadoop的用户

SSH连接测试成功后，要为镜像安装Hadoop和Java 进入到DockerFile文件夹中建立一个新的文件夹

$ mkdir CentOS7_Hadoop $ cd CentOS7_Hadoop $ vi Dockerfile

Dockerfile

FROM centos7_ssh #解压下载的java文件 ADD jdk-8u191-linux-x64.tar.gz /usr/local/ # 更改文件夹名字 RUN mv /usr/local/jdk1.8.0_191 /usr/local/jdk1.8 ENV JAVA_HOME /usr/local/jdk1.8 ENV PATH $JAVA_HOME/bin:$PATH # 解压下载的Hadoop文件 ADD hadoop-2.8.5.tar.gz /usr/local RUN mv /usr/local/hadoop-2.8.5 /usr/local/hadoop ENV HADOOP_HOME /usr/local/hadoop ENV PATH $HADOOP_HOME/bin:$PATH RUN yum install -y which sudo

进入Hadoop官网下载hadoop-2.8.5.tar.gz的二进制文件进入Java官网下载[Linux x64 jdk-8u191-linux-x64.tar.gz ](https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html) 把下载的文件放入DockerFile/CentOS7_Hadoop目录下安装Hadoop、Java 执行Dockerfile

$ docker build -t centos7_hadoop .

安装Hadoop、Java

$ docker images

有了centos_hadoop镜像现在我们的镜像已经安装了SSH、Hadoop、Java 再根据镜像创建三个容器

$ docker run --network hadoop-network --name hadoop1 --hostname hadoop1 -d -P centos7_hadoop $ docker run --network hadoop-network --name hadoop2 --hostname hadoop2 -d -P centos7_hadoop $ docker run --network hadoop-network --name hadoop0 --hostname hadoop0 -d -P -p 50070:50070 -p 8088:8088 centos7_hadoop

对于hadoop0来说，我们希望它能作为管理员，因此把它的端口50070和8088映射到我们自己的主机中

打开三个命令行分别进入三个容器

$ docker exec -it hadoop0 /bin/bash $ docker exec -it hadoop1 /bin/bash $ docker exec -it hadoop2 /bin/bash

可以看到命令行顶部已经改变，分别为hadoop0、hadoop1、hadoop2 在三个命令行中全部切换为hadoop用户

$ su hadoop

都生成用于SSH连接的公钥和私钥

$ ssh-keygen

都将自己的公钥复制给其它容器

$ ssh-copy-id -i ~/.ssh/id_rsa -p 22 hadoop@hadoop0 $ ssh-copy-id -i ~/.ssh/id_rsa -p 22 hadoop@hadoop1 $ ssh-copy-id -i ~/.ssh/id_rsa -p 22 hadoop@hadoop2

这样我们就可以不需要密码就可以访问其它容器，假设我们现在处于hadoop0容器我们可以使用

$ ssh -p '22' 'hadoop@hadoop2'

访问hadoop2容器访问之前访问之后下面进行Hadoop的配置进入hadoop0容器

$ sudo vi /usr/local/hadoop/etc/hadoop/core-site.xml

将下面的代码configuration部分复制到core-site.xml文件中的configuration部分

fs.default.name hdfs://hadoop0:9000 io.file.buffer.size 131072 hadoop.tmp.dir file:/home/${user.name}/tmp A base for other temporary directories. hadoop.proxyuser.hduser.hosts * hadoop.proxyuser.hduser.groups * fs.trash.interval 1440 $ sudo vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml

将下面的代码configuration部分复制到hdfs-site.xml文件中的configuration部分

dfs.namenode.name.dir file:/usr/local/hadoop/hdfs/name dfs.datanode.data.dir file:/usr/local/hadoop/hdfs/data dfs.replication 2 dfs.namenode.secondary.http-address hadoop0:9001 dfs.webhdfs.enabled true

切入到hadoop目录下

$ cd /usr/local/hadoop/etc/hadoop $ sudo cp mapred-site.xml.template mapred-site.xml

将下面的代码configuration部分复制到mapred-site.xml文件中的configuration部分

mapreduce.framework.name yarn mapreduce.jobhistory.address hadoop0:10020 mapreduce.jobhistory.webapp.address hadoop0:19888 $ sudo vi yarn-site.xml

将下面的代码configuration部分复制到yarn-site.xml文件中的configuration部分

yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address hadoop0:8032 yarn.resourcemanager.scheduler.address hadoop0:8030 yarn.resourcemanager.resource-tracker.address hadoop0:8031 yarn.resourcemanager.admin.address hadoop0:8033 yarn.resourcemanager.webapp.address hadoop0:8088 $ sudo vi slaves

删除原来的内容加入

hadoop1 hadoop2

查看JAVA_HOME路径

$ echo $JAVA_HOME $ sudo vi hadoop-env.sh

找到

export JAVA_HOME=${JAVA_HOME}

将其更改为JAVA_HOME路径，例如

export JAVA_HOME=/usr/local/jdk1.8

现在将修改过后的hadoop文件发送给hadoop1和hadoop2容器2

$ sudo scp -r /usr/local/hadoop hadoop@hadoop1:/tmp $ sudo scp -r /usr/local/hadoop hadoop@hadoop1:/tmp

进入hadoop1和hadoop2删除原来的hadoop文件

$ rm -rf /usr/local/hadoop