安装docker及Hadoop CDH搭建所需的配置

一   安装docker

1.1  卸载

之前安装过Docker想要卸载重新安装的，可以使用下面命令进行卸载

执行

yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-selinux \
docker-engine-selinux \
docker-engine \
docker-ce

1.2  docker安装

第一步

我们需要虚拟机联网，进行yum工具安装

第二步

本地镜像源更新

yum-config-manager \
--add-repo \
https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sed -i 's/download.docker.com/mirrors.aliyun.com\/docker-ce/g' 
/etc/yum.repos.d/docker-ce.repo
yum makecache fast

执行

yum install -y docker-ce

执行后稍等一会就安装完成了

二   搭建Hadoop CDH所需的配置

2.1 构建Centos-cdh镜像

数据初始化

执行

yum install -y wget \
&& mkdir -p /etc/yum.repos.d/repo_bak \
&& mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/repo_bak/ \
&& wget -O /etc/yum.repos.d/CentOS-Base.repo 
http://mirrors.aliyun.com/repo/Centos-7.repo \
&& wget -O /etc/yum.repos.d/epel.repo 
http://mirrors.aliyun.com/repo/epel-7.repo \
&& yum clean all \
&& yum makecache \
&& yum update –y

构建Dockerfile文件

FROM docker.io/ansible/centos7-ansible
RUN yum -y install openssh-server
RUN yum -y install bind-utils
RUN yum -y install which
RUN yum -y install sudo

执行后生成的基础centos7的镜像

然后，我们给镜像创建一个网桥

docker network create --subnet=172.10.0.0/16 hadoop_net && docker 
network ls

启动容器

docker run -d \
--add-host cm.hadoop:172.10.0.2 \
--net hadoop_net \
--ip 172.10.0.2 \
-h cm.hadoop \
-p 10022:22 \
-p 7180:7180 \
--restart always \
--name cm.hadoop \
--privileged \
centos7-cdh \
/usr/sbin/init \
&& docker ps

2.2  容器安装ClouderaManager

第一步 

环境初始化

docker exec -it cm.hadoop bash

修改登录密码为root

$ su root
$ passwd
$ root
$ root

安装基础环境

yum install -y kde-l10n-Chinese telnet reinstall glibc-common vim wget ntp 
net-tools && yum clean all

第二步

配置环境变量

在bashrc末尾添加

export LC_ALL=zh_CN.utf8
export.utf8
export LANGUAGE=zh_CN.utf8

执行

localedef -c -f UTF-8 -i zh_CN zh_CN.utf8 \
&& source ~/.bashrc \
&& echo $LANG

第三步

设置NTP时间同步服务

·  安装ntp

yum install ntp -y

·  同步时间

ntpdate -u ntp1.aliyun.com

·  修改时区

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

·  创建定时任务

crontab -e
0 */2 * * * /usr/sbin/ntpdate ntp1.aliyun.com

启动ntp服务

systemctl start ntpd && \
systemctl enable ntpd && \
date

第四步

使用wge安装mysql

mkdir -p /root/hadoop__CHD/mysql \
&& wget -O 
/root/hadoop_CHD/mysql/mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar \
https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar 
\
&& ls /root/hadoop_CHD/mysql

我们可以用宿主机通过docker命令拷贝给centos-chd

docker cp mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar 
{容器ID}:/root/hadoop_CHD/mysql

MySQL JDBC驱动准备

mkdir -p /root/hadoop_CHD/mysql-jdbc \
&& wget -O 
/root/hadoop_CHD/mysql-jdbc/mysql-connector-java-5.1.48.tar.gz \
https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.48.tar.gz 
\
&& ls /root/hadoop_CHD/mysql-jdbc

第五步

Cloudera-Manager安装包准备

mkdir -p /root/hadoop_CHD/cloudera-repos \
&& wget -O /root/hadoop_CHD/cloudera-repos/allkeys.asc \
https://archive.cloudera.com/cm6/6.3.0/allkeys.asc \
&& wget -O 
/root/hadoop_CHD/cloudera-repos/cloudera-manager-agent-6.3.0-1281944.el7.x86_64.rpm 
\
https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3.0-1281944.el7.x86_64.rpm 
\
&& wget -O 
/root/hadoop_CHD/cloudera-repos/cloudera-manager-daemons-6.3.0-1281944.el7.x86_64.rpm 
\
https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.0-1281944.el7.x86_64.rpm 
\
&& wget -O 
/root/hadoop_CHD/cloudera-repos/cloudera-manager-server-6.3.0-1281944.el7.x86_64.rpm 
\
https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3.0-1281944.el7.x86_64.rpm 
\
&& wget -O 
/root/hadoop_CHD/cloudera-repos/cloudera-manager-server-db-2-6.3.0-1281944.el7.x86_64.rpm 
\
https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-db-2-6.3.0-1281944.el7.x86_64.rpm 
\
&& wget -O 
/root/hadoop_CHD/cloudera-repos/enterprise-debuginfo-6.3.0-1281944.el7.x86_64.rpm 
\
https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/enterprise-debuginfo-6.3.0-1281944.el7.x86_64.rpm 
\
&& wget -O 
/root/hadoop_CHD/cloudera-repos/oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm 
\
https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm 
\
&& ll /root/hadoop_CHD/cloudera-repos

Parcel包准备

mkdir -p /root/hadoop_CHD/parcel \
&& wget -O /root/hadoop_CHD/parcel/ 
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel \
https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel 
\
&& wget -O /root/hadoop_CHD/parcel/manifest.json \
https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json \
&& ll /root/hadoop_CHD/parcel

本地yum源搭建

yum -y install httpd createrepo \
&& systemctl start httpd \
&& systemctl enable httpd \
&& cd /root/hadoop_CHD/cloudera-repos/ && createrepo . \
&& mv /root/hadoop_CHD/cloudera-repos /var/www/html/ \
&& yum clean all \
&& ll /var/www/html/cloudera-repos

第六步

jdk的安装

yum install -y java-1.8.0-openjdk-devel.x86_64

查看

java -version

jdk会默认安装在lib/jvm目录下

配置JAVA_HOME

(
cat <<EOF
#set java environment
JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME CLASSPATH PATH
EOF
) >> /etc/profile && source /etc/profile && java 
-version