大数据集群搭建 - 1. CDH集群安装 - 环境准备

Miyang 发布于2019-05-28 18:49 / 1531人阅读

摘要：集群环境准备一机器准备首先需要准备台机器或者虚拟机，安装好版本和。在上执行命令，修改主机名称为。三关闭防火墙和关闭防火墙查看默认防火墙状态。参数可选需要重启生效。在上登录到登出

集群环境准备 一、机器准备

首先需要准备3台机器或者虚拟机，安装好centos7.5版本和JDK1.8。

我们这次准备安装的是Cloudera的CDH 5.14.3 。

TIPS：快速创建机器的技巧是规范好要装的软件，迅速利用镜像功能创建好三台机器出来。

ip地址这里我们设置为192.168.168.81，192.168.168.82，192.168.168.83。

如果是本地的虚拟机，需要自己配置IP地址。

我们以192.168.168.81为例子。

进入网络配置目录
cd /etc/sysconfig/network-scripts

编辑网卡配置文件，这里的ens33根据您实际的网卡名称来。
vi ifcfg-ens33 

这里注意几个参数
BOOTPROTO=static  # 这里需要设置为静态的ip地址
ONBOOT=yes # 启动的时候打开网络，不然不能联网
IPADDR=192.168.168.81 # 你要设置的IP地址，这里最好不要在DHCP范围内，避免IP冲突
GATEWAY=192.168.168.2 # 网关
NETMASK=255.255.255.0 # 网络掩码
DNS1=8.8.8.8  # google的 DNS服务器
DNS2=192.168.168.2  # 网关做DNS服务器

最后重启网络服务。
service network restart

网络模型参考:
https://www.linuxidc.com/Linux/2016-09/135521.htm

二、修改hostname和hosts文件

1.查看hostname

在每台机器上我们可以通过命令
hostname

2. 修改hostname

在192.168.168.81上执行命令，修改主机名称为dev-hd001。
hostnamectl set-hostname dev-hd001

在192.168.168.82上执行命令，修改主机名称为dev-hd002。
hostnamectl set-hostname dev-hd002

在192.168.168.82上执行命令，修改主机名称为dev-hd002。
hostnamectl set-hostname dev-hd003

3.修改hosts文件

在每一台机器的hosts文件中加入如下内容。
vim /etc/hosts
192.168.168.81  dev-hd001  hd1
192.168.168.82  dev-hd002  hd2
192.168.168.83  dev-hd003  hd3

三、关闭防火墙和selinux

1.关闭防火墙

查看默认防火墙状态。
（关闭后显示notrunning，开启后显示running）
firewall-cmd --state 

停止firewall
systemctl stop firewalld.service 

禁止firewall开机启动
systemctl disable firewalld.service 

如果安装了iptables, 我们还需要关闭iptables

查看iptables状态
service iptables status

停止iptables
service iptables stop

启动的时候关闭iptables
chkconfig iptables off

2.关闭selinux

永久关闭selinux，需要通过修改配置文件/etc/selinux/config。
vim /etc/selinux/config

修改SELINUX。参数可选（enforcing、permissive、disabled）
SELINUX=disabled

需要reboot重启生效。

四、安装ssh免密码登录

免密登录原理

现在我们有A和B两台机器。

1.我们在A上生成一对密钥。
2.将在A上生成的公钥拷贝给B机器，添加到~/.ssh/authorized_keys这个文件中。
3.A向B发送一个连接请求，信息包括用户名,IP等
4.B的到A的信息后，回到authorized_keys中查找，如果有对应的用户名和ip, B会随机生成一个字符串，比如"DMAC"。
5.B使用公钥对字符串"DMAC"进行加密，然后发送给A。
6.A得到B发来的消息后，使用私钥进行解密，然后将解密后的字符串发送给B.
7.B接收到A发过来的字符串后，会跟先前生成的字符串进行对比，如果一致，就允许免密码登录。

2.操作步骤

1.确认有没有~/.ssh目录，没有的话
mkdir ~/.ssh

2.在dev-hd001机下生成公钥和私钥对。
ssh-keygen
这里直接三次回车，会看到在~/.ssh有id_rsa文件和id_rsa.pub文件。

id_rsa.pub文件是公钥文件。
可以通过cat命令查看。
cat id_rsa.pub

3.从dev-hd001机器拷贝公钥到dev-hd002机器。
ssh-copy-id -i root@dev-hd002

ssh-copy-id命令可以把本地主机的公钥复制到远程主机的authorized_keys文件上。
ssh-copy-id命令也会给远程主机的用户主目录（home）和~/.ssh, 和~/.ssh/authorized_keys设置合适的权限。

4.在dev-hd001上登录到dev-hd002
ssh root@dev-hd002
logout 登出

idc机房托管专线服务 hadoop集群环境搭建 hadoop2集群环境搭建大数据集群大数据集群服务器

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/8433.html

大数据集群搭建 - 1. CDH集群安装 - 环境准备

摘要：集群环境准备一机器准备首先需要准备台机器或者虚拟机，安装好版本和。在上执行命令，修改主机名称为。三关闭防火墙和关闭防火墙查看默认防火墙状态。参数可选需要重启生效。在上登录到登出集群环境准备一、机器准备首先需要准备3台机器或者虚拟机，安装好centos7.5版本和JDK1.8。我们这次准备安装的是Cloudera的CDH 5.14.3 。 TIPS：快速创建机器的技巧是规范好要装...

dinfer 2019-07-31 14:56 评论0 收藏0
大数据集群搭建 - 2. CDH集群安装 - NTP,MYSQL,nginx安装

摘要：五安装时间服务器按照的官方建议，所有的节点和节点都需要启动服务。要不然会报如下错误此角色的主机的运行状况为不良。改为后，显示出文件的大概大小，单位是或者或者默认为，显示的文件时间为时间。五、安装ntpd时间服务器按照Cloudera的官方建议，所有的CDH节点和Cloudea Manager节点都需要启动ntpd服务。要不然会报如下错误： 1. 此角色的主机的运行状况为不良。以...

Mr_zhang 2019-07-31 18:17 评论0 收藏0
大数据集群搭建 - 2. CDH集群安装 - NTP,MYSQL,nginx安装

摘要：五安装时间服务器按照的官方建议，所有的节点和节点都需要启动服务。要不然会报如下错误此角色的主机的运行状况为不良。改为后，显示出文件的大概大小，单位是或者或者默认为，显示的文件时间为时间。五、安装ntpd时间服务器按照Cloudera的官方建议，所有的CDH节点和Cloudea Manager节点都需要启动ntpd服务。要不然会报如下错误： 1. 此角色的主机的运行状况为不良。以...

岳光 2019-07-31 14:56 评论0 收藏0
cdh替代-这款cdh替代方案你要知道

　　痛点：　　如今数字化转型，已成为企业界的共识。从信息时代走向数字时代，大家都希望在生产要素、经济形态发生变革的节点抓住机遇不被淘汰，而绝大多数中小企业又没有财力搞得太折腾太复杂。因此大家不要期待一口气吃成胖子，而要抓住数字化时代的本质是让企业线上的数据流动起来，解决数据的运力和流通问题，也就是数据消费。其实绝大多数企业的核心诉求也是打破数据孤岛，提升数据共享消费的效率，进而实现企业的降本...

白马啸西风 2022-09-07 16:06 评论0 收藏0