Hadoop高可用集群搭建-1、服务器等基础环境配置

codecook 发布于2019-06-27 17:58 / 3442人阅读

摘要：服务器集群虚拟虚拟虚拟集群规划组件版本组件版本下载地址服务器下载地址下载地址下载地址配置服务器从此步开始，开始进行服务器基础环境配置。这里使用一下命令进行配置。配置免密登录免密登录，本质上是使用了公钥登录。

1. 服务器集群

hostname	IP	user	password	path	os
spark01	192.168.0.201	hadoopadmin	java	home/hadoopadmin	Ubuntu18虚拟
spark02	192.168.0.202	hadoopadmin	java	home/hadoopadmin	Ubuntu18虚拟
spark03	192.168.0.201	hadoopadmin	java	home/hadoopadmin	Ubuntu18虚拟

2. 集群规划

spark01	spark02	spark03
namenode	namenode
DataNode	DataNode	DataNode
zookeeper	zookeeper	zookeeper
ResourceManage	ResourceManage
NodeManage	NodeManage	NodeManage

3. 组件版本

组件	版本	下载地址
ubuntu	ubuntu-18.04.1-live-server-amd64	linux服务器下载地址
JDK	1.8.0_181	Jdk
Zookeeper	zookeeper-3.4.10	zookeeper下载地址
Hadoop	hadoop-2.7.5	hadoop下载地址

4. 配置服务器

从此步开始，开始进行服务器基础环境配置。
为了解决机器间通信问题,hadoop部署必须要配置,提前配置是为了解决步骤5中的发送文件问题

将集群中所有的机器hostname+ip,添加到/etc/hosts,

192.168.0.201 spark01
192.168.0.202 spark02
192.168.0.203 spark03

关闭防火墙
由于不同版本的linux系统关闭防火墙方式不同，所以这里不再详细记录，具体细节安装时进行google。
ubuntu这里使用一下命令进行配置。

systemctl status firewalld.service
systemctl start firewalld.service

配置网卡及主机名
编辑文件/etc/sysconfig/network-scripts/ifcfg-eth0，写入如下配置(每一台机器)：

DEVICE="eth0"
BOOTPROTO="static"
IPADDR=192.168.0.201
GATEWAY=192.168.0.1
NETMASK=255.255.255.0
ONBOOT="yes"

配置主机名编辑文件/etc/sysconfig/network以及编辑文件/etc/hostname

NETWORKING=yes
HOSTNAME=master1

master1

配置完成后，重启网络服务。

service network restart

配置免密登录
Linux免密登录，本质上是使用了”公钥登录”。原理很简单，就是用户将自己的公钥储存在远程主机上。登录的时候，远程主机会向用户发送一段随机字符串，用户用自己的私钥加密后，再发回来。远程主机用事先储存的公钥进行解密，如果成功，就证明用户是可信的，直接允许登录shell，不再要求密码。

生成本机公钥

ssh-keygen -t rsa

三台机器之间免密登陆只需要将每台机的公钥文件cat id_rsa.pub发送到每台机器上即可。

scp -r hadoopadmin@sprak01:/home/hadoopadmin/.ssh

添加本机到“authorized_keys”文件中，文件目录为/home/hadoopadmin/.ssh/。

cat id_rsa.pub >> authorized_keys

配置完成后使用ssh命令进行登陆，测试免密登陆是否成功（若登陆不成功，则有可能防火墙没有关闭，或者公钥配置失败）

ssh spark01

5. 拷贝,解压

根据下载链接将需要组建下载到物理机,由物理机下载到本地后,需要拷贝到三台虚拟机中,我这里编写脚本进行发送(需要先进行hosts配置以及四台机器间免密登录,参考步骤 4)

#!/bin/bash
targets="spark01 spark02 spark03"
for target in $targets
do
    scp -r $1 hadoopadmin@$target:/home/hadoopadmin/
done

执行发送命令， xxx.tar.gz为各组件安装包。

./send.sh xxx.tar.gz

在所有组件安装包上传完成后，开始解压安装包。

tar -zvxf xxx.tar.gz

配置运行

ZooKeeper集群配置部署

Hadoop集群配置部署

HBase集群配置部署

BB LESS，CODE MORE

USDP大数据平台 hadoop集群环境搭建 hadoop2集群环境搭建高可用集群双机高可用集群

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/23830.html

Hadoop高可用集群搭建-1、服务器等基础环境配置

摘要：服务器集群虚拟虚拟虚拟集群规划组件版本组件版本下载地址服务器下载地址下载地址下载地址配置服务器从此步开始，开始进行服务器基础环境配置。这里使用一下命令进行配置。配置免密登录免密登录，本质上是使用了公钥登录。 1. 服务器集群 hostname IP user password path os spark01 192.168.0.201 hadoopadmin java hom...

Tamic 2019-07-01 18:50 评论0 收藏0
大数据集群环境搭建——HDFS HA篇

摘要：本次我们迎来了大数据集群环境搭建的第三篇篇。部署之前需要配置服务器和，不太会配置的同学们可以参考我之前的文章大数据集群环境搭建服务器篇和大数据集群环境搭建篇。用来进行两个节点的元数据同步。本次我们迎来了《大数据集群环境搭建》的第三篇——HDFS HA篇。HDFS想必大家都不陌生，中文全称是Hadoop分布式文件系统（什么，你说中文全称里面为什么会有英语单词？反正Hadoop我是不知道...

k00baa 2019-05-28 18:33 评论0 收藏0
Hadoop入门:Hadoop简介和集群搭建

摘要：介绍是旗下的一个用语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。成本低通过普通廉价的机器组成服务器集群来分发以及处理数据，以至于成本很低。所以的按位存储和处理数据的能力值得人们信赖。会使用台主机组成一个集群。 Hadoop 介绍 Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大...

张金宝 2019-05-28 18:40 评论0 收藏0
Hadoop入门:Hadoop简介和集群搭建

摘要：介绍是旗下的一个用语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。成本低通过普通廉价的机器组成服务器集群来分发以及处理数据，以至于成本很低。所以的按位存储和处理数据的能力值得人们信赖。会使用台主机组成一个集群。 Hadoop 介绍 Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大...

kuangcaibao 2019-06-21 15:11 评论0 收藏0
Hadoop大数据生态系统及常用组件简介

摘要：大数据存储，利用的分布式存储能力，例如数据备份数据仓库等。大数据处理，利用的分布式处理能力，例如数据挖掘数据分析等。应用程序管理器负责管理整个系统中所有应用程序，包括应用程序的提交与调度器协商资源以启动监控运行状态并在失败时重新启动等。经过多年信息化建设，我们已经进入一个神奇的大数据时代，无论是在通讯社交过程中使用的微信、QQ、电话、短信，还是吃喝玩乐时的用到的团购、电商、移动支付，...

BenCHou 2019-05-28 18:31 评论0 收藏0