Hadoop集群搭建及开机自启动-学习笔记

894974231 发布于2019-06-21 15:19 / 3621人阅读

摘要：一集群配置解压并复制文件修改配置文件中配置修改文件，加入将所有配置文件复制到所有机器上在节点格式化在节点启动二开机自启进入目录新建文件添加以下内容，只在配置即可给文件设置权限加入开机自启列表查看列表

一、Hadoop集群配置

1.解压并复制文件

tar -zxvf /home/software/hadoop-2.8.1.tar.gz
mkdir -p /home/opt/hadoop/
mv /home/software/hadoop-2.8.1 /home/opt/hadoop/

2.修改配置文件

cd /home/opt/hadoop/hadoop-2.8.1/etc/hadoop

1)hadoop-env.sh中配置JAVA_HOME

2)core-site.xml


  
    fs.default.name
    hdfs://master:9000
  
  
    hadoop.tmp.dir
    /opt/hadoop/tmp

3)hdfs-site.xml

  
    
    dfs.replication  
    2  
    
    
    dfs.namenode.name.dir  
    file:/opt/hadoop/dfs/name  
    
    
    dfs.datanode.data.dir  
    file:/opt/hadoop/dfs/data

4)mapred-site.xml

  
    
    mapreduce.framework.name  
    yarn  
    
    
    mapreduce.jobhistory.address  
    master:10020  
    
    
    mapreduce.jobhistory.webapp.address  
    master:19888

5)yarn-site.xml

  
    
    yarn.nodemanager.aux-services  
    mapreduce_shuffle  
    
    
    yarn.nodemanager.aux-services.mapreduce.shuffle.class  
    org.apache.hadoop.mapred.ShuffleHandler  
    
    
    yarn.resourcemanager.address  
    master:8032  
    
    
    yarn.resourcemanager.scheduler.address  
    master:8030  
    
    
    yarn.resourcemanager.resource-tracker.address  
    master:8031  
    
    
    yarn.resourcemanager.admin.address  
    master:8033  
    
    
    yarn.resourcemanager.webapp.address  
    master:8088

3.修改slaves文件，加入
slave1
slave2
3.将所有配置文件复制到所有机器上
4.在master节点格式化

/home/opt/hadoop/hadoop-2.8.1/bin/hdfs namenode -format

5.在master节点启动

/home/opt/hadoop/hadoop-2.8.1/sbin/start-all.sh
/home/opt/hadoop/hadoop-2.8.1/sbin/stop-all.sh

二、Hadoop开机自启

1.进入/etc/rc.d/init.d目录

cd /etc/rc.d/init.d

2.新建文件hadoop

touch hadoop

3.添加以下内容，只在master配置即可

#!/bin/bash
#chkconfig:2345 20 90
#description:hadoop
#processname:hadoop
export JAVA_HOME=/home/opt/java/jdk1.8.0_151
case $1 in
    start) su root /home/opt/hadoop/hadoop-2.8.1/sbin/start-all.sh;;
    stop) su root /home/opt/hadoop/hadoop-2.8.1/sbin/stop-all.sh;;
    *) echo "require start|stop" ;;
esac

4.给文件设置权限

chmod +x hadoop

5.加入开机自启列表

chkconfig --add hadoop

6.查看列表

chkconfig --list

USDP大数据平台开机自启动 linux开机自启动服务器开机自启动软件 hadoop集群启动

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/10610.html

Hadoop入门:Hadoop简介和集群搭建

摘要：介绍是旗下的一个用语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。成本低通过普通廉价的机器组成服务器集群来分发以及处理数据，以至于成本很低。所以的按位存储和处理数据的能力值得人们信赖。会使用台主机组成一个集群。 Hadoop 介绍 Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大...

张金宝 2019-05-28 18:40 评论0 收藏0
Hadoop入门:Hadoop简介和集群搭建

摘要：介绍是旗下的一个用语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。成本低通过普通廉价的机器组成服务器集群来分发以及处理数据，以至于成本很低。所以的按位存储和处理数据的能力值得人们信赖。会使用台主机组成一个集群。 Hadoop 介绍 Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大...

kuangcaibao 2019-06-21 15:11 评论0 收藏0
搭建Linux工作环境之VirtualBox

摘要：序最近需要搭建多虚拟机模拟集群来运行平台我又重新翻开了之前的使用笔记重新整理后发了上来搭建虚拟机主要使用和两个软件通常情况如果建立服务器环境的虚拟机我使用否则使用考虑到任务主要是运行平台并不需要桌面环境要尽可能节省资源又考虑到的开源免费跨平 showImg(https://segmentfault.com/img/bVxR0K); live with scope 序最近需要搭建多虚拟...

yexiaobai 2019-05-29 18:33 评论0 收藏0
Hadoop大数据生态系统及常用组件简介

摘要：大数据存储，利用的分布式存储能力，例如数据备份数据仓库等。大数据处理，利用的分布式处理能力，例如数据挖掘数据分析等。应用程序管理器负责管理整个系统中所有应用程序，包括应用程序的提交与调度器协商资源以启动监控运行状态并在失败时重新启动等。经过多年信息化建设，我们已经进入一个神奇的大数据时代，无论是在通讯社交过程中使用的微信、QQ、电话、短信，还是吃喝玩乐时的用到的团购、电商、移动支付，...

BenCHou 2019-05-28 18:31 评论0 收藏0
超详细hadoop集群服务器安装配置教程

摘要：超详细集群服务器安装配置教程虚拟机以及系统安装在之前的两篇分享中已经详细的介绍了方法，并且每一步的都配图了。物理集群三台及以上实体服务器外网下载模式本地文件模式将安装包文件直接拷贝到实体服务器目录下，进行安装操作即可。超详细hadoop集群服务器安装配置教程虚拟机以及Linux系统安装在之前的两篇分享中已经详细的介绍了方法，并且每一步的都配图了。如果有朋友还是看不懂，那我也爱莫能助了...

iamyoung001 2019-08-16 13:31 评论0 收藏0