资讯专栏INFORMATION COLUMN

Hadoop完全分布式集群部署

wangxinarhat / 3379人阅读

摘要:本次试验环境为上用搭建三个虚拟机环境,系统为。三个节点的的分别为宿主环境节点为,为。计划将设置为,为。创建用户在中创建用户,克隆构建。

本次试验环境为Win7上用VMware搭建三个虚拟机环境,系统为Red Hat Enterprise 5。

三个节点的的IP、hostname分别为:

192.168.1.220            biao.oracle.com biao

192.168.1.221            biao1.oracle.com biao1

192.168.1.222            biao2.oracle.com biao2

宿主环境:

CPU:Inter(R) Core(TM) i5 M560 2.67GHz

RAM:6GB

biao节点RAM为3GB,biao1、biao2RAM为1GB。

其中biao2克隆于biao1。

计划将biao设置为master,biao1、biao2为slaves。

1.创建用户

在biao、biao1中创建Hadoop用户grid,克隆biao1构建biao2。

2.配置hosts文件

3.配置SSH免密码连入

把各个节点的authorized_keys的内容互相拷贝加入到对方的此文件中。

4.安装hadoop

5.配置namenode,修改site文件

6.配置masters和salves文件

7.配置hadoop-env.sh

8.向各节点复制hadoop

9.格式化分布式文件系统
1[grid@biao hadoop-0.20.2]$ bin/hadoop namenode -format

10.启动守护进程
1[grid@biao bin]$ bin ./start-all.sh

11.检测守护进程启动情况

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/3818.html

相关文章

  • 在 OpenStack 上部署 Hadoop

    摘要:看一个用例场景大量的数据存储在关系数据库管理系统环境中。当数据集越来越大时,关系数据库管理系统表现不佳。可在几分钟内部署集群。像其他服务一样,服务可以通过强大的和仪表板进行管理。编排即服务用于配置和编排数据处理集群的部署。 OpenStack 控制计算、存储和网络资源池。本文主要关注 OpenStack 如何在大数据用例中扮演关键角色。OpenStack 上的大数据现在,数据随处生成,数据量...

    luffyZh 评论0 收藏0
  • Hadoop数据操作系统YARN全解析

    摘要:分享之前我还是要说下我自己创建的大数据交流群,不管是学生还是大神,都欢迎加入一起探讨总体上采用架构,如图所示,其中,被称为,被称为,负责对各个上的资源进行统一管理和调度。   为了能够对集群中的资源进行统一管理和调度,Hadoop 2.0引入了数据操作系统YARN。YARN的引入,大大提高了集群的资源利用率,并降低了集群管理成本。首先,YARN允许多个应用程序运行在一个集群中,并将资源...

    ASCH 评论0 收藏0
  • 顶级Hadoop发行版的四个对比因素

    摘要:顶端的发行版的企业级功能三个独立的供应商的开发方法有一些明显的差异。成员声称,这将提高互操作性,并减少供应商的锁定。 通过检查较高级的Hadoop发行版的关键特征,你可以决定哪些订阅适合你的组织。虽然软件组件构成的Hadoop生态系统堆栈是开源技术,但是采用付费订阅使用其供应商的商业Hadoop平台会为企业带来许多好处。例如,订阅可以提供技术支持和培训,以及访问那些不提供给开源社区的企业功能...

    NeverSayNever 评论0 收藏0
  • 顶级Hadoop发行版的四个对比因素

    摘要:顶端的发行版的企业级功能三个独立的供应商的开发方法有一些明显的差异。成员声称,这将提高互操作性,并减少供应商的锁定。 通过检查较高级的Hadoop发行版的关键特征,你可以决定哪些订阅适合你的组织。虽然软件组件构成的Hadoop生态系统堆栈是开源技术,但是采用付费订阅使用其供应商的商业Hadoop平台会为企业带来许多好处。例如,订阅可以提供技术支持和培训,以及访问那些不提供给开源社区的企业功能...

    felix0913 评论0 收藏0
  • Hadoop 0.23.x从原理详解到安装体验

    摘要:从开始,开始支持分布式,通过的形式实现。这样实现了的横向扩展,使得集群的规模可以达到上万台。主要由两部分组成负责维护集群中与众多的关系以及,等数据块操作负责的存储。 从0.23.0开始,Hadoop开始支持分布式NameNode,通过NameNode federation的形式实现。这样实现了NameNode的横向扩展,使得Hadoop集群的规模可以达到上万台。同时在NameNode HA机...

    zzzmh 评论0 收藏0

发表评论

0条评论

wangxinarhat

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<