hadoop1.0.3真集群安装

leejan97 发布于2019-04-25 17:09 / 442人阅读

摘要：实验环境一安装二无密码登录本地执行生成密钥对远程服务器执行用公钥给远程机器授权，首先需要将本地公钥拷贝到远程服务器上远程机器授权全后，可以删除公钥三配置配置配置如没有配置参数，此时系统默认的临时目录为。

实验环境
192.168.56.2    Master.Hadoop
192.168.56.3    Slave1.Hadoop
192.168.56.4    Slave2.Hadoop

一安装JDK
# /etc/profile
export Java_HOME=/usr/local/java/default
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

# source /etc/profile

二无密码ssh登录
# 本地执行：生成密钥对
ssh-keygen -t dsa -P "" -f ~/.ssh/id_dsa
# 远程服务器执行：用公钥给远程机器授权，首先需要将本地公钥拷贝到远程服务器上
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
# 远程机器授权全后，可以删除公钥

三配置hadoop
1)配置conf/hadoop-env.sh
export JAVA_HOME=/usr/local/java/default

2)配置conf/core-site.xml
如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错


        hadoop.tmp.dir
        /usr/hadoop/tmp

        A base for other temporary directories.



        fs.default.name
        hdfs://192.168.56.2:9000


3)配置hdfs-site.xml


        dfs.replication
        1



4)配置mapred-site.xml


        mapred.job.tracker
        192.168.56.2:9001


5)配置masters，使用hosts
Master.Hadoop

6)配置slaves ，namenode特有datanode可以不配置，使用hosts
Slave1.Hadoop
Slave2.Hadoop

7）其他datanode复制namenode的hadoop即可

四启动
bin/hadoop namenode -format
sh bin/start-all.sh
验证端口
http://192.168.56.2:50030/
http://192.168.56.2:50070/

五扩展性
直接拷贝datanode到其他机器，同时增加配置namenode的masters即可
注意新扩展机器的hosts配置，如果用IP配置则可以不关心这个
注意：
namenode必须要配置masters和slaves
datanode只需要配置masters即可，不需要slaves的配置
其他配置完全相同
切记要配置无密码SSH登录，否则无法启动
切记启动之前，先要执行格式化命令bin/hadoop namenode -format，否则无法启动
切记启动之前，要配置conf/hadoop-env.sh的JAVA_HOME，否则无法启动

私有云服务器托管 zookeeper集群安装 hbase集群安装 hadoop集群安装 hadoop集群安装配置

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/3788.html

Hadoop1.0.3安装部署

摘要：解压移动文件夹到下并重命名为最好能利用软链，方便管理多版本应用软件配置环境变量替换成自己的安装路径和版本在文件尾部追加使配置立即生效验证是否安装成功安装其它机器，使用命令将文件夹和文件复制到其它机器即可。安装和配置需要以的身份进行。 0x00 大数据平台相关链接官网：http://hadoop.apache.org/主要参考教程：http://www.cnblogs.com/xia5...

李昌杰 2019-05-28 18:37 评论0 收藏0
ActiveMQ单主机集群案例

摘要：前言集群分为两种方式伪集群集群节点都搭在一台机器上真集群集群节点分布在多台机器上更多详细真集群与伪集群的区别该教程使用的是伪集群，由于在一个主机上实现集群，这里直接使用了模式共享文件系统。该教程是使用个服务实现集群。前言集群分为两种方式：1.伪集群：集群节点都搭在一台机器上2.真集群：集群节点分布在多台机器上更多详细：真集群与伪集群的区别该教程使用的是伪集群，由于在一个主机上实...

JessYanCoding 2019-08-15 15:42 评论0 收藏0
ActiveMQ+ZooKeeper 集群整合

摘要：要想保证负载均衡得再结合部署方案，配置网络连接器。编码时，端消费者通过协议来连接集群。一服务器配置集群集群保证本身的高可用性。只需使用进行配置即可，默认端口为。前言本案例使用的是真集群方式，准备三台主机，IP分别为192.168.100.142、192.168.100.143、192.168.100.144 伪集群部署请看：ActiveMQ+ZooKeeper 伪集群整合如果需要了...

xiangchaobin 2019-08-15 15:43 评论0 收藏0
Redis集群环境下的-RedLock(真分布式锁) 实践

摘要：是官方提出的实现分布式锁管理器的算法。为了避免这种情况的发生，内部提供了一个监控锁的看门狗，它的作用是在实例被关闭前，不断的延长锁的有效期。默认情况下，看门狗的检查锁的超时时间是秒钟，也可以通过修改来另行指定。在不同进程需要互斥地访问共享资源时，分布式锁是一种非常有用的技术手段。有很多三方库和文章描述如何用Redis实现一个分布式锁管理器，但是这些库实现的方式差别很大，而且很多简单...

zhichangterry 2019-07-24 15:58 评论0 收藏0
全面超越Appium，使用Airtest超快速开发App爬虫

摘要：代码运行完成以后，微信被打开了。能不能像前面打开知乎一样，使用这个属性呢也行，也不行。滑动屏幕使用的命令为，滑动屏幕需要使用坐标信息。单独使用控制手机在想开发网页爬虫，发现被反爬了？想对 App 抓包，发现数据被加密了？不要担心，使用 Airtest 开发 App 爬虫，只要人眼能看到，你就能抓到，最快只需要2分钟，兼容 Unity3D、Cocos2dx-*、Android 原生 A...

noONE 2019-07-31 09:59 评论0 收藏0