Hdoop/Hbase文件配置方法详解

wzyplus 发布于2019-04-25 17:06 / 2108人阅读

摘要：文件配置方法，文件配置主要有十一个步骤，在这里向大家简单介绍一下，下面让我们一起来学习文件配置吧。查看目录下的文件，各有一个对应的文件，每一次运行的计算任务也有对应用文件。

Hdoop/HBase文件配置方法，文件配置主要有十一个步骤，在这里向大家简单介绍一下，下面让我们一起来学习Hdoop/Hbase文件配置吧。

Hdoop/Hbase文件配置

1、硬件环境

我们采用了3台机器来构建,都安装的是Ubuntu8.04系统，并且都有一个名为“quan“的帐号，如下：
主机名称：360quan-1ip:192.168.0.37功能：NameNode,JobTracker
主机名称：360quan-2ip:192.168.0.43功能：DataNode,TaskTracker
主机名称：360quan-3ip:192.168.0.53功能：DataNode,TaskTracker
重点：修改3台机器的/etc/hosts,让彼此的主机名称和ip都能顺利解析
127.0.0.1localhost
192.168.0.37360quan-1
192.168.0.43360quan-2
192.168.0.53360quan-3

2、每台机器都要安装Java环境，我们的路径统一为“/opt/jdk1.6.0_03“,并添加到系统环境变量sudogedit/etc/profile

3，hbase0.12版本到"360quan-1"，将Hadoop解压到/home/quan/opt/hadoop,hbase解压到hadoop/contrib/hbase。建议较好也将hadoop的目录添加到环境变量里面去:

4、安装ssh,这里注意ubuntu8.04下面是ssh2，如果是ssh1的话，请升级,安装完后，建立ssh通道，使用空密码（生产环境可不能使用空密码啊），这里使用“360quan-1”这台机器为例说明:

5、接下来，我们要修改hadoop的相关设定了。修改"360quan-1"上面的hadoop的[conf/masters]、[conf/slaves]这2个文件：

Master设置(/conf/masters) :360quan-1
Slave设置(/conf/slaves) L：360quan-2 360quan-3

6、修改［conf/hadoop-env.sh］：exportJAVA_HOME=/opt/jdk1.6.0_03

7、修改［conf/hadoop-site.xml],这里只是Hdoop/Hbase文件配置中几个常用的属性配置，有关hadoop的性能优化调整，需要研究hadoop-default.xml。

8、修改hbase的[hbase-evn.sh]:exportJAVA_HOME=/opt/jdk1.6.0_03

9、修改hbase的［hbase-site.xml］:

10、然后将hadoop的整体环境拷贝到360quan-2、360quan-3上面去
scp-r/home/quan/hadoop360quan-2:/home/hdp/
scp-r/home/quan/hadoop360quan-3:/home/hdp/

11、在360quan-1这个namenode上面格式化一个新的分布式文件系统HDFS，就是hadoop-site.xml文件中指定的hadoop.tmp.dir路径
/bin/hadoopnamenode-format

到此Hdoop/Hbase文件配置大致上就完成了，属于你自己的CloudComputing环境了
启动hadoop：/bin/start-all.sh
启动hbase：/contrib/hbase/bin/start-hbase.sh
停止hbase：/contrib/hbase/bin/stop-hbase.sh
停止hadoop：/bin/stop-all.sh
说明：

(1)执行$bin/start-all.sh启动Hadoop进程后，会启动5个java进程,同时会在/tmp目录下创建五个pid文件记录这些进程ID号。通过这五个文件，可以得知namenode,datanode,secondarynamenode,jobtracker,tasktracker分别对应于哪一个Java进程。当你觉得Hadoop工作不正常时，可以首先查看这5个java进程是否在正常运行,运行jps命令也可以查看。

(2)访问http://360quan-1:50030可以查看JobTracker的运行状态。访问http://360quan-1:50060可以查看TaskTracker的运行状态。访问http://360quan-1:50070可以查看NameNode以及整个分布式文件系统的状态，浏览分布式文件系统中的文件以及log等。

(3)查看${HADOOP_HOME}/logs目录下的log文件，namenode,datanode,secondarynamenode,jobtracker,tasktracker各有一个对应的log文件，每一次运行的计算任务也有对应用log文件。分析这些log文件有助于找到故障原因。本节关于Hdoop/Hbase文件配置方面的内容介绍到这里。

云服务器服务器托管配置文件详解 nginx配置文件详解 hosts文件配置详解 mysql配置文件详解

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/3757.html

工具使用-积累与发现

摘要：一积累中如何快速查看包中的源码最常用的大开发快捷键技巧将对象保存到文件中从文件中读取对象中的用法的配置详解和代码的格式详解格式化内容设置生成详解注释规范中设置内存调试的小知识单步执行命令的区别的动态代理机制详解内容有瑕疵，楼指正泛型继承的几一、积累 1.JAVA Eclipse中如何快速查看jar包中的class源码最常用的15大Eclipse开发快捷键技巧 Java将对象保存到...

wangjuntytl 2019-08-16 10:48 评论0 收藏0
工具使用-积累与发现

摘要：一积累中如何快速查看包中的源码最常用的大开发快捷键技巧将对象保存到文件中从文件中读取对象中的用法的配置详解和代码的格式详解格式化内容设置生成详解注释规范中设置内存调试的小知识单步执行命令的区别的动态代理机制详解内容有瑕疵，楼指正泛型继承的几一、积累 1.JAVA Eclipse中如何快速查看jar包中的class源码最常用的15大Eclipse开发快捷键技巧 Java将对象保存到...

Lyux 2019-07-30 14:43 评论0 收藏0
工具使用-积累与发现

摘要：一积累中如何快速查看包中的源码最常用的大开发快捷键技巧将对象保存到文件中从文件中读取对象中的用法的配置详解和代码的格式详解格式化内容设置生成详解注释规范中设置内存调试的小知识单步执行命令的区别的动态代理机制详解内容有瑕疵，楼指正泛型继承的几一、积累 1.JAVA Eclipse中如何快速查看jar包中的class源码最常用的15大Eclipse开发快捷键技巧 Java将对象保存到...

tomener 2019-06-26 15:44 评论0 收藏0
nginx配置参数详解及django框架下的nginx和uwsgi的搭建

摘要：于年发布，聚焦于高性能，高并发和低内存消耗问题。二服务的启停控制在讲解配置文件参数前，让我们先来了解一下的启停操作吧。在讲解配置项之前，让我们先了解一下各个块的作用。配置最大连接数设置允许每个同时开启的最大连接数，默认值。一、nginx简介、 nginx（发音engine x）是俄罗斯软件工程师Igor Sysoev开发的免费开源web服务器软件。nginx于2004年发布，聚焦...

snowLu 2019-07-25 14:05 评论0 收藏0
从一份定义文件详解ELK中Logstash插件结构

摘要：所以插件本质上就是自包含的。简称是一个用于对组件进行打包的打包系统。对照该源码和上一节的内容，我想应该不难理解的插件源码结构了吧。计划后续展示一个根据具体数据需求来自定义开发一个满足特定需求的插件的实例。 showImg(https://segmentfault.com/img/remote/1460000015754165); 概述当下分布式系统的日志收集、日志分析、日志处理...

ShowerSun 2019-07-16 15:16 评论0 收藏0