一、搭建准备
JDK安装
Hadoop集群安装
Hbase安装包
二、搭建步骤
1.Hbase全分布式的规划
安装项目 | hadoop | Master | HregionServer | zookeeper |
linux1 | yes | yes | yes | yes |
linux2 | yes | yes | yes | yes |
linux3 | yes | no | yes | yes |
2. ssh免密登陆:
linux1免密登录到所有机器,linux2免密登录到所有机器
linux1====>linux1,linux2,linux3
linux2====>linux1,linux2,linux3
3. Hbase配置文件的配置
1).在hbase-env.sh中修改添加配置项:
JDK路径的配置:
export JAVA_HOME=/app/jdk
如果您已经在Hadoop集群上完成了HDFS客户端配置更改,比如HDFS客户端的配置指令,而不是服务器端配置,那么您必须启用HBase查看和使用这些配置更改:
export HBASE_CLASSPATH=/app/hadoop/etc/hadoop
大数据培训.png" width="500" height="70" />
使用外部zk的配置:
export HBASE_MANAGES_ZK=false
大数据培训.png" width="500" height="94" style="border-width: initial; border-style: none; vertical-align: top; display: inline-block;">
2).hbase-site.xml的配置
设置hbase为分布式
设置Hbase数据的存储位置,端口号要与hadoop配置的端口号一致
设置zk的访问目录
设置zk文件的存储目录(使用Hbase自带zk需要配置此项)
大数据培训.png" width="500" height="187" style="border-width: initial; border-style: none; vertical-align: top; display: inline-block;">
3).Regionservers的配置:regionservers中添加中所有的HregionServer节点,linu1,linux2,linux3
vim /app/hbase-1.2.5/conf/regionservers
大数据培训.png" width="500" height="195" style="border-width: initial; border-style: none; vertical-align: top; display: inline-block;">
4) .backup-masters的配置:修改 backup-masters文件,添加备份HMaster机器名.
vim /app/hbase-1.2.5/conf/backup-masters
大数据培训.png" width="500" height="56" style="border-width: initial; border-style: none; vertical-align: top; display: inline-block;">
将配置好的Hbase分发到linux2,linux3上,并配置三台机器上hbase,zookeeper的环境变量
vim /etc/profile
大数据培训.png" width="500" height="77" style="border-width: initial; border-style: none; vertical-align: top; display: inline-block;">
4. zookeeper的配置(三台都要配置)
拷贝默认配置文件为zoo.cfg文件
cp /app/zookeeper/conf/zoo.sample.cfg /app/zookeeper/conf/zoo.cfg
查看是否拷贝成功
ll /app/zookeeper/conf
大数据培训.png" width="500" height="93" style="border-width: initial; border-style: none; vertical-align: top; display: inline-block;">
修改配置文件
vim /app/zookeeper/conf/zoo.cfg
主要修改zk文件的存储位置,zk集群服务的id及通讯端口
大数据培训.png" width="500" height="115" style="border-width: initial; border-style: none; vertical-align: top; display: inline-block;">
在/opt/zookeeper/目录下创建myid文件内容分别为
linux1机器下为1
linux2机器下为2
linux3机器下为3
5. 启动hadoop集群,启动三台机器上的ZK
大数据培训.png" width="500" height="192" style="border-width: initial; border-style: none; vertical-align: top; display: inline-block;">
6. 使用命令start-hbase.sh命令启动hbase服务
大数据培训.png" width="500" height="172" style="border-width: initial; border-style: none; vertical-align: top; display: inline-block;">
7. 连接hbase 服务:hbase shell
大数据培训.png" width="500" height="172" style="border-width: initial; border-style: none; vertical-align: top; display: inline-block;">
千锋成都Java培训课程的终极目标是将你培养成一名“复合型”研发人才,让你自己在掌握相关大数据技术的同时,也能够赢得一份高薪职位!千锋大数据开发采用“T”字形的思维,以大数据的深度为主,以机器学习、云计算等作为宽度,相辅相成。此外千锋大数据课程定期组织与一线名企的工程师进行面对面的就企业当下的项目讨论与研发,进而验证所学技术的正确方向。更有免费的千锋视频教程帮助你快速掌握大数据基础技术。