资讯专栏INFORMATION COLUMN

cloudera manager5.13.1离线安装记录

lieeps / 1914人阅读

摘要:关闭防火墙即时生效,重启后会复原永久生效设置防火墙规则,允许内网间访问。三安装或使用过程中遇到的问题在安装那个节点上安装安装启动在安装服务的那台机器上操作

官网介绍了三种安装方式,

A方式用于非生产环境自动安装,B是package安装,C是tar包安装

因为习惯等因素,我选择了使用tar包安装。现将安装过程中遇到的问题记录下来,也给有需要的人提供个参考。

具体的操作过程参考官方文档https://www.cloudera.com/docu...
以及以下几个参考文章:
http://www.cnblogs.com/jasond...
http://blog.csdn.net/a921122/...

注:文章中部分图片使用的是安装5.13.0版本时的图片,但是操作是一样的,请不要纠结这些细节。

大概的流程如下:

一、准备:

1、修改主机名,设置集群host

修改主机名,并使之生效
修改:vim etc/sysconfig/network

使之生效:source etc/sysconfig/network
统一设置集群host(修改集群中每个节点的hosts文件):vim /etc/hosts  

2、时间同步

使用ntp服务,使集群中节点的时间一致。两种同步方式:
    2.1、分别跟时间服务器进行时间同步。
    2.2、主从模式:设置其中一台为master,对外时间同步,其他保持跟master时间同步。
    如果条件允许,最好使用后者。
    

3、设置防火墙

网上的做法一般是关闭防火墙,实际应用中往往不能直接关掉。可设置防火墙规则,消除内网之间的隔离。具体使用哪种方式,根据自身情况决定。
3.1:关闭防火墙
    即时生效,重启后会复原:`service iptables stop` 
    永久生效:`chkconfig iptables off`
3.2:设置防火墙规则,允许内网间访问。
    修改:在/etc/sysconfig/iptables中加入`-A INPUT -s 192.168.1.0/24 -j ACCEPT` ,192.168.1.0/24更改为自己的网段/子网掩码位数。
    重启防火墙:`service iptables restart`

4、设置集群免密登录

4.1 检测本地是否可以免密登录
    执行:ssh localhost,如不需要输入密码,则可免密登录
4.2 创建登录的公钥和私钥
    执行:`ssh-keygen -t dsa -P "" -f ~/.ssh/id_dsa`
    公钥放在id_dsa.pub中,私钥放在id_dsa中
4.3 本地免密登录
    将公钥追加到已认证信息中:`cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys` 
4.4 跨主机免密登录
    在host28上执行:`scp ~/.ssh/id_dsa.pub root@host29:~/.ssh/`, 输入host29的密码
    在host29上执行:`cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys` 将公钥追加到已认证信息中
4.5 在所有节点上执行上述操作

4.6 失败记录:都设置好后还是不能免密登录。查看日志less /var/log/secure
    失败原因:Authentication refused: bad ownership or modes for directory /root       

    查找问题,发现root文件夹的所有者和用户组改变了

    执行命令:chown root.root /root/  改回来就可以了

5、安装jdk
注意安装oracle jdk,非openjdk。
具体操作参考https://segmentfault.com/a/11...

二、安装cm

1、下载
去官网下载安装包,官网地址:https://www.cloudera.com/docu...

2、解压并移动到安装目录
解压tar包:tar -zxvf cloudera-manager-el6-cm5.13.1_x86_64.tar.gz

3、准备cdh安装包(共三个文件)
下载地址:http://archive.cloudera.com/c...

    wget http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel
    wget http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha1
    wget http://archive.cloudera.com/cdh5/parcels/latest/manifest.json

把安装包放到/opt/cloudera/parcel-repo/目录下:`mv CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha manifest.json /opt/cloudera/parcel-repo/`
并修改CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha1名称为CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha,否则识别不到,选择CDH版本的时候看不到:`mv CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha1 CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha`

4、准备mysql connector

官网:https://dev.mysql.com/downloads/connector
下载:`wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.45.tar.gz`
解压:`tar -zxvf mysql-connector-java-5.1.45.tar.gz` 

放到/usr/shara/java目录下(先查看目录是存在,不存在先创建目录):`cp mysql-connector-java-5.1.45-bin.jar /usr/share/java/mysql-connector-java.jar`
或者放到目录/opt/cm-5.13.1/share/cmf/lib/下。
前者安装hive的时候可以直接使用,后者会找不到,需要再执行一次命令:`cp /opt/cm-5.13.1/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /opt/cloudera/parcels/CDH-5.13.1-1.cdh5.13.1.p0.2/lib/hive/lib/`

5、配置agnentvim /opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini

server_host为cm server的主机名或ip
server_port为server的通讯端口,默认为7182

6、 复制agent到其他节点

  scp -r /opt/cm-5.13.1 host30:/opt

7、在所有节点上创建用户cloudera-scm

useradd --system --home=/opt/cm-5.13.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

8、 设置数据库信息

8.1 在mysql上新建数据库:cmf(cloudera manage数据库)、hive(hive数据库)、amon(cloudera Acrivity Monitor使用)、rman(cloudera Reports Manager使用)

8.2 设置cmf连接信息:`/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh mysql -hhost29  --scm-host host28  cmf usrname password`

    命令说明:/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh 数据库类型 -h数据库主机 --scm-host cm主机  数据库名称  用户名  密码
    
    具体参数可参看官网[https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_installing_configuring_dbs.html#concept_i2r_m3m_hn__section_qjj_pyp_bm][3]
    
8.3 查看配置文件,发现信息已写入:`vim cm-5.13.1/etc/cloudera-scm-server/db.properties`

9、启动
启动server: /opt/cm-5.13.1/etc/init.d/cloudera-scm-server start
三、安装群集

1、 登录cm

在浏览器输入http://192.168.5.28:7180登录cm(ip替换为cm server主机ip,端口为server的http服务端口,默认为7180),用户名密码均为admin

2、 选择要安装的cm版本

选择免费或者试用版都可以,如果没有用到高级功能 ,试用版到期也没什么影响,可继续使用。
    

3、 群集安装

各个节点正常启动后,可以在当前管理的主机列表中看到对应的节点。选择你要使用的节点就可以了,基本上全选。

选择CDH版本这里会显示你放在/opt/cloudera/parcel-repo/下的parcel包,若未显示,则检查CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha1是否名称未改为CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel.sha,修改之后重启server服务和agent服务。

这里第一个和第二个警告,按页面提示的设置方法设置即可,第三个警告是jdk版本不对,不能使用openjdk,需要oracle jdk。

每个节点上都设置一下:

执行:`echo 10 > /proc/sys/vm/swappiness`
并编辑文件sysctl.conf:`vim /etc/sysctl.conf`,添加或修改vm.swappiness = 0

执行:
    echo never > /sys/kernel/mm/transparent_hugepage/defrag 
    echo never > /sys/kernel/mm/transparent_hugepage/enabled 
并编辑文件rc.local :`vim /etc/rc.local` 

若安装过程中中断,再次继续安装时,可能出现主机受管情况:

此时停止所有cm服务,删除cmf数据库,重新初始化cmf数据库即可。
删除数据库:进入mysql,执行drop database cmf;
卸载挂载点:umount cm-5.13.1/run/cloudera-scm-agent/process
清除所欲节点的agent uuid信息:rm -rf cm-5.13.1/lib/cloudera-scm-agent/*

注意:一定要先卸载挂载点,否则会提示无法删除:rm: 无法删除"cm-5.13.1/run/cloudera-scm-agent/process": 设备或资源忙

选择要安装的服务,可直接选择组安装,或自定义安装

填写事先建好的数据库信息

继续操作,保持默认选项即可。

注意: 若修改了hdfs的存储文件夹,一定要确定文件夹已经存在,并确保访问权限。否侧hdfs会无法启动,并且报错文件夹不存在。

三、安装或使用过程中遇到的问题

1、No portmap or rpcbind service is running on this host. Please start portmap or rpcbind service before attempting to start the NFS Gateway role on this host.

在安装 NFS Gateway那个节点上安装rpcbind:
    安装:`yum install rpcbind`
    启动:`service rpcbind start`

2、

在安装Hive Metastore Server服务的那台机器上操作:
    cp /opt/cm-5.13.1/share/cmf/lib/mysql-connector-java-5.1.45-bin.jar /opt/cloudera/parcels/CDH-5.13.1-1.cdh5.13.1.p0.2/lib/hive/lib/


文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/8317.html

相关文章

  • cloudera manager5.13.1离线安装记录

    摘要:关闭防火墙即时生效,重启后会复原永久生效设置防火墙规则,允许内网间访问。三安装或使用过程中遇到的问题在安装那个节点上安装安装启动在安装服务的那台机器上操作 官网介绍了三种安装方式, showImg(https://segmentfault.com/img/bV0zA3?w=267&h=178); A方式用于非生产环境自动安装,B是package安装,C是tar包安装 因为习惯等因素,...

    mikyou 评论0 收藏0
  • 离线搭建CDH6.X图解教程

    摘要:数据库与是同一台主机时命令为不同台时命令为安装节点启动服务然后等待启动,可能需要稍等一会儿,可以通过命令去监控服务启动状态。当看到日志打印出来后,说明服务启动成功,可以通过浏览器访问界面了。 前言 最近大数据井喷式爆发,很多公司都是从零开始,需要搭建大数据平台,很多公司选择了用CDH搭建大数据平台,CDH相对于手动搭建来说,他有安装升级方便,自动下载以来软件包,与hadoop生态系统包...

    jerry 评论0 收藏0
  • cdh5.8.0+mysql5.7.17完全离线安装

    摘要:一前期准备操作系统版本前期软件准备版本下载地址版本下载地址所有版本的下载地址版本下载地址所有版本的下载地址包版本下载地址注意因为操作版本是所以选择的和包的版本都是对应版本,如果 一、前期准备 1.操作系统版本 # cat /etc/redhat-release CentOS release 6.5 (Final) # uname –a Linux enc-bigdata05 2.6....

    DandJ 评论0 收藏0
  • CentOS学习笔记 - 12. Nginx搭建Centos7.5远程repo

    摘要:搭建服务器因为这次我们实际上有在线安装和离线安装的不同的需求。参数可选需要重启生效。改为后,显示出文件的大概大小,单位是或者或者而默认为,显示的文件时间为时间。 Nginx搭建repo服务器 因为这次我们实际上有在线安装和离线安装的不同的需求。所以我们同时采用了两种方法来安装nginx。 1. 在线安装nginx 安装nginx对应的源 rpm -Uvh http://nginx.or...

    Fourierr 评论0 收藏0
  • CentOS学习笔记 - 12. Nginx搭建Centos7.5远程repo

    摘要:搭建服务器因为这次我们实际上有在线安装和离线安装的不同的需求。参数可选需要重启生效。改为后,显示出文件的大概大小,单位是或者或者而默认为,显示的文件时间为时间。 Nginx搭建repo服务器 因为这次我们实际上有在线安装和离线安装的不同的需求。所以我们同时采用了两种方法来安装nginx。 1. 在线安装nginx 安装nginx对应的源 rpm -Uvh http://nginx.or...

    chengtao1633 评论0 收藏0

发表评论

0条评论

lieeps

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<