资讯专栏INFORMATION COLUMN

宜信开源|大数据虚拟混算平台Moonbox配置指南

galois / 2712人阅读

摘要:具体值可查阅配置文件和配置文件。如果检查失败可通过查看节点或者节点上目录下的日志进行问题排查。开源地址拓展阅读宜信开源计算服务平台架构功能与应用场景宜信开源重大发布全新重构,更快更解耦来源宜信技术学院

一、环境准备

已安装Apache Spark 2.2.0(此版本仅支持Apache Spark 2.2.0, 其他Spark 版本后续会兼容)

已安装MySQL并启动,且开启远程访问

各安装节点已经配置ssh免密登录

二、下载

moonbox-0.3.0-beta下载:https://github.com/edp963/moo...

三、解压
tar -zxvf moonbox-assembly_2.11-0.3.0-beta-dist.tar.gz
四、修改配置文件

配置文件位于conf目录下

step 1: 修改slaves
  mv slaves.example slaves
  vim slaves

将会看到如下内容:

  localhost

请根据实际情况修改为需要部署worker节点的地址, 每行一个地址

step 2: 修改moonbox-env.sh
  mv moonbox-env.sh.example moonbox-env.sh
  chmod u+x moonbox-env.sh
  vim moonbox-env.sh

将会看到如下内容:

  export JAVA_HOME=path/to/installed/dir
  export SPARK_HOME=path/to/installed/dir
  export YARN_CONF_DIR=path/to/yarn/conf/dir
  export MOONBOX_SSH_OPTS="-p 22"
  export MOONBOX_HOME=path/to/installed/dir
  # export MOONBOX_LOCAL_HOSTNAME=localhost
  export MOONBOX_MASTER_HOST=localhost
  export MOONBOX_MASTER_PORT=2551

请根据实际情况修改

step 3: 修改moonbox-defaults.conf
  mv moonbox-defaults.conf.example moonbox-defaults.conf
  vim moonbox-defaults.conf

将会看到以下内容,其中:

catalog

配置元数据存储位置, 必须修改, 请根据实际情况修改

rest

配置rest服务, 按需修改

tcp

配置tcp(jdbc)服务, 按需修改

local

配置Spark Local模式作业, 值为数组, 有多少个元素表示每个Worker节点启动多少个Spark Local模式作业。如不需要可删除。

cluster

配置Spark yarn模式作业, 值为数组, 有多少个元素表示每个Worker节点启动多少个Spark Yarn模式作业。如不需要可删除。

  moonbox {
  deploy {
      catalog {
          implementation = "mysql"
          url = "jdbc:mysql://host:3306/moonbox?createDatabaseIfNotExist=true"
          user = "root"
          password = "123456"
          driver = "com.mysql.jdbc.Driver"
      }
      rest {
          enable = true
          port = 9099
          request.timeout = "600s"
          idle.timeout= "600s"
      }
      tcp {
          enable = true
          port = 10010
      }
  }
  mixcal {
      pushdown.enable = true
      column.permission.enable = true
      spark.sql.cbo.enabled = true
      spark.sql.constraintPropagation.enabled = false

      local = [{}]
      cluster = [{
        spark.hadoop.yarn.resourcemanager.hostname = "master"
        spark.hadoop.yarn.resourcemanager.address = "master:8032"
        spark.yarn.stagingDir = "hdfs://master:8020/tmp"
        spark.yarn.access.namenodes = "hdfs://master:8020"
        spark.loglevel = "ERROR"
        spark.cores.max = 2
        spark.yarn.am.memory = "512m"
        spark.yarn.am.cores = 1
        spark.executor.instances = 2
        spark.executor.cores = 1
        spark.executor.memory = "2g"
      }]
  }
  }

optional: 如果HDFS 配置了高可用(HA)、或者HDFS 配置了kerberos、或者YARN 配置了高可用(HA)、或者YARN 配置了kerberos

将cluster元素中相关部分改为以下配置, 请根据实际情况修改。具体值可查阅hdfs配置文件和yarn配置文件。

  #### HDFS HA ####
  spark.hadoop.fs.defaultFS="hdfs://service_name"
  spark.hadoop.dfs.nameservices="service_name"
 spark.hadoop.dfs.ha.namenodes.service_name="xxx1,xxx2"
  spark.hadoop.dfs.namenode.rpc-address.abdt.xxx1="xxx1_host:8020"
  spark.hadoop.dfs.namenode.rpc-address.abdt.xxx2="xxx2_host:8020"
  spark.hadoop.dfs.client.failover.proxy.provider.abdt="org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
  spark.yarn.stagingDir = "hdfs://service_name/tmp"
  #### HDFS kerberos ####
  dfs.namenode.kerberos.principal = ""
  dfs.namenode.kerberos.keytab = ""
  #### YARN HA ####
  spark.hadoop.yarn.resourcemanager.ha.enabled=true
  spark.hadoop.yarn.resourcemanager.ha.rm-ids="yyy1,yyy2"
 spark.hadoop.yarn.resourcemanager.hostname.rm1="yyy1_host"
  spark.hadoop.yarn.resourcemanager.hostname.rm2="yyy2_ho
st"
  #### YARN kerberos ####
  spark.yarn.principal = ""
  spark.yarn.keytab = ""
五、分发安装包

将MySQL Jdbc驱动包放置到libs和runtime目录下, 然后将整个moonbox安装目录拷贝到所有安装节点, 确保位置与主节点位置一致。

六、启动集群

在master节点执行

   sbin/start-all.sh
七、停止集群

在master节点执行

   sbin/stop-all.sh
八、检查集群是否成功启动

在master节点执行如下命令, 将会看到 MoonboxMaster 进程

   jps | grep Moonbox

在worker节点执行如下命令, 将会看到 MoonboxWorker 进程

   jps | grep Moonbox

在worker节点执行如下命令, 将会看到与配置文件对应个数的 SparkSubmit 进程

   jps -m | grep Spark

使用moonbox-cluster命令查看集群信息

   bin/moonbox-cluster workers
   bin/moonbox-cluster apps

如果检查通过, 则集群启动成功, 即可参阅examples部分开始体验啦。 如果检查失败, 可通过查看master节点或者worker节点上logs目录下的日志进行问题排查。

开源地址:https://github.com/edp963/moo...

拓展阅读:宜信开源|Moonbox计算服务平台架构功能与应用场景
宜信开源|Moonbox_v0.3_beta重大发布 | Grid全新重构,更快更解耦

来源:宜信技术学院

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/49325.html

相关文章

  • 数据中台:宜信敏捷数据中台建设实践|分享实录

    摘要:宜信的数据中台是由我们敏捷大数据团队基于四大开源平台开发建设的,因此我们将宜信的数据中台称之为敏捷数据中台。本次分享分为三个部分宜信敏捷数据中台的顶层设计。结合典型案例介绍宜信敏捷数据中台支持哪些数据方面的应用和实践。 内容来源:宜信技术学院第2期技术沙龙-线上直播|宜信敏捷数据中台建设实践 分享嘉宾:宜信数据中台平台团队负责人 卢山巍 导读:宜信于2017年推出了一系列大数据开源工具...

    mtunique 评论0 收藏0
  • 宜信开源Moonbox_v0.3_beta重发布 ,Grid全新重构,更快更解耦

    摘要:导读数据虚拟化思想一直以来都是敏捷大数据团队十分关注的一个点,则以此为基础而设计,致力于提供批量计算服务解决方案。二功能数据虚拟化思想是很重要的一个设计原则,在此基础上,实现了多种功能。 导读:数据虚拟化思想一直以来都是敏捷大数据团队十分关注的一个点,Moonbox则以此为基础而设计,致力于提供批量计算服务解决方案。今天,Moonbox惊喜发布0.3beta版(回顾v0.2请戳这里:#...

    wzyplus 评论0 收藏0
  • 专访宜信CTO向江旭:技术应当服务于场景,AI天生适合金融业

    摘要:宜信中台当前,宜信已将技术应用放在了重要的战略位置,并提出了金融拥抱的口号。在实施过程中,宜信除了构建数据中台,目前也在开发中台。以多年对行业的洞察和对技术趋势前瞻性的把握,向江旭很看好技术和金融行业的融合。采访嘉宾向江旭原文发布前线 showImg(http://college.creditease.cn/resources/upload/image/20190524/1558673...

    lansheng228 评论0 收藏0
  • 专访宜信CTO向江旭:技术应当服务于场景,AI天生适合金融业

    摘要:记者采访了宜信向江旭,一起聊聊在金融行业数字化转型中的应用。宜信中台当前,宜信已将技术应用放在了重要的战略位置,并提出了金融拥抱的口号。 showImg(http://college.creditease.cn/resources/upload/image/20190524/1558673137128048693.png);(宜信 CTO 兼科技委员会执行主任 向江旭) 导读: 随着人...

    clasnake 评论0 收藏0
  • 数据中台:宜信敏捷数据中台建设实践

    摘要:本期宜信技术沙龙以数据中台为主题,希望通过分享宜信的技术实践经验,为软件研发行业对数据中台的应用落地带来参考和启示。目前在宜信担任数据中台平台团队负责人,带领团队研发四大开源项目,并主导宜信数据中台平台的建设工作。 【宜信技术沙龙】是由宜信技术学院主办的系列技术分享活动,活动包括线上和线下两种形式,每期技术沙龙都将邀请宜信及其他互联网公司的技术专家分享来自一线的实践经验,分享内容覆盖金...

    liaoyg8023 评论0 收藏0

发表评论

0条评论

galois

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<