storm集群安装与部署

mmy123456 发布于2019-05-28 18:36 / 2667人阅读

摘要：集群拓扑规划在搭建集群前，先看下下面的拓扑图，在版本中，支持的模式，，需要使用作为协同。如果的目录为空的话，每个就会创建自己的展示主机名每台这里配置自己的地址日志链接链接失败需启动服务

storm集群拓扑规划

在搭建Storm集群前，先看下下面的拓扑图，在1.1.0版本中，支持 Nimbus的HA模式，Nimbus、Supervisor，需要使用Zookeeper作为协同。

相关依赖

jDK1.8

zookeeper3.4.9 部署说明

python2.6.6+

安装包下载

wget http://mirror.bit.edu.cn/apache/storm/apache-storm-1.1.1/apache-storm-1.1.1.tar.gz

简称	IP	角色
A	192.168.2.149	Nimbus
B	192.168.2.150	Supervisor_01
C	192.168.2.151	Supervisor_02

Nimbus安装配置

Nimbus可以配置多台，实现HA，这里暂时就配置一台
需要对外开放的端口：
6627: Nimbus 默认端口
8080: Storm UI Web端口
8000: LogView端口

配置文件

storm github提供的配置默认

https://github.com/apache/sto...

########### These MUST be filled in for a storm configuration
storm.zookeeper.servers:
     - "192.168.2.149"
     - "192.168.2.150"
     - "192.168.2.151"
nimbus.seeds: ["192.168.2.149"]

#配置数据存储路径
storm.local.dir: "/data/ms/storm-1.1.1/data"

##配置节点健康检测
storm.health.check.dir: "healthchecks"
storm.health.check.timeout.ms: 5000
storm.local.hostname: "192.168.2.149"

#配置Storm UI
ui.port: 8080

启动程序

./storm nimbus >/dev/null 2>&1 &
./storm ui >/dev/null 2>&1 &
./storm logviewer >/dev/null 2>&1 &

在浏览器访问：http://192.168.2.149:8080, 查看Storm UI主页

Supervisor安装配置

Supervisor安装的时候，只需要指定Nimbus地址，就可以自动加入Storm集群

配置文件

########### These MUST be filled in for a storm configuration
storm.zookeeper.servers:
     - "192.168.2.149"
     - "192.168.2.150"
     - "192.168.2.151"
# 
nimbus.seeds: ["192.168.2.149"]
#配置数据存储路径
storm.local.dir: "/data/ms/storm-1.1.1/data"
#
##配置节点健康检测
storm.health.check.dir: "healthchecks"
storm.health.check.timeout.ms: 5000

storm.local.hostname: "192.168.2.150"

#配置supervisor： 开启几个端口插槽，就开启几个对应的worker进程
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

启动程序

./storm supervisor >/dev/null 2>&1 &
./storm logviewer >/dev/null 2>&1 &

知识点

storm0.9版本后不在采用ZeroMQ

storm配置详解

storm UI参数详解

FAQ

Storm UI 中显示的Supervisor 的个数与实际的不符

删除Supervisor中的 storm.local.dir 目录的数据，之前拷贝到各个节点的时候，把这个目录页拷贝过去了。如果 storm.local.dir的目录为空的话，每个Supervisor就会创建自己的ID

Storm ui展示主机名

每台storm这里hostname配置自己的ip地址
storm.local.hostname: "192.168.2.150"

日志链接链接失败

需启动LogView服务
./storm logviewer >/dev/null 2>&1 &

服务器托管混合云集群部署系统集群部署负载均衡与集群 Storm

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/8279.html

大数据入门指南（GitHub开源项目）

摘要：项目地址前言大数据技术栈思维导图大数据常用软件安装指南一分布式文件存储系统分布式计算框架集群资源管理器单机伪集群环境搭建集群环境搭建常用命令的使用基于搭建高可用集群二简介及核心概念环境下的安装部署和命令行的基本使用常用操作分区表和分桶表视图项目GitHub地址：https://github.com/heibaiying... 前言大数据技术栈思维导图大数据常用软件安装指...

guyan0319 2019-08-19 11:46 评论0 收藏0
jstorm2.2.1 安装使用记录

一、准备工作 1、机器：一台或多台2、修改主机名,设置集群host 修改主机名，并使之生效 - 修改：`vim etc/sysconfig/network` - 使之生效：`source etc/sysconfig/network` showImg(https://segmentfault.com/img/bV0KbA?w=402&h=64); 统一设置集群host(修改集群中每个节点...

stormzhang 2019-07-01 18:11 评论0 收藏0
jstorm2.2.1 安装使用记录

一、准备工作 1、机器：一台或多台2、修改主机名,设置集群host 修改主机名，并使之生效 - 修改：`vim etc/sysconfig/network` - 使之生效：`source etc/sysconfig/network` showImg(https://segmentfault.com/img/bV0KbA?w=402&h=64); 统一设置集群host(修改集群中每个节点...

huayeluoliuhen 2019-05-28 18:39 评论0 收藏0
大数据框架hadoop服务角色介绍

摘要：大数据框架服务角色介绍翻了一下最近一段时间写的分享，发行版本下载安装运行环境部署等相关内容几乎都已经写了一遍了。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。大数据框架hadoop服务角色介绍翻了一下最近一段时间写的分享，DKHadoop发行版本下载、安装、运行环境部署等相关内容几乎都已经写了一遍了。虽然有的地方可能写的不是很详细，个人理解水平有限还请见谅吧！我记得在...

atinosun 2019-08-16 13:40 评论0 收藏0
实时计算在有赞的实践 - 效率提升之路

摘要：目前实时计算在有赞的整体技术架构如下图未来规划首先要落地并的是实时任务化，提高化任务可以覆盖的业务场景目标是，从而通过提高业务开发效率的角度赋能业务。 1. 概述有赞是一个商家服务公司，提供全行业全场景的电商解决方案。在有赞，大量的业务场景依赖对实时数据的处理，作为一类基础技术组件，服务着有赞内部几十个业务产品，几百个实时计算任务，其中包括交易数据大屏，商品实时统计分析，日志平台，调...

Maxiye 2019-05-28 19:09 评论0 收藏0