资讯专栏INFORMATION COLUMN

zookeeper多节点集群搭建

wuyumin / 1105人阅读

摘要:今天就在这给大家介绍下多节点的集群搭建此次用到台虚拟的系统,的大部分操作都是通过选举产生的。完成配置之后分发给其他两个节点在每个节点上依次启动后,检查集群是否启动成功返回结果可能为或则表示成功启动集群。

zk详细介绍

写在开始
在上次关于zookeeper文章中给大家介绍了单节点情况下启动运行zk相关步骤,很简单,但是也很有必要。今天就在这给大家介绍下zk多节点的集群搭建(此次用到3台虚拟的centos7系统,Zookeeper的大部分操作都是通过选举产生的。比如,标记一个写是否成功是要在超过一半节点发送写请求成功时才认为有效。同样,Zookeeper选择领导者节点也是在超过一半节点同意时才有效。最后,Zookeeper是否正常是要根据是否超过一半的节点正常才算正常。这是基于CAP的一致性原理。故zk的集群节点数一般为奇数)。

为什么是zk
在分布式应用中,经常会出现部分失败的情况,即当节点间传递消息的时候由于网络或者接收者进程死掉等原因,发送者无法知道接收者是否收到消息。由于部分失败是分布式系统固有的特征因此zookeeper并不能避免部分失败,但是它可以帮你在部分失败的时候进行正确处理,保证最终正确。

zookeeper具有的特征

1:zookeeper提供丰富的构件(building block)来实现很多协调数据结构和协议

2:访问原子性,客户端要么读到所有数据,要么读取失败,不会出现只读取部分的情况

3:zookeeper运行在一组机器上,具有高可用性,帮助系统避免单点故障,同时删掉故障服务器

4:顺序一致性:任意客户端的更新请求会被按照发送顺序提交

5:单一系统映像:当一台服务器故障,导致它的客户端需要连接其它服务器的时候,所有更新晚于故障服务器的服务器都不会接收请求,一直到更新赶上故障服务器

6:及时性:任何客户端能看到的滞后都是有限的,不会超过几十秒,且提供sync操作强制客户端所连的服务器与领导者同步

7:会话:每个客户端连接时会尝试连接到配置列表中的一台服务器,一旦失败会自动连接另一台服务器依次类推,知道成功连接一台服务器,从而创建一个会话,客户端可以位每个会话设置超时时间,一旦会话过期,则所有短暂znode会丢失,因为zookeeper会自动发送心跳包,所以很少发生

8:约会机制(rendezvous),在交互的过程中,被协调的各方不许要事先彼此了解,甚至不必同时存在

9:ACL:zookeeper提供了digest(通过用户名密码),host(通过主机名),ip(通过ip地址)3种身份验证模式,依赖与 zookeeper的身份验证机制每个ACL都是一个身份对应一组权限,如果我们要给demo.com的客户端域一个读权限在java语言中可以这样创建:new ACL(Perms.READ, new Id("host", "demo.com"));Ids.OPEN_ACL_UNSAFE是将所有ADMIN之外的权限授予每个人;另zookeeper还可以集成第三方的身份验证系统。

10:提供关于通用协调模式的开源共享资源库

11:高性能的(官方数据)对以写为主的工作负载来说使用5台不错的机器基准吞吐量达到10000+

集群安装

根据教程安装一台镜像为centos7 minimal系统的虚拟机,在目录:/etc/sysconfig/network-scripts/ifcfg-ens33(多半文件后的数值不一样)配置网卡如下

重启网卡:service network restart
检查自己ip是否于配置的一样: ip addr
将当前已经配置好网络的虚拟机保存一个快照,如果后面安装失败可以还原回来。
2.关闭系统在克隆两个同样的虚拟机

完成克隆后要记得修改其ip地址,重复步骤1即可。

3.下载zooekeep并解压到/usr/localhost 目录,在conf文件下添加zoo.cfg文件,文件内容如下:

tickTime=2000
dataDir=/opt/zookeeper
clientPort=2181
initLimit=5
syncLimit=2
server.1=192.168.1.11:2888:3888
server.2=192.168.1.12:2888:3888
server.3=192.168.1.13:2888:3888

initLimit:这个配置项是用来配置Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeeper 服务器的客户端,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10 个心跳的时间(也就是 tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 5*2000=10 秒。

syncLimit:这个配置项标识Leader 与 Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是 2*2000=4 秒。

server.A=B:C:D:其中 A 是一个数字,表示这个是第几号服务器;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号。

除了修改 zoo.cfg 配置文件,集群模式下还要配置一个文件 myid,这个文件在 dataDir 目录下,这个文件里面就有一个数据就是 A 的值,Zookeeper 启动时会读取这个文件,拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是那个 server。

完成配置之后分发给其他两个节点:
scp -r zookeeper-3.5.2-alpha/ root@192.168.1.12:/usr/local/
scp -r zookeeper-3.5.2-alpha/ root@192.168.1.13:/usr/local/

在每个节点上依次启动后,检查集群是否启动成功
sh zkServer.sh status 返回结果可能为leader或follower则表示成功启动zk集群。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/45850.html

相关文章

  • zookeeper节点集群搭建

    摘要:今天就在这给大家介绍下多节点的集群搭建此次用到台虚拟的系统,的大部分操作都是通过选举产生的。完成配置之后分发给其他两个节点在每个节点上依次启动后,检查集群是否启动成功返回结果可能为或则表示成功启动集群。 zk详细介绍 写在开始在上次关于zookeeper文章中给大家介绍了单节点情况下启动运行zk相关步骤,很简单,但是也很有必要。今天就在这给大家介绍下zk多节点的集群搭建(此次用到3台...

    tracymac7 评论0 收藏0
  • Zookeeper集群搭建和简介(二)

    摘要:通过监控这些数据状态的变化,从而可以达到基于数据的集群管理。临时节点该节点的生命周期依赖于创建它们的会话。临时节点不允许拥有子节点。包含了每一个事件的三个基本属性通知状态,事件类型和节点路径异步发送的通知事件从服务端发送到客户端是异步的。 Zookeeper集群搭建和简介(二) 本文主要涉及一下知识.1.linux虚拟机安装和linux基本设置2.linux间免密登录3.linux搭...

    simon_chen 评论0 收藏0
  • Zookeeper学习系列【二】Zookeeper 集群章节之集群搭建

    摘要:本章内容主要讲的是集群搭建相关的知识。在集群模式下,最少需要三个节点。并且官方推荐你使用奇数数量的节点来组成集群。这个值必须是集群中唯一的。在确认每台服务器上的和文件修改创建之后,在三个节点上分别执行命令,启动。 前言 同道们,好久不见,上一章中,我主要讲了Zookeeper的一些基础的知识点。数据模型 + 原语集 + Watches机制。本章内容主要讲的是集群搭建相关的知识。 本篇的...

    shixinzhang 评论0 收藏0
  • 可能是全网把 ZooKeeper 概念讲的最清楚的一篇文章

    摘要:的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语集,并以一系列简单易用的接口提供给用户使用。具有不可分割性即原语的执行必须是连续的,在执行过程中不允许被中断。 该文已加入开源文档:JavaGuide(一份涵盖大部分Java程序员所需要掌握的核心知识)。地址:https://github.com/Snailclimb... showImg(https:...

    DrizzleX 评论0 收藏0
  • zookeeper 高可用集群搭建

    摘要:前言记录集群搭建的过程什么是是一个分布式的,开放源码的分布式应用程序协调服务,是的一个开源的实现,是和的重要组件。 showImg(https://segmentfault.com/img/remote/1460000017993000); 前言 记录Zookeeper集群搭建的过程! 什么是 Zookeeper ? ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,...

    sherlock221 评论0 收藏0

发表评论

0条评论

wuyumin

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<