MongoDB Change Stream初体验

1fe1se 发布于2019-06-26 18:04 / 3410人阅读

摘要：可以发现，整个同步过程是依赖于来进行的。不考虑导致的问题，正常的应用升级也会导致应用中断运行。注意事项为了避免被回滚的更新被发布出去，选择只在一个变更到达大多数节点不可能被回滚时，才会将这些变更发布到应用。

Change Stream是MongoDB从3.6开始支持的新特性。这个新特性有哪些奇妙之处，会给我们带来什么便利？本次的文章将就这个主题进行初步讨论。

Change Stream是什么？

顾名思义，Change Stream即变更流，是MongoDB向应用发布数据变更的一种方式。即当数据库中有任何数据发生变化，应用端都可以得到通知。我们可以将其理解为在应用中执行的触发器。至于应用想得到什么数据，以什么形式得到数据，则可以通过聚合框架加以过滤和转换。这点将在后文中讨论。

Change Stream的原理

我们先来回顾一下MongoDB复制集大致是如何工作的：

应用通过驱动向数据库发起写入请求；

在同一个事务中，MongoDB完成oplog和集合的修改；

oplog被其他从节点拉走；

从节点应用得到的oplog，同样在一个事务中完成对oplog和集合的修改；

至此，复制集同步完成。可以发现，整个同步过程是依赖于oplog来进行的。也就是说oplog实际上已经包含了我们需要的所有变更数据。如果观测oplog的变化，是否就能够得到所有变更的数据了呢？对，change stream正是基于这个原理实现的。但事情并没有这么简单！我们来看一下问题有可能出在什么地方。

如何从断点恢复

现实世界中，没有哪个应用是可以不间断运行的。不考虑bug导致的问题，正常的应用升级也会导致应用中断运行。那么在应用恢复的时候，从哪里开始继续获取变更呢？oplog当然是可以帮我们做到这点的，但你必须对MongoDB足够了解，才知道有oplogReplay这样的参数，以及其他一些问题。

如何有效地处理订阅

假设在一个应用中需要订阅10个不同集合的变更情况，是否需要开10个tailable cursor去获取oplog的变更呢？如果是100个集合呢？出于效率考虑显然不应该这么做。那么整个过程就会变成一个生产者-消费者模式，由一个线程负责从oplog获取变更，由订阅的线程负责消费这些变更。虽然实现也不是那么复杂，并且多半可以找到开源实现，但是涉及多线程就已经足够让初学者头疼一阵的了。
公平地说，上面这些还不算严重的问题，下面这些问题可能会更让人头疼。

如何管理权限

想要tail oplog，必须对local.oplog.rs有读权限。实际上这相当于对整个数据库都有了读权限，因为所有的变更都会在这里体现出来。DBA可能会阻止你这么做，因为这实在不是一个很安全的做法。

如何数据回滚

极端情况下，如果应用处理不当，MongoDB中可能发生数据回滚rollback的问题。如果仅仅通过跟踪oplog，则会出现已经通知出去的变更被回滚的情况。

幸运的是上面这些问题现在都不是问题了，因为change stream帮我们规避了这些复杂的细节。

使用方法

由于各种驱动都会有不同的语法和API，从shell中尝试使用change stream可能是最简便的方法。这并不妨碍你随后在各种驱动中的使用，因为shell中能实现的功能在驱动中一定有对应的语法。下面就以shell为例看看change stream应该如何使用。

打开一个shell，订阅你需要关注的集合
比如：

var cursor = db.bar.watch();

为了便于演示，我们在这个shell中不断遍历这个游标以获取新数据：

while(true) {
    if (cursor.hasNext()) {
        print(JSON.stringify(cursor.next()));
    }
}

打开另一个shell，向bar集合中插入一条数据：

db.bar.insert({y: 1})

此时第一个shell中会立即输出变更数据：

{"_id":{"_data":{"$binary":"glzquiIAAAACRmRfaWQAZFzquiK0lDNo+K0DpwBaEARUMrm0ruVACoftuxjt1RtCBA==","$type":"00"}},"operationType":"insert","fullDocument":{"_id":{"$oid":"5ceaba22b4943368f8ad03a7"},"y":1},"ns":{"db":"test","coll":"bar"},"documentKey":{"_id":{"$oid":"5ceaba22b4943368f8ad03a7"}}}

这里的一些字段的简单介绍。更完整的介绍请查阅文档change events：

_id: 用于恢复断点时使用。即知道这个值，应用断开后下次重启里就可以从这个断点之后开始恢复获得变更；

operationType: 操作类型，常见的值包括：

insert

update

delete

ns: 正在操作的命名空间

fullDocument: 完整的文档

从断点恢复

var cursor = db.bar.watch([], {resumeAfter: <\_id>})

此时使用hasNext()/next()即可获取到随后的变更。

注意事项 {readConcern: "majority"}

为了避免被回滚的更新被发布出去，change stream选择只在一个变更到达大多数节点（不可能被回滚）时，才会将这些变更发布到应用。使用的方式即{readConcern: "majority"}。因此以下这些情况下change stream都是不会向应用通知任何变更的：

禁用了readConcern；

从旧版本升级，但没有更新featureCompatibilityVersion；

PSA架构中S宕机；

断点可恢复时间

因为change stream是依赖于oplog工作的，自然也会面临oplog面临的所有问题。问题之一就是oplog被覆盖。因此想要保证断点可以恢复，必须保证应用在oplog window的时间内请求断点。

删除集合

如果在订阅集合变更过程中集合被删除，则会收到一条invalid信息通知，表示集合已不再可用：

{
    "_id" : {
        "_data" : BinData(0,"glzqxCcAAAACFFoQBFQyubSu5UAKh+27GO3VG0IE")
    },
    "operationType" : "invalidate"
}

参考资料

Tailable cursor: https://docs.mongodb.com/manual/core/tailable-cursors/

生产者-消费者模式: https://zh.wikipedia.org/wiki/%E7%94%9F%E4%BA%A7%E8%80%85%E6%B6%88%E8%B4%B9%E8%80%85%E9%97%AE%E9%A2%98

关于回滚: https://docs.mongodb.com/manual/core/replica-set-rollbacks/

变更事件: https://docs.mongodb.com/manual/reference/change-events/

Change Stream介绍文档：https://docs.mongodb.com/manual/changeStreams/

作者简介

张耀星，MongoDB亚太区首席技术咨询服务顾问。在MongoDB的开发、应用和咨询服务上有多年实践经验。作为MongoDB认证专家，曾经为不同行业的各类大型客户提供过培训、性能调优、架构设计等各类MongoDB相关技术服务。

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/19547.html

转 | Java8初体验（二）Stream语法详解

摘要：第一个函数生成一个新的实例第二个函数接受两个参数，第一个是前面生成的对象，二个是中包含的元素，函数体就是把中的元素加入对象中。感谢同事【天锦】的投稿。投稿请联系 tengfei@ifeve.com 上篇文章[Java8初体验（一）lambda表达式语法]()比较详细的介绍了lambda表达式的方方面面，细心的读者会发现那篇文章的例子中有很多Stream的例子。这些Stream的例子可...

taoszu 2019-08-14 14:41 评论0 收藏0
前端小白的全栈初体验

摘要：原文来源全栈初体验前言据说现在不会点后台的前端都找不到工作了吓得我这几天看起了和并且做了一个应该算是最简单的前后端例子，如图输入账户密码，提交表单，保存信息到数据库再重定向到页面获取数据库中的信息，渲染在浏览器上具体代码主要技术前端模板后台原文来源：全栈初体验前言据说现在不会点后台的前端都找不到工作了吓得我这几天看起了Nodejs和MongoDB并且做了一个应该算是最简单的前后...

wangym 2019-08-29 12:29 评论0 收藏0
前端小白的全栈初体验

摘要：原文来源全栈初体验前言据说现在不会点后台的前端都找不到工作了吓得我这几天看起了和并且做了一个应该算是最简单的前后端例子，如图输入账户密码，提交表单，保存信息到数据库再重定向到页面获取数据库中的信息，渲染在浏览器上具体代码主要技术前端模板后台原文来源：全栈初体验前言据说现在不会点后台的前端都找不到工作了吓得我这几天看起了Nodejs和MongoDB并且做了一个应该算是最简单的前后...

Jioby 2019-08-01 16:43 评论0 收藏0
前端小白的全栈初体验

摘要：原文来源全栈初体验前言据说现在不会点后台的前端都找不到工作了吓得我这几天看起了和并且做了一个应该算是最简单的前后端例子，如图输入账户密码，提交表单，保存信息到数据库再重定向到页面获取数据库中的信息，渲染在浏览器上具体代码主要技术前端模板后台原文来源：全栈初体验前言据说现在不会点后台的前端都找不到工作了吓得我这几天看起了Nodejs和MongoDB并且做了一个应该算是最简单的前后...

PumpkinDylan 2019-06-26 17:14 评论0 收藏0
适合初学者的koa2+mongodb初体验

摘要：前言笔者的前端开发已经有些时日了，对于一直保留着最初的恐惧，倘若一座不可跨越的高山，思前想后终于迈出最后一步，踏入了开拓自己视野的新视界，希望在看这篇文章的你可以一起跟我动手尝试。面向的下一代框架。由团队打造，特点优雅简洁灵活体积小。 showImg(https://segmentfault.com/img/bVbuorM?w=1514&h=568); 前言笔者的前端开发已...

Jacendfeng 2019-08-23 18:20 评论0 收藏0