近日，一个潜伏了11年名为“毒液（VENOM）”的高危漏洞被发现，该漏洞被认为比Heartbleed（心脏出血）更加可怕，因为使用该漏洞能让攻击者逃离虚拟机，访问并监视控制宿主机，并通过宿主机的权限来访问控制其他虚拟主机，从而影响到全球各大云服务商的数据安全。

此消息一出，业界震惊。各大厂商纷纷紧急提供修复补丁或者发布安全公告。这需要用户停机升级而中断业务。所幸的是，该漏洞入侵门槛较高，尚未出现逃逸虚拟机的攻击工具。但是，该漏洞的理论风险非常大，不少用户表示相当担心。

然而，UCloud用户的业务却丝毫没有受到影响。在UCloud免重启的热补丁技术的保护下，「毒液」漏洞在第一时间内被系统静默修复，用户全程无感知，似乎该漏洞从来没有在这个世界上出现过一样。

如果说UCloud用户此间的感受是「还没开始，就已经结束」，但对于UCloud技术团队来说，却是一场非常精彩的技术实战。现在，我们将此战的过程和经验分享给大家，希望能给各位技术人带来一点启发：

14日 午

收到毒液漏洞警告。评估影响范围为全网所有云主机，制定应对计划。

14日 晚

研究原理，评估各个QEMU版本受影响程度，开始讨论源码修复补丁。

15日 午

1）漏洞实验确认，各版本均可重现，重现方法不一样。确定尚未出现逃逸云主机的攻击PoC，但理论风险相当高；

2）源码修复办法内部review完成。开始QEMU新版本发布流程；

3）对于增量云主机，QEMU新版本发布完成即可避免；

4）对于存量云主机，有三种热升级方法：内核热补丁、进程热补丁以及本机热迁移。讨论决定优先采用本机热迁移方案。

15日 晚

1）新版QEMU开始小规模灰度；

2）对本机热迁移方案进行压测。

16日 午

作为备选方案，开始实现进程热补丁方案。

17日 午

1）本机热迁移方案压测出现约0.5%的失败率。综合各方面评估，决定改用进程热补丁方案；

2）进程热补丁V1版本开发完成。

18日 午

1）完成各QEMU修正版的内部灰度，发布至部署系统；同时开始全网灰度发布；

2）对进程热补丁方案进行优化，开发V2，不给当前进程注入SO库，而是直接修改运行中QEMU的二进制指令和内存数据结构值，实验理想；

3）在实验环境进行QEMU进程热补丁压测，在预发布环境实战。

18日 晚

1）开发辅助工具采集所有云主机的指纹特征；

2）开始灰度内部上千个云主机。

19日 午

1）QEMU修复版本完成全网发布，更新了磁盘上的QEMU进程。至此，增量云主机不受影响；

2）内部灰度完成；

3）开始灰度所有的用户云主机。

20日 晚

凌晨4点完成灰度。至此所有云主机的毒液漏洞均得到修复，最后一遍全网扫描无一例异常。

结语

感谢为修复「毒液」漏洞辛苦付出的技术团队。此次事件也让我们更加坚信，真正优秀的云服务，绝不是简单的资源提供和低价倾销。

当不可预知的技术问题突然降临，当承载着用户梦想的业务面临巨大的风险，云服务商能否抗住压力，确保产品和服务真正的高可用性，技术团队能否在第一时间给到用户足够的支持，以及有没有足够的技术积淀来精准迅速的定位及解决问题，我们相信，或许这些才是真正重要的。

云计算承担着颠覆传统IT的重要使命，这条路还很长，未来也一定会遇到各种前所未有的挑战。但是，感谢与我们一同成长的用户们的信任，感谢强大的技术团队背后的支持，我们会一路坚定，继续从容应对！