摘要:连麦互动直播方案全实践系列文章基于网易云信的摸索和实践,从场景流程到方案架构,对直播体验深度优化方案连麦互动直播进行了全面的讲解和介绍。
毫无疑问直播是当前移动互联网最热门的领域之一,在超强热度的引导下直播领域也吸引了大量的商业资本。在各大直播应用万花齐放的时刻,也正是直播应用面临的真正风口。站在这个风口上,直播应用只把握好风向标,推出具备高用户粘性的差异化功能,才能在这个不断推陈出新的时代站稳脚跟,获得不可动摇的地位。
《连麦互动直播方案全实践》系列文章基于网易云信的摸索和实践,从场景、流程到方案、架构,对直播体验深度优化方案——“连麦互动直播”进行了全面的讲解和介绍。
相关阅读推荐:
连麦互动直播方案全实践 1:什么是连麦互动直播?
连麦互动直播方案全实践 3:网易云信连麦互动的实现方案
《连麦互动直播方案全实践》系列第一篇文章介绍了什么是连麦互动直播,现在我们来看一下网易云信在连麦互动直播方案的演变过程。我们从2015年年初就开始研究连麦互动直播技术,提出了一个在主播客户端合流的方案。后来随着移动端直播的快速兴起,我们在老方案的基础上,迭代推出了一个新方案,也就是服务端合流方案。
接下来我会为大家详细阐述这两个方案的具体实现方式,并且分析各自的优势、劣势以及适用的场景。
首先我们来看一下老方案,我们称之为:主播端合流。
传统的直播流程是:主播客户端采集并编码音视频数据以后,直接使用RTMP协议推流到CDN,其它观众使用对应的拉流地址向CDN拉取音视频流。
该方案我们不改变由主播来推流这个架构,只是在主播需要与观众连麦互动时使用实时音视频系统来进行主播和观众的实时互动连麦,通过实时通话通道主播端收到观众端发送的音频和视频数据,主播端将自己的声音和观众的声音做混音,并将自己的画面与观众的画面做视频合成,最后主播将混合的声音和画面推流到CDN流媒体服务器。通过这种方式就实现了观众与主播的连麦互动直播。
那么这个方案有什么优缺点呢?
由于上述两个问题,该方案并不是移动端上连麦互动的最佳方案。
为了解决这两个问题,我们团队用3个月时间来做技术攻关,设计并开发了一个替代方案。
这个全新的连麦互动直播方案,作为优化替代方案,方案的关键是:主播不再直接推流到CDN流媒体服务器,而是基于实时音视频通话系统,由实时音视频的中转服务器转发给互动直播服务器,再由互动直播服务器处理后推流到 CDN 流媒体服务器,互动直播服务器是我们为方案二全新研发的一个服务器。
音视频实时通话系统,可以实现多人的实时互动,而且多人模式下所有的数据包都是通过音视频中转服务器中转。此时如果观众需要与主播连麦互动,只需要让观众加入到实时音视频的房间中,音视频中转服务器在转发给房间中其他客户端的同时,转发一份到互动直播服务器,互动直播服务器对收到的语音进行混音,同时对视频画面做混合处理,处理完毕以后再推流到 CDN 流媒体服务器。
通过这种方案,将方案一中由主播端做的混音混合及推流操作,转嫁由互动直播服务器来承担。对于普通观众不需要其它额外的处理逻辑就能在原来的拉流地址上拉取到连麦互动的直播画面。
那新方案有哪些优点?
简单的提一下,有些 APP 使用不同与上述两种方案的其它方案来实现连麦互动直播。也就是主播和连麦者分别发送一路 RTMP 流到 CDN 服务器,观众端通过分别拉取主播和连麦者的两路流来实现连麦互动直播。
这个方案的问题是:RTMP 协议延迟很高,一般至少在3秒,主播和连麦者之间使用 RTMP 协议来做连麦互动,互动的实时性是不可接受的。同时普通观众要拉取两路流,功能流程会变得复杂,同时还增加了普通观众的下行压力。
由于这两个问题,该方案不是一个合格可行的低延迟连麦互动方案。
那么网易云信全新的连麦互动直播方案具体是怎么实现的呢?《连麦互动直播方案全实践》第三篇文章将会向大家详细介绍。
随着即时通讯以及音频处理和压缩技术的不断发展,效果更好、适用范围更广、性能更高的算法和新的技术必将不断涌现,如果你有好的技术或者分享,欢迎关注网易云信官方博客和 GitHub:
关注更多技术干货内容:网易云信博客
欢迎关注网易云信 GitHub
欢迎关注网易云信官网
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/10997.html
摘要:对于聊天室本身的聊天功能的实现,因为接入云信,主要是通过调用封装实现的,就不细说了。云信的互动直播功能,支持主播和观众实时连麦互动。 本文主要整理互动直播中各端的逻辑,重点是与前端相关的教师端IM的部分和Web/Wap学生端。希望通过这份整理,对于前端在维护时可以尽快的理解互动直播的流程,提高项目的可维护性;对于客户端和教师端来说,可以了解到前端提供的接口和消息的实现。也能提高对整个请...
摘要:近日头条低调上线了新的社交飞聊,目前在社交排行榜第位。一时间,飞聊是一个社交功能合集成了许多人对它的第一印象。这一阶段购买礼物是主要的商业模式。 近日头条低调上线了新的社交APP——飞聊,目前在AppStore社交排行榜第7位。但很多人使用了之后都觉得新产品的各个功能都让人想起其他的产品。兴趣小组让人想到豆瓣的兴趣小组,生活动态让人想到微博动态,聊天中的语音文字同步发,让那个人想到子弹...
摘要:在分享中李备详细分析了在线教育的音频需求,以及一般软件音频框架,和行业的挑战。大家好,我是来自网易云信的李备,今天我将与大家一起探究教育场景下的实时音频解决方案。请求包时会根据进行音频解码或等。 本文来自网易云信 资深音频算法工程师 李备在LiveVideoStackCon 2018讲师热身分享,并由LiveVideoStack整理而成。在分享中李备详细分析了在线教育的音频需求,以及一...
摘要:保利威无延迟直播可以在手机电脑上实现高参与度的互动,让课堂体验再上一层,对于提升公开课转化率非常有帮助。无延迟体验能让直播更接近线下体验。 衡量一场直播是否成功,用户互动体验必然是关键一环。 今年疫情影响下,云办公、云上课、云会展、云购物纷纷兴起。带货直播、空中课堂、会展直播等多样化的场景让用户对直播实时性、流畅性有了更高要求。 ...
摘要:微信在去年年底开放了小程序直播接口。基于声网的小程序直播互动连麦方案开发的小程序,在的低延时实时网络环境下可实现与其它平台的无缝互通。 微信在去年年底开放了小程序直播接口。小程序从仅适用于阅读、生活服务、工具等应用的流量入口,成为了许多音视频应用的又一个新平台。新功能的开放让更多应用可以利用微信的熟人社交链为应用快速拉新,提供便捷的增值服务,或加速应用变现。我们的客户,荔枝 FM 就在...
阅读 377·2021-09-24 09:48
阅读 2879·2021-09-04 16:46
阅读 2367·2021-08-26 14:14
阅读 404·2019-08-30 13:08
阅读 1290·2019-08-29 15:22
阅读 2808·2019-08-29 11:06
阅读 879·2019-08-26 18:26
阅读 805·2019-08-26 13:53