摘要：实时通讯系统是最近互联网应用的一个新领域。现在的问题是，开发一个优秀的系统需要具备哪些技术储备呢先看终端方面。各个平台，，，底层音频系统也需要深入了解。互联网不是一个可靠的实时音视频传输网络。现在我们知道开发一个系统需要什么技术了。
RTC(real time communication)实时通讯系统是最近互联网应用的一个新领域。RTC系统的应用极其广泛，我们常见的视频电话，会议系统，远程桌面与控制都是RTC系统的一个应用。在移动互联网飞速发展的今天，各种应用都渴望加入RTC的功能，实现用户与企业，用户与用户之间的音视频交流。于是问题出现了，开发一个RTC系统需要什么技术储备？
有人说只需要懂javascript就可以了。WebRTC的出现极大的降低了RTC的开发门槛。只需要编写javascript代码就可以实现浏览器之间的音视频通话。且不论通话质量，浏览器的兼容性，网络穿透能力，那些不使用HTML的原生APP怎么办？
又有人提出WebRTC也支持Native开发，只要有懂C++和相关应用平台（Android，iOS，Windows，Mac）开发的软件工程师就可以了。WebRTC确实可以在这些平台上开发原生的应用。将WebRTC编译打包后嵌入APP可以实现RTC的功能，就是说能通了。但一个合格的RTC系统仅仅是能通就可以了吗？
以音视频通话为例，用户期望的RTC应用应该是：通话不卡不掉低延时，声音清晰真实无回声，画面流畅清晰无卡顿。如果直接采用上面WebRTC集成，我们很容易发现，在大多数情况下，通话并不像原来想象的那样完美。由于网络的原因，通话断断续续，延时很大。由于终端的适配不好，语音通话回声严重，噪声严重影响体验。视频不清楚，不流畅。
RTC系统的每一个部分都需要优化，需要打磨，才能打造出完美的用户体验。现在的问题是，开发一个优秀的RTC系统需要具备哪些技术储备呢？
先看终端方面。解决语音通话的问题，首先需要有合适的语音编解码器，然后需要调整音频处理模块的算法。这里面内容比较广，有噪声消除，回声抑制，自动增益。比较前沿的还有多麦克风降噪，盲扩增强等等。总之这些都需要算法的储备，涉及语音信号处理、统计信号处理等方面的内容。有了算法还不够，还需要有好的实现。各个平台（Android，iOS，Windows，Mac）底层音频系统也需要深入了解。有时候算法挺好的，但有些机器先天不足，比较特别，需要特殊处理。这需要投入许多人力物力对各种型号的硬件做适配。优秀的系统可能需要适配几百上千个不同的设备。
同样的，对于视频，我们需要对视频编解码器有深入的了解。这样才能用最低的码率展示清晰的视频画面。视频的前后处理，比如降噪，增强（包括流行的美颜）也少不了。这就需要图像与视频信号处理。视频数据量比较大，对底层视频设备也需要深入研究。适配也少不了。
说完了终端，再说说网络。网络抗丢包是必备选项。互联网不是一个可靠的实时音视频传输网络。在不可靠的网络中实现可靠的音视频传输考验系统设计的能力。这里既有信道编码的理论也有网络对抗的实际经验。
如果要实现可靠的云服务，遍布全球的服务器网络也必不可少。高可用性，负载均衡等等。。。
现在我们知道开发一个RTC系统需要什么技术了。这个系统涉及到几乎所有的网络与音视频处理的理论与实践。
作者简介：
郑仲侯 声网Agora.io音视频构架师
硕士毕业于上海交通大学电子工程系，信号处理专业。先后在National Instruments，SRS，DTS工作十余年。专注信号处理算法与实践，加入Agora后从事音视频引擎的开发，持有双麦降噪专利。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/34564.html
摘要：实时通讯系统是最近互联网应用的一个新领域。现在的问题是，开发一个优秀的系统需要具备哪些技术储备呢先看终端方面。各个平台，，，底层音频系统也需要深入了解。互联网不是一个可靠的实时音视频传输网络。现在我们知道开发一个系统需要什么技术了。 RTC(real time communication)实时通讯系统是最近互联网应用的一个新领域。RTC系统的应用极其广泛，我们常见的视频电话，会议系统，...
摘要：与原生应用和基于浏览器的应用相比，小程序直播会对音视频技术生态带来哪些影响微信天生的流量优势会给开发者和运营带来机会还是陷阱邀请了若干位有代表性的技术人，分享各自的观点与思考。姜雨晴小程序提供的实时音视频是一种的技术解决方案。 责编 / 王宇豪策划 / LiveVideoStack 12月26日晚间，微信小程序开放了直播能力，并首先向社交、教育、医疗、政务民生、金融等五大应用场景开放...
摘要：网易云信全球智能融合方案网易云信全球智能融合方案主要是面向视频云平台的场景和需求。网易云信是集网易年以及音视频技术打造的服务产品，来自网易核心技术架构的通信与视频云服务，稳定易用且功能全面，致力于提供全球领先的技术能力和场景化解决方案。 使用传统CDN的用户遇到的新问题随着云计算时代的快速发展，尤其是流媒体大视频时代的到来，用户在是使用过往CDN节点资源调配将面临很多问题：问题1：流媒...
摘要：特别是内存，它将强烈的影响区块链的运行速度，过小会造成区块链网络的严重拥堵。伴随着区块链对当今社会的逐步渗透，当达到一定的临界点之后，这种影响将会是惊人的，我们拭目以待。 作者介绍：张其中，中科院硕士，连续创业者，乐家app创始人，花猫快问联合创始人，链宝科技联合创始人，关注EOS公链生态发展，致力于基于EOS的DAPP应用实践与产品研究。 最近EOS又刷眼球了。让EOS刷眼球的是EO...
摘要：七牛云直播竞答解决方案创业者要入局直播竞答，不仅要住海量高并发提供超低延时流畅播放体验，还要打造产品新玩法，形成差异化竞争。 2018 年的第一个周五，晚上 7 点刚过，2 场冲顶大会、3 场芝士超人、3 场百万作战和 4 场百万英雄在短短 3 小时内轮番登场。 又一个直播风口？ 「冲顶大会」早已不是直播及其衍生产品的首次刷屏。事实上，自从直播成了互联网产品吸引流量的神兵利器，它掀起的...
阅读 1399·2021-11-24 09:38
阅读 2655·2021-11-19 11:33
阅读 1572·2021-11-12 10:36
阅读 1414·2021-11-12 10:36
阅读 3323·2021-11-02 14:46
阅读 2407·2021-09-30 09:47
阅读 3540·2019-08-30 15:56
阅读 3217·2019-08-30 15:55
