TCP Incast问题

xorpay 发布于2021-10-14 09:42 / 1815人阅读

摘要：问题出现的原因正是由于高带宽链路，低传播时延，以及有限的交换机缓冲区导致了问题的出现。

1.问题引入

一个客户端通过一个交换机与数据中心相连，交换机又与多个服务器相连，客户端向n个服务器请求一个较大的数据块。如下图所示：

每个数据块都分割到这些服务器上，因此每个服务器都存储了一个较小的数据块。接收端为了得到较大的数据块，向每个服务器发送一个请求，服务器收到请求后，就以一种多对一的模式通过瓶颈链路向接收端发送数据。只有在所有请求的服务器数据都被客户端成功收到，该请求才算完成，客户端才能请求下一个数据块。但是，随着同时参与数据同步传输的服务器数目的增加，大量的数据流量会涌向交换机与客户端之间的瓶颈链路。这些流量会导致瓶颈链路上交换机的缓冲区的溢出，引起大量丢包事件，以及随后的数据重传，最终导致吞吐量的急剧下降。

2.问题出现的原因

正是由于高带宽链路，低传播时延，以及有限的交换机缓冲区导致了TCP Incast 问题的出现。首先，由于高带宽和低时延，在需要数据的客户端向存储数据的服务器发送数据请求后，这些服务器几乎同时向客户端发送数据，导致大量数据流同时涌向网络。又由于交换机缓冲区空间有限，这种流量很容易就会将其溢出，接着发生丢包，TCP 通过超时重传进行恢复。超时的时间通常至少要几百毫秒。需要超时重传的服务器会进入超时等待。由于同步的传输模式，多个服务器可能会同时进入这种等待。因此在等待的这段时间内，链路几乎处于完全空闲状态，这就导致链路的不充分利用，以及吞吐量的急剧下降。

3.问题的解决

我解决问题的办法是：出现啥问题？是什么原因导致的？就想办法去解决这个原因。

1.因为会发生丢包问题，我们可以从这一点去思考这个问题。由于缓冲区空间小导致的丢包，我们可以稍微扩大缓冲区的空间来解决这个问题。
2.这些数据基本上都是同时在发送，我们是否可以给它一个先后秩序来发送数据，这样也能避免大量数据同时涌进一条链路。
3.增大服务器内的数据块大小，在网上有说明。增大数据块的大小就使得数据块平均分割到较小数目的存储服务器上，这样客户端就可以向较少的服务器请求同样的小的数据块。

4.参考资料

中国科学院大学硕士论文—《云计算数据中心网络和TCP Incast问题研究》

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/122464.html

深入理解Hadoop集群和网络

摘要：的带宽虽然不常见，但是却能显著的提高核心和磁盘驱动器的密集性。更多的核心和磁盘驱动器，意味着数据能得到更多的并行处理能力和更快的结果。就是在你的机器扩展更多个磁盘驱动器和更多的核心，而不是增加机器的数量。本文将着重于讨论Hadoop集群的体系结构和方法，及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。 Hadoop里的服务器角色 Hadoop主要...

meislzhua 2019-04-25 17:09 评论0 收藏0
详解Hadoop集群窥探云时代并行处理

摘要：的带宽虽然不常见，但是却能显著的提高核心和磁盘驱动器的密集性。我们将代表性的处理一些级别的文件。更多的核心和磁盘驱动器，意味着数据能得到更多的并行处理能力和更快的结果。就是在你的机器扩展更多个磁盘驱动器和更多的核心，而不是增加机器的数量。本文将着重于讨论Hadoop集群的体系结构和方法，及它如何涉及到网络和服务器基础设施。开始我们先学习一下Hadoop集群运作的基础。Hadoop里的服务器...

stefanieliang 2019-04-25 17:09 评论0 收藏0
如何将深度学习训练速度提升一百倍？PAISoar 来了

摘要：概述近几年来深度学习发展迅速，图像处理语音识别等领域都取得了飞速发展。性能指标基于，深度神经网络模型的分布式训练性能提升明显。技术对于许多在大型数据集上训练的现代深度学习模型来说，基于数据并行的同步分布式训练是最合适的训练方法。阿里妹导读：得力于数据规模增长、神经网络结构的演进和计算能力的增强，深度学习的图像处理、语音识别等领域取得了飞速发展。随着训练数据规模和模型复杂度的不断增大...

Harriet666 2019-06-26 20:05 评论0 收藏0
如何将深度学习训练速度提升一百倍？PAISoar 来了

摘要：概述近几年来深度学习发展迅速，图像处理语音识别等领域都取得了飞速发展。性能指标基于，深度神经网络模型的分布式训练性能提升明显。技术对于许多在大型数据集上训练的现代深度学习模型来说，基于数据并行的同步分布式训练是最合适的训练方法。阿里妹导读：得力于数据规模增长、神经网络结构的演进和计算能力的增强，深度学习的图像处理、语音识别等领域取得了飞速发展。随着训练数据规模和模型复杂度的不断增大...

cpupro 2019-06-26 20:05 评论0 收藏0
TCP与UDP~第二式

摘要：比如旗下的简历，推出了物联网通信协议，就是基于协议的。报文头网络传输层中，是面向连接可靠的字节流传输。位标志位作用如下标志表示紧急指针是否有效。我们称携带标识的报文段为确认报文段。标志表示通知对方本端要关闭连接了。 # TCP与UDP 一，分析TCP与UDP报文 TCP与UDP都是位于OSI...

?xiaoxiao, 2021-09-02 15:40 评论0 收藏0