数据中心网络架构

假设数据中心网络采用了 Border Leaf、Spine、Leaf 架构。

服务器的接入涉及到布线方式、以及接入交换机的选择。常见的布线方式有 TOR 以及 EOR/MOR 这 2 类。如下图所示，这两类方式可以组合出丰富的部署方式，在具体项目中，我们需要根据业务部署的要求，灵活选择不同的部署方式或组合。

TOR 接入方式

EOR/MOR 接入方式

两者的对比如下，在数据中心网络的场景中，大部分属于高密度服务器的场景，因此采用 TOR 的方式比较常见。

下面我们以高密机架服务器场景为例，介绍下具体的接入方案。如下图所示，每机架部署了 10 台机架式服务器（通常会部署 8-12 台服务器），每排共有 10 个机架（通常每排会部署 8-12 个机架）部署了服务器，构成高密度机架服务器部署。

每台服务器具有 2 个 10GE 业务网口和 1 个 FE 接入 BMC 管理口。

为了保证可靠性每台服务器采用 M-LAG 的方式接入网络，相邻的两个机架组成一组 M-LAG 的系统，这样一个机架上面的 TOR 交换机需要接入 200G（10G × 10 × 2 = 200G）带宽的流量。根据经验值，我们在接入层的收敛比一般控制在 3:1 左右，这主要取决于我们将为接入交换机设计多大的上行带宽。

目前来说，接入交换机的单个上行接口可以达到 40G 的带宽，理论上通过 4 个 40G 的上行接口，我们就可以大致将收敛比做到 1:1。但是此时我们至少需要为该 Spine 设置 4 台汇聚交换机，且每增加一个上行接口就需要增加一台汇聚交换机，因此这个开销还是十分可观的。

在实际部署中，我们一般设置两台汇聚交换机，接入交换机通过 2 个 40GE 接口接入汇聚交换机，提供 80G（40G × 2 = 80G）的上行带宽。这样我们就可以得到 2.5:1（200G ÷ 80G = 2.5）的收敛比，很好的将其控制在 3:1 以内。

每排机架上共有 10 台 TOR 交换机需要连接到我们的汇聚交换机，每台 TOR 交换机通过 2 个 40GE 接口接入到 Spine 层设备，一共是 80 个（2 × 10 × 4 = 80）接口，3200G（80 × 40G = 3200G）的带宽。

此时我们可以选择将这些接口分为几个 Spine 节点接入到 Spine 层设备。为了避免的设备的单点故障引起网络问题，我们每个 Spine 节点都至少有 2 台 Spine 层交换机。

如果我们选择将这些 TOR 交换机作为一个 Spine 接入，那么这个 Spine 接入的接口数为 80 个接口，3200G 的带宽，如下图所示。在这种情况下，我们如果通过 100G 的上行链路链接到 Border Leaf 设备（一般为两台，北向连接到出口路由器），则可以提供 400G（4 × 100G = 400G）的带宽，此时收敛比为 8:1（3200G ÷ 400G = 8）。

1 个 Spine 节点接入

2 个 Spine 节点接入

如果我们选择将这些 TOR 交换机分为两个 Spine 接入，那么每个 Spine 接入的接口数为 40 个接口，1600G 的带宽。在这种情况下，我们如果通过 100G 的上行链路链接到 Border Leaf 设备，则可以提供 400G（4 × 100G = 400G）的带宽，此时收敛比为 4:1（1600G ÷ 400G = 4）。

值得注意的是，在数据中心网络中 Spine 的划分，收敛比并不是唯一的依据，更主要的是根据业务和功能的分区来划分的。另外受限于交换机本身路由、ARP 等规格的限制，再加上现在虚拟机的大规模应用（虚拟比达到 1:30 或更高，对规格要求更高），一个 Spine 的规模也不会太大。

在这个场景下，我们采用了两个 Spine 接入的方式，即将 Row1 和 Row2 共用一个 Spine，Row3 和 Row4 共用一个Spine。此时我们一般选用框式交换机或高性能的盒式灵活插卡交换机来作为 Spine 设备。

Border Leaf 北向主要是连接 Data Center Border Router（DCBRs，DC 边界/出口路由器），南向连接不同的 Spine，承担 Spine 间东西向流量的转发。Border Leaf 的设计很重要的一个是考虑客户所购买的出口路由器的端口。这些端口相比较于我们下层的网络设备比较贵，一般情况下都是 10GE/40GE 的接口。这也意味着我们在 Border Leaf 的收敛比会比较大。

如果我们按照 4 个 40GE 的出口接口来计算，我们将有 160G 的带宽，此时收敛比是 5:1（800G ÷ 160G = 5）。但是，根据目前统计约 75% 的流量都是发生在数据中心的内部，即东西向的流量。那么剩下的 25% 的流量，即南北向的流量大概只有 200G（800G × 25% = 200G）。如果按照这个来估算，我们的收敛比为 1.25:1（200G ÷ 160G = 1.25），属于可接受的范围。

最终我们得到网络收敛设计的逻辑图，如下图所示。

文章来源: is-cloud.blog.csdn.net，作者：云物互联，版权归原作者所有，如需转载，请联系作者。

原文链接：is-cloud.blog.csdn.net/article/details/122179797