透过微软研究院在“数据中心网络”的重大进展看SIGCOMM 2013

2013" title="透过微软研究院在“数据中心网络”的重大进展看SIGCOMM 2013">

编者按：于8月12日至16日在香港举行的SIGCOMM
2013（美国计算机协会数据通信专业组会议），网络和通信研究领域的核心人物在此齐聚一堂。此次的大会重点关注SDNs领域的新兴发展，但也涉及软件派生广域网、数据中心网络以及云应用管理等多方研究，内容前沿而丰富。对微软研究院来说是特别的一届，因为此次会议入选论文中，微软研究院的论文占有率达到了25%，刷新了我们20年以来的纪录。今天，我们将通过博客和大家分享其中三篇精彩研究论文。

来源：Big
Advances in Data-Center Networking

数据中心网络发展带来的种种最新成果，正使其成为计算机行业最热门的领域之一。对网络研究者来说，这是他们研究生涯中兴奋不已的时刻。

SIGCOMM会议是美国计算机协会数据通信专业组的年度旗舰性会议。而今年的SIGCOMM2013于8月12日至16日在香港举行，网络和通信研究领域的核心人物在此齐聚一堂。在大会上，三篇来自微软雷德蒙德研究院
移动与网络研究组的论文让所有人大开眼界——不仅了解短期内的研究目标，也有了对未来研究方向的愿景。

本次会议的主题之一是软件定义网络(software-defined networks,
SDNs)，其提供了一个直接和更灵活的方法控制和管理数据中心网络。接下来让我们一起感受Victor Bahl和George Varghese带来的移动与网络研究组成果分享。

需要强调的是，SDNs并不是SIGCOMM
2013关注的全部。在被挑选进行展示的39篇论文中，微软研究院占据了其中10篇。7篇来自微软雷德蒙德研究院，其余3篇分别来自
微软剑桥研究院、微软印度研究院、微软亚洲研究院。

2013" title="透过微软研究院在“数据中心网络”的重大进展看SIGCOMM 2013">

通信技术领域的新风潮

无论如何，正如微软研究院首席研究员兼移动与网络小组经理Bahl所提到的，他们在SDN领域所做的贡献无疑会让SIGCOMM讨论锦上添花。

“软件定义网络，”他说，“已经如狂风席卷般占领这个领域。”

仍在讨论中的是：连接巨型数据中心的储存网络数据的通信基础设施。这些年来，基础设施一直受制于连接这些数据中心管理网络主干的硬件。如今，即使一些研究已经让这种通信变得更加灵活有效，SDNs仍然在转化过程中扮演着不可取代的角色。

“他们将控制面板从数据面板中分离出来，”Bahl解释道，“这意味着，部分进行决策的网络（控制面板）被传送的通信量从转发通信量（数据面板）中分离开来。由此一来，数据面板（网络交换机）的硬件将变得更加简易。”

高端精彩的技术特性

由于许多精彩特性的实现需要强大的记忆和计算能力，尖端网络硬件供应通常需要昂贵的交换器。

而如今，这一切都将改变。

“研究者们已经在这一问题上花费了多年时间，他们已经想出一个办法来移代网络交换机最基本的逻辑控制单元并将其放入一个另外的盒子中，而后可以根据所需方针发送控制包以配置交换机，”他说，“这样一来就只需要管理更少的重量级网络组件，因此降低了交换机的复杂性，使其更加经济实惠，并简化了网络。当然，你仍需要管理每个组件，但是可以通过更加智能的方式改变网络行为，并且存在问题之处更容易被检测处理。”

而SDNs作用在启用数据中心网络方面效果更加明显，而这恰好是Bahl小组三篇相关SDN的SIGCOMM
2013论文的主要内容：

• 《通过软件派生WAN实现高利用率（Achieving
  High Utilization with Software-Derived WAN）》，作者为伊利诺州大学香槟分校Chi-Yao
  Hong，微软雷德蒙德研究院Srikanth
  Kandula、Ratul Mahajan和Ming Zhang，微软Vijay Gill 和Mohan
  Nanduri，瑞士苏黎世联邦技术学院Roger
  Wattenhofer以及一位现在微软雷德蒙德研究院的访问研究员。
• 《转发蜕变：SDN硬件上的快速可编程硬件匹配操作处理（Forwarding
  Metamorphosis: Fast Programmable Match-Action Processing in
  Hardware for SDN）》，作者为德州仪器（Texas Instruments）Pat Bosshart、Hun-Seok
  Kim、Martin Izzard 和Fernando Mujica；Varghese；斯坦福大学Glen Gibb 、Nick
  McKeown和Mark Horowitz。
• 《zUpdate：零损失更新数据中心网络（zUpdate:
  Updating Data Center Networks with Zero Loss）》，作者为耶鲁大学Hongqiang
  Liu，杜克大学Xin Wu，微软Li Yuan、David A. Maltz，以及Wattenhofer。

鉴于越来越多的计算和数据移动到云，对于在线服务供应商来说，数据中心之间的通信也变得越来越重要。正如《通过软件派生WAN实现高利用率》论文概要中提到的：这恰好是SDNs能发挥重要作用的地方。

2013" title="透过微软研究院在“数据中心网络”的重大进展看SIGCOMM 2013">

“而问题在于，”Bahl说，“数据中心之间的通信带宽已经非常昂贵。为了得到连接不同数据中心的足够带宽，我们投入了大量资金。而原因在于：比如Bing索引整个网络，数据中心用来索引网页的有成百上千的服务器。一旦需要做到这种程度，这些索引必须被转移到其他数据中心，如此大量的数据，必须被有效高速地传送。”

当连接数据中心的管道足够通畅并能够容纳索引峰值需求时，即使这些索引被有效传输，管道并没有得到充分利用。有时，大管道中信息流通量甚至放缓到寥寥无几。

“原因在于，”Bahl说，“网络本身不能智能地适应变化需求的全球行为。理想中，在高优先级索引已经移动的情况下，网络将重新自我配置来迎合其他数据中心服务器的流通需求。有了SDNs，控制器能够监察全球范围内的通信量，并使交换机智能适应网络行为。”

“看看管道利用率，这有许多峰值和谷值。有了SDNs，我们不仅利用来自数据中心内部的不同资源填补低值，并且可以填充管道。”

但是风险仍然很大。

“一旦数据移动，服务器便会有空间进行其他工作。如果数据不能足够快地传输，即使我们有大管道，服务器仍会滞缓。通过使大管道缓解滞缓服务器的问题，并释放其进行其他工作的空间，如此以来可以有效提高数据中心的效率。”

“如果该方法能够成功，我们将省下一大笔钱。这不仅会降低数据中心的整体运行成本，反过来，也会降低每个人适用云服务的成本。”

不仅如此，Varghese和他的合作者在《转发蜕变》论文中采用的方法也许会带来另一个翻天覆地的变化。

在数据中心中，路由器展现了两个至关重要的过程：数据包的转发，以及当转发地址链接发生变化时管理动态表。SDNs可以改变控制构建路由表的软件，通过控制面板提供更大的灵活度。但前提是是基本硬件部分的路由器不能被改变。

而在转发机制下，一切都变得可能。

“我们建议在进行机制构建时除了允许改变路由器，还允许改变转发，正如SDN已经做到的，”Varghese表示，”这是一个伟大的想法。”

迅速对数据包进行改变

“《转发蜕变》意味着我们已经实现SDNs之前所不能做到的，当数据包通过路由器时，我们可以对其进行改变。SDNs只允许改变表格的内容，而不是改变路由器真正的转发过程。我们改变了人们对数据包的理解，通过路由器的各种功能分配表格的方式，以及实现了通过处理数据包将同样的硬件从边缘路由器转化为核心路由器。”

2013" title="透过微软研究院在“数据中心网络”的重大进展看SIGCOMM 2013">

有些时候，研究员们认为网络处理器能够提供数据通信难题中数据包转发额外灵活性。但是，路由器的工作速度要比最快的网络处理器或者现场可编程门阵列（FPGA）还要快上很多。正如Varghese解释，“我们亟需原始硬件（Raw
Hardware）的发挥作用。”

然而这并不是说，这种原始硬件的作用不能和灵活性兼得。Varghese和他来自斯坦福大学的合作作者，以及来自德州仪器的电路设计师创建了一种提供三种灵活性的机制：

• 灵活的解析器（Flexible
  parser）：如果你想在数据包添加一个额外字段来对转发过程进行微调，你需要在使用现有硬件时找到一种解决方式，而解析器能够轻松理解这些数据包字段。
  “我们在操作网络中构建了一个灵活解析器，”Varghese说，“它使用数据包中一些特定的比特，而这也是其现在存在的意义。’我们不用升级硬件就可以达到目的。”
• 灵活的表格（Flexible
  tables）：管理一个路由器的转发表格可能非常复杂，尤其是需要决定如何分配内存时。而《转发蜕变》这篇论文解释了如何构建灵活记忆而不是手动将其分为多种用途，当然，这也是不需要任何新硬件的。
• 灵活的动作（Flexible
  actions）：近些年来，许多人认为如果拥塞信息能够附着到数据包上，传统的传输控制协议就可以得到大幅度的品质提升。而Varghes和他的同事使编写任意数据包变为可能。

这样探索可以说是开创了网络研究领域的新平台。

同时，Varghese也表示，“这就是未来五年SDNs需要前进的方向”。

第三篇SDN相关的论文提供了进一步的证据表明：在这个激动人心的新机遇面前，微软研究院意图占据最前沿的位置。

《zUpdate：零损失更新数据中心网络》文中提到：新的SDNs网络结构衍生出一个独特的问题，或者说是机会。zUpdate能够减轻网络计划的需求度，以保证在软件更新时保持数据中心网络平稳运行。

Bahl表示，“这相关于如何更新交换机才能不影响数据中心的正常运行，如此一来，必须采用一种更系统的方式进行更新。”

2013" title="透过微软研究院在“数据中心网络”的重大进展看SIGCOMM 2013">

其他来自微软研究院的SIGCOMM
2013论文相关于负载均衡的云层级、数据密集型云应用资源管理、匿名网络以及近场通信。

“云服务正在变得越来越重要，我们必须采用更加有效的方式介入，”Bahl总结道，“在微软，我们一直在为数据中心高效运行而努力着。比如，我们目前正在关注数据中心及其之间的连接等网络基础设施。”

____________________________________________________________________________

相关阅读：

Peter Lee在“21世纪的计算大会”上的主题演讲：从计算研究到惊人发明

2013 ACM网络搜索与数据挖掘国际会议

一场计算机学界的盛宴

欢迎关注

微软亚洲研究院官方微博：http://e.weibo.com/msra/profile

微软亚洲研究院人人主页：http://www.renren.com/600674137