NSDI '21 · 网内聚合 · 交互式学习笔记

SwitchML: Scaling Distributed ML with In-Network Aggregation

拓扑:机架级单交换机架构——W1–W4 全部直连同一台可编程 ToR(Tofino),没有参数服务器,聚合在交换机数据面以线速完成。选择场景后用「下一步」逐步推演——覆盖池化流式聚合与自时钟、上行丢包重传去重、下行丢包影子副本、浮点定点化四条路径。论文:Sapio et al., NSDI 2021。
池化流式聚合 · 自时钟
上行丢包 · 重传去重
下行丢包 · 影子副本
浮点量化 · 自适应定点
W1
Worker
W2
Worker
SW
ToR · Tofino
W3
Worker
W4
Worker
SW aggregator pool
pool · ver 1
0 / 0
梯度更新包(上行)
聚合结果组播(下行)
影子副本单播补发
超时重传
丢包 / 丢弃