ATP: In-network Aggregation for Multi-tenant Learning
拓扑:W1 / W2 在机架 A(一级聚合点 SW0),W3 与 PS 在机架 B(二级聚合点 SW1)。选择场景后用「下一步」逐步推演。
System
单级聚合 · 动态分配
跨机架两级聚合
哈希冲突 · Best-effort
丢包 · 乱序ACK重传
ECN 拥塞控制
浮点量化与溢出
W1
Worker
W2
Worker
SW0
ToR · 一级
SW1
ToR · 二级
PS
参数服务器
W3
Worker
SW0 aggregators
SW1 aggregators
上一步
0
/
0
下一步
重置
梯度片段包(上行)
部分聚合结果
参数包 / ACK(下行)
冲突直通 / 饱和
resend 重传
ECN 拥塞标记