昇腾集合通信定制开发教程——从MoE到AlltoAll
是的没错，我终于想起这个号的密码了。
集合通信库HCCL（Huawei Collective Communication Library）是基于昇腾AI处理器的高性能集合通信库，提供单机多卡以及多机多卡间的数据并行、模型并行集合通信方案。HCCL系列课程分”使用篇“和”魔改篇“两大部分，本门课程是“魔改篇”，讨论如何修改HCCL，为其新增或修改算法实现。
本节课为第六节，了解一下分别从Pytorch视角和MindSpore视角，是如何从MoE一步步走到AlltoAll的全过程。
立即观看
0