清华发布SmartMoE：支持用户一键实现 MoE 模型分布式训练

清华大学计算机系 PACMAN 实验室发布了一种稀疏大模型训练系统 SmartMoE，该系统支持用户