全面兼容 PyTorch 2.2.0，摩尔线程 Torch-MUSA 插件获推 v1.3.0 版本升级

www.iei8.com 2024-10-31

10 月 31 日消息，摩尔线程今日发文宣布针对 PyTorch 深度学习框架的 MUSA 插件 ——Torch-MUSA 迎来更新，新版本 v1.3.0 全面兼容 PyTorch 2.2.0，进一步提升 PyTorch 在 MUSA 架构上的模型性能与覆盖度，并支持模型迁移到国产全功能 GPU。

据介绍，PyTorch 作为全球广泛使用的深度学习框架，已应用在了自然语言处理、计算机视觉、推荐系统等多个领域。摩尔线程所推出的 Torch-MUSA，专为 PyTorch 提供 MUSA 后端加速支持，用户可在 MUSA 架构上流畅运行深度学习模型，发挥国产全功能 GPU 的计算能力。

据此前报道，PyTorch 旗下架构优化库 torchao 已于本月正式发布，该优化库主要专注于模型的量化和稀疏性优化，能够在保证性能的同时降低模型的计算成本和 RAM 用量，从而提升模型运行效率。

摩尔线程官方表示，Torch-MUSA 自发布以来，已历经多个版本的迭代。Torch-MUSA 从 v1.0.0 版本开始就支持了 PyTorch 2.0，经过开发与优化，最新发布的 v1.3.0 版本已全面支持 PyTorch 2.2.0。

附摩尔线程 Torch-MUSA 重点内容如下：

在 Torch-MUSA 中，用户只需指定 torch.device ("musa")，即可将现有的 PyTorch 模型迁移到 MUSA 架构的 GPU 上运行，无需大幅修改代码。

Torch-MUSA 完全兼容 PyTorch 的自动微分和动态图机制，支持多种常用的神经网络模块及优化算法，并加速了关键深度学习算子的计算。

此外，Torch-MUSA 还支持多种 PyTorch 特性，包括 DDP、JIT、FSDP、Profiler、Extension 等。

v1.1.0：初次发布，支持 PyTorch 2.0，提供基础张量操作和常见神经网络层的 MUSA 加速。

v1.2.0：进一步扩展算子支持，支持了完整功能的 Profiler、MUSA Extension，并增加了 Torch-MUSA 专有特性如 compare_tool、musa_converter，帮助用户更快的定位模型精度问题。

v1.3.0：支持 PyTorch 2.2.0，性能进一步提升，支持 FSDP，支持更复杂的模型和更大规模的数据处理。

Torch-MUSA 将继续跟进 PyTorch 的版本更新，计划支持更高版本的 PyTorch。