近日，阿里云人工智能平台PAI正式发布自研的 DeepRec Extension（即 DeepRec 扩展），旨在以更低成本，更高效率进行稀疏模型的分布式训练。DeepRec Extension 在 DeepRec 训练推理框架之上，围绕大规模稀疏模型分布式训练，创新性地从训练任务的视角提出了自动弹性训练和分布式容错功能，进一步提升稀疏模型训练的整体效率，助力 DeepRec 引擎在稀疏场景中发挥更大的优势。
DeepRec Extension 有效地解决了企业级场景大规模稀疏模型训练中的难点。随着业务发展，模型尺寸增长到百 GB / TB 量级，分布式训练往往会遇到分布式建模接口复杂、资源预估困难且无法弹性、分布式容错机制过于简单和分布式环境复杂等问题，阻碍大尺寸模型高效、稳定地完成训练。DeepRec Extension 提供易用、高效、高性价比的框架，使得模型能够便捷地在分布式环境中运行，切实解决上述问题。
DeepRec Extension 设计思路及整体架构
DeepRec Extension 推出分布式训练资源预估、自动弹性训练、资源/计算图监控、自动备份容错等功能，有效降低了大规模稀疏模型训练的技术门槛和成本，同时提升了分布式训练的效率和稳定性。DeepRec Extension 简化分布式训练的工作流程，保障用户聚焦于模型的构建阶段，更加专注于模型本身的创新与优化，无需关注繁琐的底层架构配置。在性能提升方面，资源预估以及自动弹性训练为用户节约 20% ~ 60% 资源，在稳定性方面，PS 发生异常后，模型 E2E 训练吞吐提升 10%。
一直以来，大规模稀疏模型分布式训练是备受关注的话题，阿里云人工智能平台PAI正式将 DeepRec Extension 开源，与AI开发者共同打造更快更好的分布式训练框架，全面助力AI大模型发展！
开源地址：https://github.com/DeepRec-AI/extension
免责声明
本站转载的文章，版权归原作者所有；旨在传递信息，不代表本站的观点和立场。不对内容真实性负责，仅供用户参考之用，不构成任何投资、使用等行为的建议。如果发现有问题，请联系我们处理。
本站提供的草稿箱预览链接仅用于内容创作者内部测试及协作沟通，不构成正式发布内容。预览链接包含的图文、数据等内容均为未定稿版本，可能存在错误、遗漏或临时性修改，用户不得将其作为决策依据或对外传播。
因预览链接内容不准确、失效或第三方不当使用导致的直接或间接损失（包括但不限于数据错误、商业风险、法律纠纷等），本网站不承担赔偿责任。用户通过预览链接访问第三方资源（如嵌入的图片、外链等），需自行承担相关风险，本网站不对其安全性、合法性负责。
禁止将预览链接用于商业推广、侵权传播或违反公序良俗的行为，违者需自行承担法律责任。如发现预览链接内容涉及侵权或违规，用户应立即停止使用并通过网站指定渠道提交删除请求。
本声明受中华人民共和国法律管辖，争议解决以本网站所在地法院为管辖法院。本网站保留修改免责声明的权利，修改后的声明将同步更新至预览链接页面，用户继续使用即视为接受新条款。
