研究生吧 关注:471,990贴子:7,270,220
  • 0回复贴,共1

基于资源高效混合管道并行的异构边缘设备协同DNN训练

只看楼主收藏回复

设备上深度神经网络(DNN)训练已被认为是边缘保护隐私的机器学习的关键。然而,密集的训练工作量和有限的机载计算资源对模型训练的可用性和效率提出了重大挑战。虽然现有的工作通过本地资源管理优化来解决这些挑战,但我们通过观察,即边缘环境通常包含一组丰富的随附可信边缘设备,这些设备具有超出单个终端的空闲资源。为此,我们提出了一个分布式边缘训练系统Asteroid,它打破了异构边缘设备之间的资源墙,从而实现了高效的模型训练加速。Asteroid采用混合管道并行来编排分布式训练,并在一定资源约束下进行明智的并行规划以最大化吞吐量。此外,开发了一种容错且轻量级的管道重放机制来驯服设备级动态,以训练鲁棒性和性能稳定性。我们使用视觉和语言模型在异构边缘设备上实现了Asteroid,通过评估表明,其训练速度比传统并行方法快12.2倍,比最先进的混合并行方法快2.1倍。此外,Asteroid可以恢复训练管道比基线方法快14倍,同时保持相当的吞吐量,尽管意外的设备退出和故障。#硕士毕业论文##盲审##边缘计算#


IP属地:广西来自Android客户端1楼2024-07-06 14:08回复