连通系统与机器学习的 MLOps 挑战在哪？这篇文章讲清楚了( 三 ) 机器之心报道编辑：杜伟机器

但是请注意，反向传播通过相反的顺序复用这些阶段。这意味着：在前向 pipeline 完全畅通之前，反向传播无法启动。即便如此，这种技术可以将模型并行训练加速至一个很好的水平，在 8 个 GPU 时速度提升 5 倍。
Hydra 则采用了另外一种方法，它将可扩展性和并行性分割为两个不同的步骤。数据库管理系统中的一个常见概念是溢出（spilling），多余数据被发送至内存层级结构的较低层次。Hydra 充分利用模型并行中的序列计算，并观察到不活跃的模型分区不需要在 CPU 上处理。相反， Hydra 将不需要的数据溢出至 DRAM ，在 GPU 上间断性地切换模型分区，以模拟传统的模型并行执行。

文章图片

文章图片
Hydra 的模型溢出技术将深度学习训练的成本转移至 DRAM 而不是 GPU 内存，同时保持了 GPU 执行的加速优势。
这样一来，一次只使用一个 GPU 就可以训练模型。因此，在顶端引入一定程度的任务并行性很简单。每个模型，无论它的大小如何，一次只需要一个 GPU ，这样系统可以充分利用每个 GPU 。在 8 个 GPU 时可以实现 7.4 倍以上的近乎最优加速。
但是，模型并行只是系统研究为模型训练所能带来的开始，其他有潜力的贡献包括数据并行（如 PyTorch DDP）、模型选择（如 Cerebro 或模型选择管理系统）、分布式执行框架（Spark 或 Ray）等。模型训练是系统研究优化的成熟领域。
模型服务
归根结底，构建机器学习模型最终是为了使用。模型服务与预测是最重要的机器学习实践领域之一，也是系统研究产生最大影响的领域之一。
预测可以划分为两个主要设置：离线部署和在线部署：离线部署相对更加直接，它涉及到单一的、不定期运行的大批量预测工作。常见的设置包含商业智能、保险评估和医疗健康分析；在线部署属于网络应用，如果用户想要自己的查询得到快速响应，则需要快速、低延迟的预测。
离线部署和在线部署具有各自的需求和要求。通常来说，离线部署需要高通量的训练过程以快速浏览大量的示例，在线部署在单一预测上需要极快的周转时间，而不是一次进行多个预测。
系统研究已经重新塑造了处理离线和在线部署任务的方式。以加州大学圣地亚哥分校的研究者在论文《 Incremental and Approximate Computations for Accelerating Deep CNN Inference 》中提出的 Krypton 工具为例，它将视频分析重新视作一项「多查询优化任务（multi-query optimization, MQO）」任务。
MQO 不是一个新的领域，它是数十年来关系数据库设计的一部分。总体思路很简单：不同的查询可能共享相关组件，然后可以保存和复用这些组件。Krypton 工具观察到， CNN 推理通常是在批量相关图像上完成，比如在视频分析中。
一般来说，视频是以高帧率生成，这样一来，相邻帧往往相对一致。帧 1 中的大部分信息依然出现在帧 2 中。这种情况与 MQO 明显相同，即一系列任务之间共享信息。
Krypton 在第一帧上运行常规推理，然后具象或保存 CNN 在预测过程中产生的中间数据。随后的图像与第一帧进行比较以确定图像中的哪些 patch 产生的变化足以值得重新计算。一旦确定了 patch ， Krypton 通过 CNN 计算 patch 的「变化域」，以确定模型整个状态中哪些神经元输出发生了变化。这些神经元会根据变化的数据重新运行，其余的数据只需要从基础帧中复用即可。
结果就是在推理负载上实现 4 倍以上的端到端加速，并且过期数据只有很小的准确率损失。这种运行时改进对于安全录像视频分析等长时间运行的流媒体应用来说至关重要。