微软、浙大等研究者提出剪枝框架OTO,无需微调可获得轻量级架构( 二 )


微软、浙大等研究者提出剪枝框架OTO,无需微调可获得轻量级架构
文章图片

文章图片
表 1:CIFAR10 中的 VGG16 及 VGG16-BN 模型表现 。
在 CIFAR10 的 VGG16 实验中 , OTO 将浮点数减少了 83.7% , 将参数量减少了 97.5% , 性能表现令人印象深刻 。
在 CIFAR10 的 ResNet50 实验中 , OTO 在没有量化的情况下优于 SOTA 神经网络压缩框架 AMC 和 ANNC , 仅使用了 12.8% 的 FLOPs 和 8.8% 的参数 。
微软、浙大等研究者提出剪枝框架OTO,无需微调可获得轻量级架构
文章图片

文章图片
表 2:CIFAR10 的 ResNet50 实验 。
在 ResNet50 的 ImageNet 实验中 , OTO 减少了 64.5% 的参数 , 实现了 65.5% 的浮点数减少 , 与 baseline 的 Top-1/5 精度相比只有 1.4%/0.8% 的差距。
微软、浙大等研究者提出剪枝框架OTO,无需微调可获得轻量级架构
文章图片

文章图片
表 3:ResNet50 的 ImageNet 。
总体而言 , OTO 在所有的压缩基准实验中获得了 SOTA 结果 , 展现了模型的巨大潜力 。研究者表示 , 未来的研究将关注合并量化和各种任务的应用上 。
来源:机器之心Pro