routerz-loss模型的重要性( 二 ) 稀疏模型在深度学习领域发挥

接下来，他们研究了即将进入router的logit上的约束。router以float32计算专家的概率分布。然而，研究者发现，在最大的规模下，这不足以带来可靠的训练结果。为了解决这个问题，他们引入了routerz-loss ，
其中， B是token的数目， N是专家数， x∈RB×N是将要进入router的logit 。
下表4显示，在三次运行中， updateclipping和routerz-loss都稳定了模型，但是updateclipping严重影响了模型的质量。因此，研究者使用z-loss方法来固定模型稳定性。

文章图片

文章图片

routerz-loss引入了另一个超参数(c_z) ，这是一个加权系数，作为优化的总损失的一部分。总损失是交叉熵损失(crossentropyloss,L_CE)、辅助负载平衡损失(auxiliaryloadbalanceloss,L_B)和routerz-loss(L_Z)的线性加权组合。

文章图片

文章图片

基于用超参数扫描进行预训练后的最佳模型质量，研究者选择c_z=0.001的值。附录B记录了预训练过程中的损失。