神译局是怎么做到的?( 四 )
与此同时 , Knyazev认为还有很多的改进机会 。比方说 , GHN-2只能训练来预测参数 , 去解决给定的任务 , 比如对CIFAR-10或ImageNet里面的图像进行分类 , 但不能同时执行不同的任务 。将来 , 他设想可以用更加多样化的结果以及不同类型的任务(如图像识别、语音识别与自然语言处理)来训练图超网络 。然后同时根据目标结构与手头的特定任务来做出预测 。
如果这些超网络确实能成功的话 , 那么新的深度神经网络的设计和开发 , 将不再是有钱和能够访问大数据的公司的专利了 。任何人都可以参与其中 。Knyazev非常清楚这种“让深度学习大众化”的潜力 , 称之为长期愿景 。
然而 , 如果像GHN-2这样的超网络真的成为优化神经网络的标准方法 , Veli?kovi?强调了一个潜在的大问题 。他说 , 对于图超网络 , “你有一个神经网络——本质上是一个黑盒子——预测另一个神经网络的参数 。所以当它出错时 , 你无法解释[它] 。”
不过 , Veli?kovi?强调 , 如果类似GHN-2这样的超网络真的成为优化神经网络的标准方法的话 , 可能会有一个大问题 。他说:“你会得到一个基本上是个黑箱的神经网络 , 然后再用图超网络去预测另一个神经网络的参数 。如果它出错 , 你没法解释错在哪里 。”
当然 , 神经网络基本上也是这样 。Veli?kovi?说:“我不会说这是弱点 , 我把这叫做告警信号 。”
不过Kipf看到的却是一线希望 。“让我最为兴奋的是其他东西 。”GHN-2展示了图神经网络在复杂数据当中寻找模式的能力 。
通常 , 深度神经网络是在图像、文本或音频信号里面寻找模式 , 这类信息一般都比较结构化 。但GHN-2却是在完全随机的神经网络结构图里面寻找模式 。而图是非常复杂的数据 。
还有 , GHN-2可以泛化——这意味着它可以对未知、甚至不在分布范围内的网络结构的参数做出合理的预测 。Kipf说:“这项工作向我们表明 , 不同结构的很多模式其实多少是优点相似的 , 而且模型能学习如何将知识从一种结构转移到另一种结构 , 这可能会启发神经网络新理论的诞生 。”
如果是这样的话 , 它可能会让我们对这些黑箱有新的、更深入的理解 。
译者:boxi 。
- 不是“雨神”胜似“雨神”
- 无悔华夏崇国兵种怎么样(无悔华夏崇国兵种及特有卡牌一览)
- 无悔华夏孟国兵种怎么样(无悔华夏孟国兵种及特有卡牌一览)
- 无悔华夏夏国兵种怎么样(无悔华夏夏国兵种及特有卡牌一览)
- 无悔华夏荆楚兵种怎么样(无悔华夏荆楚兵种及特有卡牌一览)
- 无悔华夏鬼方兵种怎么样(无悔华夏鬼方兵种及特有卡牌一览)
- 无悔华夏莱夷兵种怎么样(无悔华夏莱夷兵种及特有卡牌一览)
- 无悔华夏蜀国怎么玩(无悔华夏蜀国发展技巧)
- 无悔华夏建木神树怎么升级(无悔华夏建木神树等级提升攻略)
- 无悔华夏城市特殊资源怎么获得(无悔华夏城市特殊资源获取途径)