ICLR 的十大好论文：LeCun榜上有名 Yoshua连中两枪 ICLR 20

　　原因：这篇是其中最新颖的论文之一，展示了如何逐步增长神经网络。这篇论文之所以重要的原因是它展示了一个网络是如何通过使用转移学习和域名适应来成长的。目前还没有很多论文探讨这方面。

　　原因：这是另一篇关于自然语言处理的论文，令人惊讶的是被拒原因是因为作者都是明星研究者。这是大会上的第一篇探讨了内存层次结构的概念的论文，而目前大多数内存增强网络趋向于没有层次的内存结构。我认为，这篇论文不应该被这样轻易地错失掉。

　　原因：这是一篇突破性研究论文，而评论者却不确信这是一个突破性研究。我想没有给评论者留下深刻印象估计和RL命名习惯有关。关于元学习的任何东西都应该卖的很火。但这篇论文，尽管有优秀的作者，却还是被猛烈，真是想不到。

　　原因：我喜欢这篇论文是因为它在关于如何利用残差或跳过（skip）链接给了一些深刻见解的经验。是2016年度最火的创新，并且一些人在解构技术上做了一些尝试。其中一个说在文中使用了简化模型。这个当然是的。你难道不想用一个简化模型去描述另一个复杂系统吗？

　　原因：这是另一篇被拒的关于自然语言处理的论文。融合了知识库和深度学习应该算是一个非常大的创新。但这篇论文被驳回却是因为缺乏新颖性。最主要的不满竟然是写作风格。真是太不幸了！

　　原因：我是第二遍看被拒论文名单才注意到这篇论文。我在这方面有点偏执，总是寻找领域适应和转移学习这方面的研究。这篇论文有非常好的想法，但还是被拒。

　　原因：我是这篇论文的忠诚粉丝，看到了全息模型，不幸的是，评论家们对此持高怀疑态度，最终没能通过。

　　原因：基础理论研究和实验性论文是有利于深度学习研究的点金术。如果它们被扔到一边，恐怕研究就要搞砸了。

　　原因：这是故意向这些有名的作者脸上扔鸡蛋吗？我猜是基本实验数据不够吸引人才导致不通过。评语写的是：很有趣的实验数据，但是没有理论基础。说它完全是不切实际的期望。

　　原因：在我的另一篇文章中，我谈到了关于随机梯度下降作为一种隐式的正则化方法的另一个。遗憾的是我只放了一个本文的超链接。但真正令我惊讶的是，这些挖掘出了令人印象非常深刻的数据的研究者们却什么也没有得到，只有论文被拒的羞辱。

　　作者在文中最后表达出了他的看法和担心。他认为对研究深度学习的性质的实验研究实在是太少了。研究者们通常使用简化模型来执行易处理的分析。不过，如果只期望实验结果足够有价值，能给出一个机器是如何表现的描述，而不期望获得一个强大的理论，那也不行。在没有这类研究的情况下，我们大多数是在中摸索前进。同时担心目前的研究对深度学习研究者很不利。因为这个领域发展的太快，而很多评论者的世界观还没有和最新研究联系起来，导致很多具有突破性的研究论文被埋没。

　　雷锋网小结：不知大家看到这么多优秀论文被拒是什么心情，至少雷锋网编辑觉得是相当。不过，身经百战的科研人员在无数次的中想必已经练就了强大的心理素质，再战下一次会议又有何难？