AI顶会ICLR找来论坛和推特网友当论文评审这样真的靠谱？

　　随着人工智能顶会论文数量的增长，本科生评审也已经无法满足大会需求了，一些会议组织者最近产生了「大胆的想法」。本文中，来自卡耐基梅隆大学（CMU）的助理教授 Zachary C. Lipton 对此事发表了评论。

　　近年来，大会接收的论文数量直线上升，但经验丰富的研究人员却没有明显增长。一些机器学习大会陷入困境，不得不选择扩充同行评审队伍，以应对论文的大幅增长。

　　由于每个教授和高年级研究生、博士生的评审工作量都已接近饱和，大会组织者们极富创意地在「不太可能」的地方找到了评审者。

　　ICLR 的项目主席拒绝透露他们寻找未被发现的评审人才的策略，怕这些商业机密被对手 NeurIPS 和 ICML 利用。幸运的是，在匿名前提下，几个职位较低的 ICLR 工作人员同意透露他们利用的一些非常规渠道。

　　9. 与优达学城合作，将 ICLR 大会论文评审作为深度学习入门课程的一个项目

　　有这么多新的评审员，看到一些不同寻常的评审意见也就不足为奇了。这些意见有的很短，有些则很奇怪……感受一下里面的网络语言（「imho, srs paper 4 real」）……还有些评审意见挑战社区成员具备的共同知识（如「who are you to say this matrix is degenerate?」）

　　然而，如果不仔细看，有人可能觉得这些给出意见的人不够格，掩盖了一批新评审员为应对评审工作所做的努力。我之所以知道这一点，是因为许多新的评审员都是《Approximately Correct》的热心读者，在过去的几周里，我的邮箱里充斥着善意的新评审员们提出的严肃问题。

　　如果以前当过老师，你就会发现他们的问题中有很多是重叠的。因此，虽然通常我们不会在《Approximately Correct》上发布 QA 类型的文章，但此次破例似乎倒也说得过去。我汇编了几个问题作为例子，并在一篇名为「Is This a Paper Review？」的问答文章中提供了简洁的答案。以下是部分问答内容：

　　我被分配来评审一篇论文。我读了摘要，形成了与该论文主题相关的见解。然后写了一段话来表达我的见解，以及与一位匿名评审就一个无关的话题展开讨论。这是 Hacker News 上的标准做法，我在上面获得了 2000 多个支持，这些支持成为了我为 ICLR 进行评审的资格基础。这算论文评审吗？

　　我阅读过一篇关于梯度下降收敛的论文。文中所说的「limit」我没看明白，所以直接跳到了论文后面，然后我发现他们没在 ImageNet 上做任何实验。我写了一个「一句话（one-line）」评论，标题上写着类似「这是什么鬼」这种，正文写了「没在 ImageNet 上做实验」。这算是论文评审吗？

　　我根据曾经的 ICLR 评审训练了一个 LSTM，然后在 softmax temperature 设定为 0.01 的情况下运行它。输出显示「不新颖」。我把这一点加在了 OpenReview 中。这算是论文评审吗？

　　评审这篇论文的时候，我发现它与我 1987 年的一个概念有某种相似之处。虽然我很喜欢这个概念（你尽可以想象），但我给它打了一个中等的分数。我给的评论意见中，有一半是关于技术研究的固定讨论，另一半专门用来列举我自己关于这个概念的论文，并要求作者引用它们。这算是论文评审吗？

　　AC：听起来像一个糟糕的论文评审。不过如果你把评分提高到不带感情的程度，并指出那篇论文与你自己论文的相似之处，然后给元评审（metareviewer）发一个提示，指出其中小小的利益冲突，这就是一个不错的评审了。

　　我阅读了论文。在前两页出现了 10 个数学错误，其中的一些导致整篇论文都不正确。于是我停止阅读论文以节省时间，并撰写了一篇简短的评审意见指出错误，我写道：「该论文不适合在 ICLR 上发表。」这是一篇论文评审吗？

　　AC：虽然通常来讲，这么短的评审意见并不合适，但这篇明显例外。意见写得非常好！

　　11 月初，ICLR 2019 的论文评审结果出炉，评审们已经在论文的 openreview 页面公布了他们的评论和分数。本届大会共接收到了 1591 篇论文投稿，相比去年的 996 篇增长了 60%。在 11 月 5 日到 11 月 21 日期间，论文作者可以对评审人的评论进行回复、修改论文。

　　在社交网络上，已有论文作者对评审的给分提出了质疑。扩大评审队伍的效果究竟如何，看来还有待观察。

　　声明：该文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。

• 上一篇：沪严控硕士出口关：论文答辩前不盲检学位授予后重抽检
• 下一篇：研究生论文致谢范文