sota 别再SOTA了，那叫“微调”！Science发文炮轰论文灌水

雷锦来自奥菲寺

量子报告| QbitAI，微信官方账号

AI算法的发展真的有那么快吗？

为了找到答案，麻省理工学院的研究人员对81种人工智能算法进行了交叉测试，结果令人惊讶:

没有明确的证据表明这些算法在10年内显著提高了任务效果。

针对类似的问题，《科学》杂志最近发布了一份文件，称:

人工智能在某些领域的进步是显著的，但不是真正的进步。

这到底是怎么回事？

“这是微调，不是核心创新”

麻省理工学院的研究人员交叉测试了81种修剪算法。

简单来说，这种算法就是对神经网络的连接进行“修剪和切割”，从而提高效率。

然而，这种算法的发展现状，正如《科学》的作者马修·赫德森所说:

在此基础上，许多研究人员进行了一些“微调”，然后声称他们的算法有优势。

因此，麻省理工学院的研究人员对这些算法进行了元分析，并提出了一个框架——收缩基准，以促进修剪算法的标准化评估。

真正好的算法需要经得起考验，那么结果是什么呢？

第一轮测试:修剪vs架构

基于ImageNet，研究人员绘制了剪枝后模型的精度和压缩/加速级别，以及不剪枝时不同架构的相同指标。结果如下图所示。

不难看出，修剪给定的架构可以改善时间/空和准确性之间的权衡，有时还可以提高准确性。

但是修剪的效果通常不如换架构。

第二轮测试:比较“对等”算法

之所以考虑这个维度，是因为研究者发现很多工作高举“SOTA”的旗帜，但比较的对象并不完整。

很明显，与2010年之前提出的算法相比，甚至与其他称为SOTA的算法相比，都缺乏可比性，如下图所示。

第三个测试:数据集和架构的结合

在81篇论文中，ImageNet和VGG-16的组合最为常见，在前6个最常见的组合中，有3篇涉及MNIST。

然而，MNIST与其他主流图像分类数据集有很大不同:它的图像是灰色的，并且大部分由零组成。模型简单，准确率可达99%以上。

第四轮测试:测量指标

测量指标多种多样，就不说什么了，直接上图。

当然还有数据预处理、参数调整策略等一系列问题，会导致不同的结果。

研究人员之一戴维斯·布莱克说:

这些改进被称为“微调”，而不是研究人员声称的“核心创新”，甚至有些改进方法可能根本不存在。

因此，麻省理工学院的研究人员开发了一种便于开发和标准化的修剪方法来评估神经网络。

ShrinkBench提供标准化、可扩展的功能，可用于训练、剪枝、微调、计算度量和绘图，都使用标准化的预训练模型和数据集。

正如另一位作者约翰·古塔格所说:

如果你不能衡量一件事，就很难让它顺利进行。

好了，现在要想在剪枝算法上有一点进步，可能没那么容易。

《科学》发表了一篇关于脱壳水的论文

最近，Science还发表了一篇关于“水论文”的文章，认为人工智能领域很多分支的发展是不稳定的:

2019年，对搜索引擎中使用的信息检索算法进行的一项元分析，得出了一个“高水位线” ，然而，它早在2009年就有了；同样是2019年，另外一项研究复现了7个神经网络推荐系统，结果，其中6个系统的表现，还没有多年前开发的更简单的非神经网络算法好；今年2月，卡内基梅隆大学的计算机科学家Zico Kolter在arXiv发表论文，他发现早期的对抗训练方法PGD，只需要用简单的小技巧增强一下，就能达到目前所谓更新、更复杂方法的效果；今年3月，康奈尔大学的计算机科学家Kevin Musgrave，在arXiv上发表了一篇论文研究了损失函数，在一项涉及图像检索的任务中，他对其中十几个算法进行了平等的比较，结果发现，与这些科研工作者的说辞恰巧相反，自2006年以来，准确率就没有提高过。

正如马斯格雷夫所说:

一直有一波炒作。

另一方面，那些经久不衰的算法，如LSTM，自1997年提出以来，在语言翻译方面取得了巨大的突破。

如果LSTM训练得当，它的性能将与20年后的算法相当。

同样，2014年提出的GAN极大地提高了图像生成能力。根据2018年的一份报告，只要有足够的计算量，原来的GAN方法是可以和后来的方法相比的。

对此，科特认为，研究人员应该热衷于创造一种新算法，让这种新算法能够达到SOTA效应，而不是对现有算法进行调整。

那么，这篇论文灌水背后的原因是什么呢？

其中一个因素是麻省理工学院研究人员指出的评价标准问题——不同的数据集，不同的调整方法，不同的绩效指标和基线，所以这种比较是不可行的。

另一个原因是AI领域的爆炸式增长。论文数量远远超过有经验的审稿人。审稿人要坚持合理科学的基准，做更好的比较。

比纸灌更可怕的是欺诈

以为这是唯一的学术乱象？

不，还有“假风”。

5月20日，国外网友曝光了一起学术造假事件:

发表了八篇文章，不同作者，不同医院，不同癌症类型，不同蛋白质表达，结果都一样。

UAB医学院糖尿病中心博士后研究员、营养学博士，微博网友“陈光我们”说:

看到这种丧心病狂的骗局，真让人窒息。

然而，更令人难过的是，这篇论文的所有作者都来自中国...

而且根据文章署名，国家自然科学基金资助的项目很多，从一线医生到首席副主任医师、医院副院长。

做这样的假货不容易。

网友也表示:

它突破了我对学术造假的所有认识。

无独有偶，南京邮电大学的一位教授不久前在知乎曝光，三年半时间发表了300篇IEEE论文，一度成为热门话题。

他的弟子“黄”伪造论文，冒充北大学生，也在热搜中。

……

如何看待这样的学术乱象？

门户:

ShrinkBench项目地址:

https://github.com/jjgo/shrinkbench

ShrinkBench纸张地址:

https://arxiv.org/abs/2003.03033

参考链接:

-结束-

特殊优势|一站式音频和视频解决方案

想赶上电商直播，在线教育，小节目直播？腾讯云音视频解决方案帮你！

腾讯云推出9.9元产品体验包，包括云点播、云直播、实时音视频，总有一款适合你。识别二维码体验:

量子比特qbitai标题号签名作者

跟踪人工智能技术和产品的新发展

喜欢就点击“看”！