巧了,上周末在Reddit的机器学习版块就有一个相关的热门话题:
“What are the must read papers for a beginner in the field of Machine Learning and Artificial Intelligence?”
机器学习&人工智能领域有哪些新手必读论文?
大家在这个问题底下也是讨论的热火朝天,纷纷分享自己看过的比较适合新手的论文,咱们一起来看看都有哪些:
这篇论文不仅简单易懂,而且也不难实现,文中还提出了一些新颖的理论。
地址:https://arxiv.org/abs/1806.05236
这篇论文是剖析 CNN 领域的经典之作,也是入门 CNN 的必读论文。作者训练了一个面向数量为 1.2 百万的高分辨率的图像数据集 ImageNet, 图像的种类为 1000 种的深度卷积神经网络。
地址:
https:// adeshpande3.github.io/T he-9-Deep-Learning-Papers-You-Need-To-Know-About.html
每篇论文都讲述了一种神经网络,分别代表了深度学习领域的经典模型和重要进展,比如 AlexNet,ZF Net,VGG Net 等。
这篇论文的作者是大名鼎鼎的随机森林算法发明者 Leo Breiman。该论文发表于 2001 年,
LeoBreiman 指出了当时出现在统计学中的另外一种文化,以及代表这种文化的两种模型:
随机森林和 svm。他同时还指出了这两个模型颠覆了人们对于模型多样性,模型复杂性-预
测准确率矛盾和维度灾难的传统认知,认为我们应该拥抱新文化,新模型。
Leo Breiman 在论文中讲解了多种常见的机器学习算法,比如随机森林、SVM 和逻辑回归等。
地址:
https:// projecteuclid.org/eucli d.ss/1009213726
此外,在 Quora 上也有一个类似问题,底下一些机器学习大牛推荐了不少值得阅读的论文:
华盛顿大学机器学习大牛 Pedro Domingos 写的一篇论文,被奉为机器学习领域的经典入门
论文。Pedro 在论文中强调了几个机器学习领域一些书上学不到的重要常识,还有一些需要
特别注意的地方。阅读这篇论文能帮助你在开发机器学习项目中避开一些弯路。
地址:
https:// homes.cs.washington.edu /~pedrod/papers/cacm12.pdf
这篇论文详细讲解了机器学习中的数据准备和预处理方法,教你高效为机器学习模型准备干净的数据。
地址:
http:// vita.had.co.nz/papers/t idy-data.pdf
本论文提出了著名的 NFL 理论,即“没有免费的午餐理论”。该理论用于比较两种优化算法之间的关系,即如何确定一种算法比另外一种算法好。这对于我们选择机器学习算法具有重要的指导意义。
地址:
https:// ti.arc.nasa.gov/m/profi le/dhw/papers/78.pdf
基于梯度的优化方法在机器学习应用中非常普遍,本篇论文比较了 4 种基于梯度的优化方法的性能。阅读该论文能够基本了解这几种机器学习优化方法。
地址:
https://www. maths.ed.ac.uk/~prichta r/papers/Papamakarios.pdf
具有大量参数的深度神经网络是十分强大的机器学习系统,然而过拟合始终是此类神经网络面临的一个大问题。本论文提出了用于解决机器学习过拟合问题的经典方法—— Dropout。
地址:
https://www. cs.toronto.edu/~hinton/ absps/JMLRdropout.pdf
在 GitHub 有个项目专门收集了深度学习领域的论文,如果有时间可以看看:
https:// github.com/terryum/awes ome-deep-learning-papers
对于看论文这项工作,在前文提到的那个 Reddit 话题下,有位网友的观点得到很多人赞同:
在进入一个新领域时,最好先从调查论文和报告着手(更好的当然是看书),而不是单独看专业性论文。如果你对机器学习领域完全是个菜鸟,一定要先看经典的人工智能书籍,比如 Ian Goodfellow 等人写的《深度学习》、Norvig 等人写的《人工智能》。如果没有牢固的基础知识,直接看单篇论文是极其困难的,因为它们通常将大量知识浓缩在寥寥数页里,并没有包含你读懂论文需要掌握的背景知识。就我个人经验而言,看这些论文时,看懂每一段平均要花半小时。然后还需要看大量的参考资料,读起来非常慢。所以,要想从论文中高效获得知识,建议首先选一个你感兴趣的大的话题领域,然后阅读该领域的书籍和调查论文,然后再阅读更具体领域的专业论文。
这篇介绍深度学习论文阅读路线图的回答,可能还对你有用:
参考资料:
https://www. quora.com/What-are-some -must-read-papers-on-machine-learning-for-a-beginner
https://www. reddit.com/r/MachineLea rning/comments/a21d0q/what_are_the_must_read_papers_for_a_beginner_in/