如何读论文继续深度学习的学习之路

当你上完了在线课程看完了书之后,怎么继续你的深度学习的学习之路呢?

作者:Nityesh Agarwal

编译:ronghuaiyang

导读

很多同学在读研,读博,也有很多已经工作了,读研读博的不用说了,看论文就和吃饭一样,工作了的呢?在AI这个领域,不看论文就意味着落后,有人说,可以等别人看了以后,解读出来我再看啊,一来已经迟了,二来别人的理解始终是别人的,自己悟出来的东西,才真正是自己的。所以说,还是自己看论文吧,不过看之前,先看看这篇文章,说不定有点收获。

当你上完了在线课程看完了书之后,怎么继续你的深度学习的学习之路呢?你怎样才能变得自我满足呢,这样你可以不用依赖其他人在这个领域进行的解读。

——读论文

论文看吐了没有?教你读论文:为什么读以及如何读

我不是一个深度学习专家。我也是刚开始读论文,本文中,我会把我读论文时发现有用的东西全都写下来。


为什么要读论文

Quora上对这个问题的答案,问看看一个人是否具有机器学习职业能力的资质,吴恩达说,所有人都有这个资质。他说,你学完了几个机器学习相关的课程,“为了更进一步,读一些论文,再进一步,复现论文中的结果。”

Dario Amodei (OpenAI的研究员)说,“看看你是否适合做AI或者机器学习,试着去快速的实现大量的模型,找一个最近论文中的机器学习模型,实现它,尽快让这个模型能工作。”

这些建议说明读论文领域里对未来的理解是非常重要的。

每个月都有几百篇论文发布,如果你真的想在这个领域里认真学习的话,只是读一些指南性质的论文,或者依赖其他人对于最新的研究做出的解读,是远远不够的。最新的,突破新的研究在你读这些文章的时候,以及发生了。研究的步伐从未如此之快,只有一个方法可以跟上这个步伐,那就是文章一发布出来,就去读它。

在这篇文章中,我会试着给你一些具有可行性的建议,如何开始自己读论文。最后,我会尝试解读一篇实际的论文,这样你会明白我在说什么。

如何读论文

重要的事情说在前面,读研究论文很难。实际上—

“没什么事能让你感觉自己是个白痴,除非你在读科学期刊的论文。”

论文看吐了没有?教你读论文:为什么读以及如何读

我只是事先打个预防针,这样你看不懂论文的时候,也不会感觉太差劲。你刚开始读的几遍是不太可能理解的,所以说,要有耐心,再读一遍。

现在,我们来说说几个重要的资源,可以帮助你开始阅读生涯…

arXiv.org

这就像是网络中的一个地方,研究人员在将论文正式发表在科学杂志或者会议之前,先发布出来放着。

为什么要这么做呢?

做研究的时候,写论文并不是结束。论文从投递到发表到某个期刊上是一个非常长的过程。一篇论文投到一个期刊上,审核的过程是非常慢的,现在,对于机器学习这种快速发展的领域,是非常不合适的。

这就是为什么,arXiv。

研究人员将论文发布在arXiv之类的预印本仓库上,进行快速的传播,获取快速的反馈。

Arxiv Sanity Preserver

好,允许研究人员方便的预发布他们的研究论文是很好。但是读这些论文的人呢?如果你上arXiv的网站,你会被吓到的。这绝对不是一个给新人准备的好地方(只是个人建议,很欢迎你去试试)。

进入,Arxiv Sanity Preserver。

论文看吐了没有?教你读论文:为什么读以及如何读

由Andrej Karpathy创立

Arxiv Sanity对于arXiv,就像是头条中的内容推送,从海量的内容中,让你看到最有趣的内容,个人喜欢的内容。就像 Arxiv Sanity推送给你机器学习领域发布在arXiv上的内容。可以让你基于趋势,基于你过去喜欢的,以及你关注的人喜欢的进行排序。(就像是社交媒体中个人推荐用到的特征,你懂得)。

Machine Learning- WAYR在Reddit上的帖子

WAYR是What Are You Reading的缩写,这是一个在subreddit Machine Learning上的帖子,人们在上面发布当前这周的机器学习的论文,讨论他们感兴趣的地方。

就像我说过的,机器学习领域论文每周发布的数量是非常大的。这意味着不可能靠一个人完全读完,你还要去工作,去上学。同时,也不是所有的论文都值的一读。

因此,你需要把你的精力投入到读那些最有价值的论文上面,我上面提到的帖子就是干这个的。

Newsletters,Newsletters,Newsletters,重要的事情说三遍!(国内估计就是公众号了吧)

Newsletters是我个人最好的保持AI领域最新进展的来源。你可以简单的订阅一下,然后每周一免费的发送到你的邮箱。这样一来,你可以知道和AI相关的最有趣的信息,文章和研究论文。

下面是我订阅的一些Newsletters(不知道国内能不能订阅,我先列一下吧):

  • Import AI by Jack Clark这个是我最喜欢的,除了提供所有的AI信息之外,还有一项功能叫做“技术故事”,这部分包含了最新的AI相关基于上周的简短的科幻故事。
  • Machine Learnings by Sam DeBrule他也维护了一个同名的medium的发布,包含了一些真正有趣的文章,也可以看看。
  • Nathan.ai by Nathan Benaich上面两个newsletters是每周的,这是一个季刊,所以,你会每三个月拿到一个很长的email,总结了过去三个月的最有趣的发展。
  • The Wild Week in AI by Denny Britz我非常喜欢这个,因为这个非常简洁,看起来就像过去两个月都没有更新过一样,不管怎样,我还是提一下,以防Denny重新开始推送邮件了。

Twitter上的AI人(对应国内的微博)

反正国内也上不了Twitter,我就不列了,总之就是几个大牛的Twitter,随便说几个名字吧:Yann LeCun,Michael Nielsen,Andrej Karpathy,Ian Goodfellow,Jeff Dean。

“有这么多好东西,我怎么开始呢”

对的,这才是最需要关心的。

好了,首先确定一下,你理解了最基础的机器学习,比如线性回归之类的算法,还有基础的深度学习,神经网络,反向传播,正则化和一点比基础稍微高一点的,比如CNN,RNN和LSTM。我真的不认为最好的了解基础的方法是读科研论文,有大量的其他的资源可以参考。

一旦你完成了这个,你可以开始读论文了,最早介绍这些概念的论文。这样的话,你可以聚焦于养成看科研论文的习惯。你不用太关心你是不是真正理解了你看的第一篇论文,因为你已经了解这些概念了。

我推荐你从AlexNet论文开始。

为什么选这篇论文?

看看这个图:

论文看吐了没有?教你读论文:为什么读以及如何读

看到了吗,计算机视觉和模式识别的曲线,在2012年一下子就崛起了,很大程度上就因为这篇论文!!!

这篇论文重新燃起了深度学习的热潮。

作者是Alex Krizhevsky,Ilya Sutskever,和 Geoffrey Hinton,标题是 ImageNet Classification with Deep Convolutional Networks,这篇文章被认为是这个领域最有影响力的文章之一,它描述了作者是如何使用CNN来做ImageNet的竞赛( ILSVRC)的。

如果你不知道的话,我可以告诉你,识别物体是计算机视觉领域的最早期的目标, ILSVRC就像是计算机视觉领域的奥林匹克,在这个竞赛中,你需要确认1000个类别的物体,在2012年,AlexNet以很大的优势赢得了比赛。

它在top错误率是15.3%,对比第二名26.2%。

论文看吐了没有?教你读论文:为什么读以及如何读

需要说一下,真个计算机视觉领域都被这个结果震动了。人们开始意识到深度神经网络的威力,现在,你需要试着看看你能不能也分一杯羹。

也就是说,如果你通过其他的材料对CNN有个基础的了解的话,会很容易抓住这篇文章的内容,给你更多的力量。

当你读完了论文,你也许会看看其他的CNN领域的开创性论文,或者是其他的结构,如RNN,LSTM,GANs。

现在有很多Github上的仓库,收集了很多这样的开创性的论文,这里有个很好的,在开始之前,可以先看看,可以帮助你创建自己的阅读列表。

原文链接:https://towardsdatascience.com/getting-started-with-reading-deep-learning-research-papers-the-why-and-the-how-dfd1ac15dbc0

本文为专栏文章,来自:AI公园,内容观点不代表本站立场,如若转载请联系专栏作者,本文链接:https://www.afenxi.com/66974.html 。

关注我们
关注我们
分享本页
返回顶部