硅谷王川

  • 硅谷王川:深度学习有多深?学了究竟有几分?(10)

    (1)2013 年的 ImageNet 竞赛, 获胜的团队是来自纽约大学的研究生 Matt Zeiler, 其图像识别模型 top 5 的错误率, 降到了 11.5%. Zeiler 的模型共有六千五百万个自由参数, 在 Nvidia 的GPU 上运行了整整十天才完成训练. 2014年, 竞赛第一名是来自牛津大学的 VGG 团队, top 5 错误率降到了 …

    2016-04-19
  • 硅谷王川:深度学习有多深?学了究竟有几分?(9)

    (1)2012年神经网络模型在ImageNet 竞赛中的突破,引起了工业界强大的兴趣. Hinton 教授和他的两个研究生, Alex Krizhevsky 和 Ilya Sutskever, 2012 年底成立了一个名叫 DNNresearch (深度神经网络研究)的公司, 三个月后就被谷歌以五百万美元收购. Hinton 从此一半时间留在多伦多大学,另外…

    2016-04-16
  • 硅谷王川:深度学习有多深?学了究竟有几分?(8)

    (1)2009年, 一群在普林斯顿大学计算机系的华人学者, (第一作者为 Jia Deng )发表了论文 “ImageNet: A large scale hierarchical image database), 宣布建立了第一个超大型图像数据库,供计算机视觉研究者使用. 这个数据库建立之初,包含了三百二十万个图像. 它的目的, 是要把英文里的…

    2016-03-23
  • 硅谷王川:深度学习有多深?学了究竟有几分?(7)

    (1)神经网络计算, 另一个常为人诟病的问题,是过度拟合 (overfitting). 一个拥有大量自由参数的模型,很容易通过调试,和训练数据吻合.但这并不意味着,这就是个好模型. 美国数学家冯纽曼 (John Von Neumann) 曾说, “给我四个参数,我的模型可以拟合一个大象. 给我五个参数, 我可以让它扭动它的鼻子.” 神…

    2016-03-17
  • 硅谷王川:深度学习有多深?学了究竟有几分?(6)

    (1)计算速度和数据规模的大幅度提高,也引导出更多算法上的改进. 在网络构架上,一些算法更多地借鉴人脑认知的成功经验: 多提高效率, 少做无用功. 多闭目养神,少乱说乱动. 多关注主要矛盾, 少关心细枝末节. 2003年纽约大学神经科学中心的 Peter Lennie 在论文中指出,人脑的神经元,一般最多 1-4%的比例, 可以同时处于激活状态. 比例更高时…

    2016-03-15
  • 硅谷王川:深度学习有多深?学了究竟有几分?(5)

    (1)主流学术界的研究者,大多注重于在算法上的渐进式提高, 而轻视计算速度和用于训练的数据规模的重要性. 孔丘老师早在两千多年前, 就高瞻远瞩的为深度学习指明了方向: “学而不思则罔, 思而不学则殆”. 用深度学习的语言来说,就是, “光有大数据,算得不快,则还是迷惘 ; 光算得快, 而没有大量的数据来训练,则还是疲倦无所…

    2016-03-08
  • 硅谷王川:深度学习有多深?学了究竟有几分?(4)

    (1)九十年代末, 神经网络研究遇到的困境,除了慢,还是慢. 抛开计算速度的因素,传统神经网络的反向传播算法,捉虫时极为困难,一个根本的问题叫做所谓 vanishing gradient problem (梯度消失问题). 这个问题在1991年, 被德国学者 Sepp Hochreiter第一次清晰提出和阐明原因. 简单的说, 就是成本函数 (cost fu…

    2016-03-04
  • 硅谷王川:深度学习有多深?学了究竟有几分?(3)

    (1)1992 年笔者在纽约州的罗切斯特大学选修计算机课的时候, 学到这样一句话, 印象极为深刻. When in doubt, use brute force. “如果遇到困惑(的问题), 就使用蛮力. “ 此话出自当年 UNIX 系统的发明人之一 Ken Thompson. 他的本意是, 程序设计中,简单粗暴的计算方法, 虽然可能…

    2016-03-02
  • 硅谷王川:深度学习有多深?学了究竟有几分? (2)

    (1)1970年,当神经网络研究的第一个寒冬降临时,在英国的爱丁堡大学,一位二十三岁的年轻人, Geoffrey Hinton, 刚刚获得心理学的学士学位. Hinton 六十年代还是中学生时,就对脑科学着迷.当时一个同学给他介绍关于大脑记忆的理论是: 大脑对于事物和概念的记忆, 不是存储在某个单一的地点,而是像全息照片一样, 分布式地, 存在于一个巨大的神…

    2016-02-22
  • 硅谷王川:深度学习有多深? 学了究竟有几分? (1)

    (1)2016 年一月底,人工智能的研究领域,发生了两件大事. 先是一月二十四号,MIT 的教授,人工智能研究的先驱者,Marvin Minsky 去世,享年89岁. 三天之后,谷歌在自然杂志上正式公开发表论文,宣布其以深度学习技术为基础的电脑程序 AlphaGo, 在2015年十月,连续五局击败欧洲冠军,职业二段樊辉. 这是第一次机器击败职业围棋选手. 距…

    2016-02-16
返回顶部