硅谷王川

(1)2013 年的 ImageNet 竞赛, 获胜的团队是来自纽约大学的研究生 Matt Zeiler, 其图像识别模型 top 5 的错误率, 降到了 11.5%. Zeiler 的模型共有六千五百万个自由参数, 在 Nvidia 的GPU 上运行了整整十天才完成训练. 2014年, 竞赛第一名…

(1)2012年神经网络模型在ImageNet 竞赛中的突破,引起了工业界强大的兴趣. Hinton 教授和他的两个研究生, Alex Krizhevsky 和 Ilya Sutskever, 2012 年底成立了一个名叫 DNNresearch (深度神经网络研究)的公司, 三个月后就被谷歌以五百…

(1)2009年, 一群在普林斯顿大学计算机系的华人学者, (第一作者为 Jia Deng )发表了论文 “ImageNet: A large scale hierarchical image database), 宣布建立了第一个超大型图像数据库,供计算机视觉研究者使用. 这个数据库建…

(1)神经网络计算, 另一个常为人诟病的问题,是过度拟合 (overfitting). 一个拥有大量自由参数的模型,很容易通过调试,和训练数据吻合.但这并不意味着,这就是个好模型. 美国数学家冯纽曼 (John Von Neumann) 曾说, “给我四个参数,我的模型可以拟合一个大象.…

(1)计算速度和数据规模的大幅度提高,也引导出更多算法上的改进. 在网络构架上,一些算法更多地借鉴人脑认知的成功经验: 多提高效率, 少做无用功. 多闭目养神,少乱说乱动. 多关注主要矛盾, 少关心细枝末节. 2003年纽约大学神经科学中心的 Peter Lennie 在论文中指出,人脑的神经元,一…

(1)主流学术界的研究者,大多注重于在算法上的渐进式提高, 而轻视计算速度和用于训练的数据规模的重要性. 孔丘老师早在两千多年前, 就高瞻远瞩的为深度学习指明了方向: “学而不思则罔, 思而不学则殆”. 用深度学习的语言来说,就是, “光有大数据,算得不快,则还是…

(1)九十年代末, 神经网络研究遇到的困境,除了慢,还是慢. 抛开计算速度的因素,传统神经网络的反向传播算法,捉虫时极为困难,一个根本的问题叫做所谓 vanishing gradient problem (梯度消失问题). 这个问题在1991年, 被德国学者 Sepp Hochreiter第一次清晰…

(1)1992 年笔者在纽约州的罗切斯特大学选修计算机课的时候, 学到这样一句话, 印象极为深刻. When in doubt, use brute force. “如果遇到困惑(的问题), 就使用蛮力. “ 此话出自当年 UNIX 系统的发明人之一 Ken Thompson…

(1)1970年,当神经网络研究的第一个寒冬降临时,在英国的爱丁堡大学,一位二十三岁的年轻人, Geoffrey Hinton, 刚刚获得心理学的学士学位. Hinton 六十年代还是中学生时,就对脑科学着迷.当时一个同学给他介绍关于大脑记忆的理论是: 大脑对于事物和概念的记忆, 不是存储在某个单一…

(1)2016 年一月底，人工智能的研究领域，发生了两件大事. 先是一月二十四号，MIT 的教授，人工智能研究的先驱者，Marvin Minsky 去世，享年89岁. 三天之后，谷歌在自然杂志上正式公开发表论文,宣布其以深度学习技术为基础的电脑程序 AlphaGo, 在2015年十月,连续五局击败欧…