深度学习

(1)2012年神经网络模型在ImageNet 竞赛中的突破,引起了工业界强大的兴趣. Hinton 教授和他的两个研究生, Alex Krizhevsky 和 Ilya Sutskever, 2012 年底成立了一个名叫 DNNresearch (深度神经网络研究)的公司, 三个月后就被谷歌以五百万美元收购. Hinton 从此一半时间留在多伦多大学,另外…

摘要：与传统的浅层机器学习相比，深度学习具有优秀的自动提取抽象特征的能力，并且随着分布式计算平台的快速发展，大数据的处理能力得到极大的提升，使得近年来DL在工程界得到广泛的应用，包括图像识别，语音识别，自然语言处理等领域，并取得比传统机器学习更好的效果提升。另一方面，智能推荐系统，本质上是从一堆看似杂乱无章的原始流水数据中，抽象出用户的兴趣因子，挖掘出用户的…

在前不久著名的人机大战中，通过 “深度学习” 战胜围棋九段李世石的 Alphago 再次引起外界对人工智能和深度学习的关注，各种深度学习类的公司也开始备受外界追捧，很多大公司开始纷纷在这个领域进行布局。这不，最近一家非常著名的深度学习创业公司 MetaMind 就被 Salesforce 看上了。目前，Salesforce 已经收购了 MetaMind，不过…

摘要：将大数据 + 深度学习用于竞猜，足球魔方做了一款足球版的同花顺 AlphaGo 让人工智能、深度学习、神经网络等词语走向了大众，但其实这些名词背后的技术应用在通过下围棋在被大众认知前，已经有很多公司在用了。 比如面向足彩爱好者的足球魔方，呈现给用户直观的赛事赔率背后，运用的就是上面那些一般人都只知道名词的技术。他们在 8年 前开始做足球赛事数据挖掘相关…

摘要：本讲座选自清华语音语言实验室副主任王东于2016年1月19日在RONGv2.0系列——”语言语音语义与大数据技术”专场上所做的题为《语音识别中的大数据与小数据学习》的演讲。 谢谢大家。刚才刘老师已经把很多的东西说得很清楚了，我觉得我已经可以走了J。但是既然来了，还是应该给大家说一说。刘老师在一个比较宏观的场景下给大家介绍了整体的…

摘要：2016年3月7日，谷歌首席科学家，MapReduce、BigTable等系统的创造者，Jeff Dean受邀韩国大学，演讲主题《大规模深度学习》，这里部分来自highscalability的文字和笔者Youtube上的听录。刚好演讲在AlphaGo和李世石比赛之前，观众也问了他的预测，他只是说训练了5个月的机器跟顶尖高手的差距不好说；还有人问道他喜欢…

(1)2009年, 一群在普林斯顿大学计算机系的华人学者, (第一作者为 Jia Deng )发表了论文 “ImageNet: A large scale hierarchical image database), 宣布建立了第一个超大型图像数据库,供计算机视觉研究者使用. 这个数据库建立之初,包含了三百二十万个图像. 它的目的, 是要把英文里的…

摘要：近日雷锋网对深度学习三巨头Hinton、LeCun、Bengio中的前两位做了生平开扒，就差最后一个Bengio了。作为仅存的几个仍然全身心投入在学术界的深度学习教授之一，他在网上能刮到的生平介绍自然比前两位少得多，为大家找到了所有我们能找到的资料，让他不再活在传说中。 1. 根据Bengio的博文自述，在20世纪80年代Bengio还是一个学生的时候…

摘要：最近AlphaGo对李世乭的世纪大战让深度学习再次备受关注。本文是作者Lee Gomes于2015年原载IEEE，由机器之心翻译，也是雷锋网对人工智能领域做出接触贡献的先行者们致敬的《人类群星闪耀时》的第二篇。。虽然是旧文，但是文中大量关于深度学习的探讨依旧值得我们再次翻阅。读完文章，你也许就能明白，为什么Facebook人工智能负责人Yann LeC…

摘要：本文是在“人机大战”AlphaGo 4:1 获胜后，雷锋网采编的《人类群星闪耀时》系列文章的第一篇。谨以此系列向在人工智能和深度学习领域做出了接触贡献的天才们致敬。 20世纪60年代的英国：杰夫·辛顿（Geoff Hinton）还在读高中时，他的同学给他安利了一个说法：大脑的工作就像一张全息图。他深以为然。 80年代初期：辛顿发起了雄心壮志的计划——利…

(1)神经网络计算, 另一个常为人诟病的问题,是过度拟合 (overfitting). 一个拥有大量自由参数的模型,很容易通过调试,和训练数据吻合.但这并不意味着,这就是个好模型. 美国数学家冯纽曼 (John Von Neumann) 曾说, “给我四个参数,我的模型可以拟合一个大象. 给我五个参数, 我可以让它扭动它的鼻子.” 神…

(1)计算速度和数据规模的大幅度提高,也引导出更多算法上的改进. 在网络构架上,一些算法更多地借鉴人脑认知的成功经验: 多提高效率, 少做无用功. 多闭目养神,少乱说乱动. 多关注主要矛盾, 少关心细枝末节. 2003年纽约大学神经科学中心的 Peter Lennie 在论文中指出,人脑的神经元,一般最多 1-4%的比例, 可以同时处于激活状态. 比例更高时…

最近我仔细看了下AlphaGo在《自然》杂志上发表的文章，写一些分析给大家分享。 AlphaGo这个系统主要由几个部分组成： 1. 走棋网络（Policy Network），给定当前局面，预测/采样下一步的走棋。 2. 快速走子（Fast rollout），目标和1一样，但在适当牺牲走棋质量的条件下，速度要比1快1000倍。 3. 估值网络（Value Ne…

(1)主流学术界的研究者,大多注重于在算法上的渐进式提高, 而轻视计算速度和用于训练的数据规模的重要性. 孔丘老师早在两千多年前, 就高瞻远瞩的为深度学习指明了方向: “学而不思则罔, 思而不学则殆”. 用深度学习的语言来说,就是, “光有大数据,算得不快,则还是迷惘 ; 光算得快, 而没有大量的数据来训练,则还是疲倦无所…

导读：本文介绍百度基于Spark的异构分布式深度学习系统，把Spark与深度学习平台PADDLE结合起来解决PADDLE与业务逻辑间的数据通路问题，在此基础上使用GPU与FPGA异构计算提升每台机器的数据处理能力，使用YARN对异构资源做分配，支持Multi-Tenancy，让资源的使用更有效。 深层神经网络技术最近几年取得了巨大的突破，特别在语音和图像识别…