大数据

摘要：原文标题“人人都谈大数据，你考虑过小数据的感受吗？” 关于大数据的内容已经铺天盖地了，其中包括很多能够让人们从中得到启发和洞察的数据科学观点，尤其是在这数据量极其丰富的B2C市场行业中，这样的文章不胜枚举。 在人们谈论了很多关于大数据的话题之后，那么小数据现在的境况如何呢？如果你的手中的数据量很少，甚至谈不上大数据的话，我们又将从这少量的数据当中得到怎…

Google无人车近况 对于很多人而言，体验无人驾驶仍然是一项充满挑战而又有趣的事情。Google近期就接受了一些人的申请，让它们尝试了一下。与普通车辆不同，经过改装的雷克萨斯SUV多了一些雷达和摄像头。它就是依靠这些传感器的输入，结合特定的人工智能算法实现了无人驾驶。 目前，Google的无人车体现了很好的安全性，但在驾驶方式上与人类明显不同。它会在设有停…

Pieter Abbeel的机器人学习实验室 在美国加州大学伯克利分校，人工智能领域著名的Robot Learning Lab就坐落在校园北面一个建筑的第七层。作为一个“机器人幼儿园”，该实验室培育着Brett人形机器人以及工业机器人等。 作为一个典型的研究型实验室，其实验内容同样的杂乱无章：自行车就那么直接放在实验室内，实验室成员的位置也看起来有些混乱，白…

任何企业想做大数据变现，或者已经在做的，都需要考虑成长性问题，站在全局的角度要去思考三个方面的核心问题：数据扩张、数据MARKET和数据封装。本质上，就是大数据发展要逐步由纵到横，实施平台化战略。 推荐阅读： 普及、开放与平台：大数据价值运营之路（上） 普及、开放与平台：大数据价值运营之路（中） 1、数据扩张战略 关于数据的价值，数据量是一种衡量标准，数据维…

0. 序言 最近因为PAC平台自动化的需求，开始探坑推荐系统。这个乍一听去乐趣无穷的课题，对于算法大神们来说是这样的： 而对于刚接触这个领域的我来说，是这样的： 在深坑外围徘徊了一周后，我整理了一些推荐系统的基本概念以及一些有代表性的简单的算法，作为初探总结，也希望能抛砖引玉，给同样想入坑的伙伴们提供一些思路。 1、什么是推荐系统？ 推荐系统是啥？ 如果你是…

基于大数据的旅游网站 Hopper 获新一轮 1600 万美元的融资，由 BDC 投资。 2012年，这家秘密开发了 5年 的旅游网站曾经宣布完成 B 轮融资，获得 1200 万美元投资，当时的投资方为 OMERS Ventures、Brightspark Ventures。到目前为止，Hopper 总计融资 3800 万美元。 公司 CEO 兼创始人 Fr…

如果你想造一艘船， 不要鼓励人们去伐木、去分配工作、去发号施令。 你应该做的是，教会人们去渴望大海的宽广无边和高深莫测。 ——安东尼·德·圣-埃克苏佩里 在我们与美国政府、商业和国际组织的多年合作工作中，我们已经具备了帮助我们的客户设计和建立一个数据科学功能以支持和驱动他们的任务的能力。这些任务包括提高健康水平、保卫国家、合理调配能源布局、更好地服务公民和退…

摘要：2014年6月至今工作于北京亚信智慧数据科技有限公司 BDX大数据事业部，从2014年9月开始从事项目spark相关应用开发。 Spark简介 Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等…

译者注：ETL – Extract Transform Load 抽取 转换加载，代表从源数据清洗加工到数据仓库的过程。 这篇文章在Hacker News转载后产生很热烈的讨论，主要是从工程师的角度来看问题，讨论了很多有关人员管理和团队分工等一些很现实的问题。不是所有人都同意文中的观点和解决方案，也有很多人写出了自己的经历来佐证作者的想法。争议主…

写在前面 我写这篇文章的初衷源于两个故事： 故事一：一位在互联网行业做数据库架构多年的同事一起吃饭，问起我现在在说什么，我说自己在做医疗方面的数据分析，同事笑，说：你有很多资源啊，只要你能拿到电子病例的数据，就能分析很多东西了……我脸上的微笑表情瞬间僵化！ 故事二：当时为内蒙一个企业做上游原材料供应商的数据管理项目，当时我们拿到的只是该企业小部分供应商的数据…

摘要：随着低成本红外传感器、无处不在的连接性以及海量数据的兴起，“物联网”必将改变世界。我们都曾听说，到2050年，数十亿美元和数十亿的物品将组成此大趋势，但这并未反映全部的情况。与“物”本身的问题相比，开启物联网的真正潜力需要在更大程度上克服数据挑战。 对这些数据挑战最贴切的描述是“终点前最后一英里”问题，从通过设备、机器和远程平台来提取数据，到诠释数据，…

摘要：无论是工业4.0还是中国制造2025，一个核心都是用数据驱动工业的智能化、个性化，但你能想象，如果每个人都不愿意贡献自己的数据，我们如何让企业创造出为你们量身定制的产品呢？国家政府如何才能提供更好的社会治理能力？ 关于大数据开放与个人隐私，我这里提五个观点： 1、趋势不可阻挡 未来连接将成为核心，人的个性需求将被极大满足，没有数据信息充分流通和开放难以…

摘要：本章节是“我所经历的大数据平台发展史”最后一章，含有一番外篇，算是对文章提到的数据模型、数据产品的一些细节补充。预计阅读完毕需要20分钟左右。 互联网时代被弱化的数据模型 谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与…

摘要：本文译自Noah Kagan 的《You’re Still Modeling Growth Incorrectly》。作为Facebook的前30名员工之一、Mint的前4位员工之一，他是增长方面的权威人士，既有方法论，又有实践经验。 当我第一次在Mint做市场的工作时，创始人兼CEO Aaron Patzer告诉我我们需要在产品发布6个月的时间里获取…

摘要：从2011年开始，“大数据”这个词就已经成为一个热炒的概念，但是，收集到数据怎么办？怎么用它来创造价值？恐怕很多言必称大数据的CEO，都没有想清楚。 在这方面，哪怕是在科技公司环绕的硅谷，最有经验的也应属LinkedIn的商业分析团队了。作为一个以数据来创造商业价值的公司，LinkedIn一些比较出名的产品，比如说“你可能认识的人”以及“谁看了你的页面…