大数据

前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要…

摘要：我们要做的事情，是让每一个人都具备这种数据决策运营的能力。在今天的中国，特别是高度竞争、成本不断增长的时代，这是一种战略级的能力。 一、烧钱≠增长，数据驱动是一种能力 在过去10年，中国互联网发展速度非常快，以前是流量驱动的互联网经济。随着人力成本不断攀升，竞争不断加剧，完全靠流量、预算、烧钱来获取客户和市场，已经不可持续了。如果你获取客户的成本高、速…

每一个爆红的“老公”后面，都有女人热气腾腾的爱情梦。梦想爱情，梦想完美的对象，并梦想被其至死不渝的追逐。 普通的霸道总裁已经不能满足观众了。上一个来自星星的都教授，不仅多金(攒了400多年钱)，而且有文化(读了400多年书)，还得有停止时间的超能力，才能戳中女性们越飞越高的粉红泡泡。 爆红的“新款”——是的你懂我在说谁。宋仲基在《太阳的后裔》中所塑造的军人形…

学者热议：大数据并非越大越好 越发展难题越多 哈佛大学文理研究生院院长孟晓犁：大数据：越发展，难题越多 大数据这两年一直是热词。发展中的大数据确实带来了很多有用信息，但也使我们遇到越来越多的难题。其中最大的难题就是如何去伪存真，将那些带来误导的噪音去除。 因此，发展中的大数据需要的不仅是专业的数据信息人才，而是需要更多善于和各个领域的大数据打交道的人，这对统…

在我们之前分享的文章《一名合格的机器学习工程师需要具备的5项基本技能，你都get了吗？》收到了读者的热烈响应。在这片广受赞誉的文章当中我们向大家介绍了成为机器学习牛人所需具备的关键技能。现在，我们将来自读者关于上一篇文章的问题进行汇总，发现其中大家最关心的就是：掌握机器学习技能到底需要学会哪一种编程语言？ 这个问题的答案或许会让你大跌眼镜——掌握哪一种编程语…

为了更好的使大家了解行业现状，我们整理出了2016大数据版图英文对应公司的中文介绍，以飨读者。若与前文重复，则不再列出。

为了更好的使大家了解行业现状，我们整理出了2016大数据版图英文对应公司的中文介绍，以飨读者。

今天分享的主题是《基于分布式架构的大数据商业建模》。 今天给大家主要分享两个部分：第一个部分会给大家介绍一下百分点基于分布式架构的大数据建模实践。在这一部分我会主要讲一下建模的技术架构、一些技术、工具以及大数据建模的流程9宫格。第二个部分我会给大家介绍一下大数据建模的应用场景，以及百分点做过的一个真实企业建模相关的应用场景。 基于分布式架构的大数据建模实践。…

说到处理大规模数据，R、Python、Scala和Java基本上都能满足你的要求。 你有一个大数据项目，你知道问题领域（problem domain），也知道使用什么基础设施，甚至可能已决定使用哪种框架来处理所有这些数据，但是有一个决定迟迟未能做出：我该选择哪种语言？（或者可能更有针对性的问题是，我该迫使我的所有开发人员和数据科学家非要用哪种语言？）这个问题…

大数据技术如火如荼，在大数据挖掘及分析平台技术中，作为海量数据操作及高客户端并发解决方案的 NoSQL 技术特别是 Hbase 首当其冲，在众多项目中得到广泛的应用，但对于 Hbase 表设计模式/IO 考虑/性能调优等实战经验性资料较为匮乏。 本文介绍了 Hbase 的数据模型原理，分析了 Hbase 表扫描/查询操作的时间复杂度，并通过一个游戏公司客户实…

摘要：竞争的优势来源于专研！企业技术研发人员占到公司总员工数的近百分之八十，也让星环成为一家名副其实以技术为核心驱动力的大数据公司。竞争到最后，生生让对手放弃现有业务，直接找星环合作 Hadoop一直被很多人认为是大数据的代名词，数据猿作为一家关注大数据行业的专业媒体，于是就本着专业的态度采访了一家基于Hadoop开发产品的大数据基础软件厂商——星环科技。 …

在日本，以及一些其他城市，随着最优化要求和更复杂的交通系统、二氧化碳排放量的减少、以及逐步更新的老化基础设施建设的社会制度的高效运行，智慧城市的建设正在逐步推进。日立集团经营社会创新事业，力求创造一个可持续发展的智慧城市，并将这看作是对城市多元化需求的一个回应。 近年来，由于科技的不断广泛运用，例如智能手机，智能卡，以及各式各样的传感器，使得将人口和交通流量…

在硅谷观察之大数据篇的【上】篇中，我把硅谷地区大数据生长状况基本梳理了一个相对完整的形状出来。有朋友看了【下】的预告后在微博上给我留言说，听说下篇要介绍一些公司的大数据部门情况，问能不能点名加个 Google 尤其是 Google Maps，因为特别想知道这个世界上最大的搜索引擎以及每天必不可少的出行神器是怎么当一个挖掘机的。 于是，上周我又去了 Googl…

硅谷的这一个月，我在 startups demo days 和各种大公司一日游中度日，以为会逃脱国内各种会上各种 “大数据” 和挖掘机的梗，但万万没想到这里更甚。Hi~ 本文发自仅次于五道口的宇宙中心硅谷，与你分享大数据在这片土地上的真实生长状况。 什么是 “改变世界” 的大数据公司 近两周硅谷两场规模比较大的 demo 大会上，就有十多家自称做大数据的 s…

Simple，Not Easy 笔者产生了第几个疑问： 用户自有数据的管理是不是足够了 如何保障这些平台提供的地理大数据的准确性 地理可视化是本还是末 如果要给2015年的地理信息行业打一个标签，地理大数据一定是其中之一。在信息技术飞速发展的今天，“大数据”作为一种潮流铺天盖地的席卷了各行各业，从央视的春运迁徙图到旅游热点预测，从大数据工程师奇货可居到马云布…