数据分析

十年生死两茫茫数据人，忙忙忙良辰美景，平添我凄凉一天早晚闲不住调研急报告狂夜来思路忽闪现寻笔记怕遗忘需求多变改改又何妨料得午夜加班时听家人鼾声响 以上是一位资深的数据分析师写的自嘲的段子，却是很多分析师的真实写照。在耀眼的职业光环下，数据分析师自身的成长，几乎是与孤寂相伴，在高级打杂中，锻造而成。 最近接到一个职业访谈的邀请，要给对数据分析感兴趣的新人Y（目…

好吧，我承认有点标题党了。我的本意是想写写，到底有多少类做数据相关工作的，以及数据从业者的职业发展路径可能有哪些。 经常有猎头打电话说，有某数据挖掘工程师职位，您是否考虑？有的说，某公司在找一位数据产品总监、数据分析师、数据架构师、业务分析师……有的干脆上来就问，我要找某某数据职位，应该找什么样的候选人呢。 其实有时候想想，别说猎头，…

数据科学是一个新的领域，想做一个好的数据科学家并不容易。他们应该知道什么？工具，框架和技术都在不断变化。在这种转型之中科学家可以通过掌握最有用的工具之一“应用统计：线性建模”来提炼出自己的专长。上星期我和最新一批在Insight的人谈论这个话题，我演讲中的幻灯片可以在这里找到。 线性模型经常被小看。乍一看，它们相比最新的技术似乎缺乏新颖性。但结合它们在现代的…

1、为什么要注重数据分析 我们为什么要注重数据分析，对此我的想法是： 有效避免拍脑袋、主观臆想; 为决策提供支撑，更能说服人; 通过数据分析，可以看到决策的效果、问题以及未来应该如何做。 知乎用户@绡页的答案很简单，但却一语中的： “知错能改，善莫大焉”——可是错在哪里，数据分析告诉你。 “运筹帷幄之中，决胜千里之外”——怎么做好“运筹”，数据分析告诉你。 …

摘要：如果说学习数据科学的最佳途径是什么——就是解决实际问题或亲自参与数据科学项目。因为只有当自己动手解决问题时，你才真正开始学习数据科学。 “商超销售预测”这一题目在一个月前一经提出，已有624名数据科学家报名参加，其中77名提交了答案。不管你是在开始时感到无从下手还是过程中遭遇瓶颈，本文都将带大家体验商超销售预测工作的全过程。 希望本文能够帮助越来越多的…

本次为系列文章《App数据分析之旅》，共两篇：第一篇讲解《App数据分析之旅，如何收集数据》；第二篇讲解《App数据分析之旅，如何分析数据》。那么，我们就开始App数据分析之旅吧。 为什么要针对App收集数据，想必大家能够举出很多理由。大家可以想一下，尽量不要设计到数据后期的分析，不要涉及产品优化，不要设计用户体验，更不要设计运营优化，等等。因为，这些都不是…

摘要：作为女性总统候选人，希拉里被支持者视作政坛女强人，然而在社交媒体上，频现针对希拉里性别的语言攻击。本期大数据与社会为您译制了华盛顿邮报对于该现象的语义情感分析。 图片及原文来自华盛顿邮报 随着民主党总统初选，希拉里 克林顿和伯尼桑德斯之间的支持率越来越接近， 一些评论家认为，克林顿的竞选遭到性别歧视抨击的炮轰 — — 特别是来自桑德斯的支持者。 但基于…

BI，Business intelligence，中文大都称为“商业智能”，我所理解的BI，是服务于产品或企业管理者，以决策支持为目的，对现有数据进行有效整合，并形成可视化报表作为决策依据的完整解决方案。 解读如下： 受众及目标 面向的是管理者，管理者的最主要工作是决策，决策有两个方面，一是对明确目标的做与不做，二是借助一定工具（BI就是这么一个工具）和方法…

摘要：移动统计分析平台可以帮助移动应用开发商统计应用数据，追踪到安装前的渠道效果，安装后的用户表现，分析用户属性、行为和了解应用推广、运营状况，为开发者优化产品设计，制定运营、推广策略提供数据支持。对移动用户进行统计分析，知己知彼，才能做到百战不殆。本文是TalkingData肖文峰的经验分享。

首先对@MayaG表示感谢，这篇文章是被你提的问题激发出的灵感，非常感谢~ 数据清洗， 是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。在实际操作中，数据清洗通常会占据分析过程的50%—80%的时间。国外有些学术机构会专门研究如何做数据清洗，相关的书籍也不少。 （美亚搜data cleaning的结果，可以看到这书还挺贵） 我…

摘要：从数据分析、机器学习和结果三方面详解利用高性能分布式计算平台解决现实问题的过程。 近期，comSysto公司分享了该公司研发团队利用Spark平台解决Kaggle竞赛问题的经历，为Spark等平台应用于数据科学领域提供了借鉴。 主办方提供了一个包含5万个匿名驾驶员线路的数据集，竞赛的目的是根据路线研发出一个驾驶类型的算法类签名，来表征驾驶员的特征。例如…

作为前LinkedIn的首位做变现盈利的数据科学家，张溪梦负责的业务就是如何能用数据分析来增加销售，促进产品的研发效率、做更好的风险控制等。这个世界上第二大的B2B的云端软件企业，每年的销售额从七千万美元跃升至将近30亿美元，一个重要的推手就是数据的帮助。那到底怎么样才能用数据来推动产品优化呢？ 3月10日，起点学院特邀GrowingIO 创始人 ，前Lin…

做产品的同学在产品上线后经常离不开一个词，数据分析。那么要如何进行数据分析呢？不妨先问自己这么几个问题。 你要分析什么问题？是找问题还是验证？ 关于这些问题你需要哪些数据？ 这些数据从哪里来？ 要怎么解决这些问题呢？答案是数据埋点。首先通过产品定位及目标来确定自己需要哪些数据，其次通过在产品各个流程环节中设置数据埋点，最后，当用户使用产品时，后台就能源源不断…

摘要：这几年，几家电商的价格战打得不亦乐乎，继去年的 “双 11 大促” 和 “6·18 狂欢节” 之后，电商之间以价格为主要诉求的大规模促销层出不穷，几乎要把所有能够用来造势的节日都用上了。而消费者们作为这场游戏中的弱者，不断地被这些真假价格战挑逗着和引导着。然而，在当今的商场上，还有另外一类企业不是通过简单粗暴的价格战，而是通过对数据的充分使用和挖掘而在…

在机器学习和数据挖掘中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如 K 最近邻（KNN）和 K 均值（K-Means）等等。根据数据特性的不同，可以采用不同的度量方法。一般而言，定义一个距离函数 d(x,y), 需要满足下面几个准则： 1) d(x,x) = 0   …