搜索：数据挖掘

随着网上购物的流行,各大电商竞争激烈,为了提高客户服务质量,除了打价格战外,了解客户的需求点,倾听客户的心声也越来越重要,其中重要的方式 就是对消费者的文本评论进行数据挖掘.今天通过学习《R语言数据挖掘实战》之案例：电商评论与数据分析，从目标到操作内容分享给大家。 本文的结构如下 1.要达到的目标 通过对客户的评论,进行一系列的方法进行分析,得出客户对于某个…

利用Python爬虫进行Web数据挖掘已经越来越普遍，网上的各种Python爬虫资料教程比较多，但是很少有人对Web数据挖掘进行系统地总结和分析。

大家好，我是明略数据的佘伟。今天非常荣幸能给大家分享明略数据在大数据挖掘方面做的一些事情。 企业中的数据挖掘我们先来看看在企业中数据挖掘都是怎么做的，以及有着哪些问题。 图中的左边是SPSS在1999年提出的《跨行业数据挖掘标准流程》，在图中定义了数据挖掘的6个步骤。虽然这个图已经提出有10几年了，但是在大数据环境下，这个流程依然适用。 1.理解商业问题。这…

外部调研结束后，接下来的内部数据分析则需由产品经理、行业专家和数据分析师共同配合完成。产品经理首先提出业务需求，并及时帮助数据分析师理解需求目标，然后数据分析师在充分掌握的基础上，将其转化为内部数据挖掘的分析目标，最后与行业专家确认所构建出的业务模型。同时，通过内部数据分析，产品经理还可以了解不同用户群体对产品的使用情况，以及从用户使用特征的角度来划分市场。…

定性研究结束后，随后的定量分析需要接触一定规模的用户，以此获取用户对产品的认知度等方面的信息，为了保证样本的代表性，通常采取电话访问的形式。 与试商用时期相比，产品上市后的用户数量会有所增加。如果成本允许，建议总样本规模尽可能达到600至800人左右，并按照用户黏性、订购方式分别配额。通常，访问800个用户，在95%的置信度下，可以确保误差在3.5%以内。 …

1、 很多关于数据挖掘的帖子和文章都在强调工具、算法和架构等，但其实这些都不是数据挖掘的核心，数据挖掘的最重要的环节如下： 数据来源：通过无论是公开的数据还是合作方式、第三方的方式获得数据 获取标签：对标的物无论是用户、商品、文章分析，以获取足够定义这些标的物的标签，并对标签进行指标化和定义权重，通过这些标签对 定义特征：通过标的物的个体画像以及标的物间的关…

摘要：最近研究了下Facebook内容排序问题，这个在新浪微博、知乎内容排序这些场景下都应用到。主要是关于edgerank的算法讨论以及Facebook的AB test机制。 EdgeRank 是Facebook 在 F8 开发者大会上提出的对 fb 新鲜事 (Feeds) 排序的新算法, 用于区别默认的按时间逆序的 timeline。 要解决的问题就像@宋…

摘要：周期性分析SMCA算法简介 算法介绍 以时间顺序挖掘周期性的模式（即周期性分析）是一种重要的数据挖掘方式，在以前的研究中我们假设每个时间点只发生一个事件，然而在这篇文章中我们研究一种更普遍的模式：即在每个时间点可以发生多个事件。 在这个算法中我们需要自己设置三个参数：min_rep, max_dis, global_rep。分别代表“一个有效序列的最小…

摘要：下面通过4种对应的场景来帮助读者理解数据挖掘的4种任务。 （1）老板要求小白做一份市场分析——预测。 拿到市场分析的数据源后就要明确知道，分析市场最主要的价值就在于“先知”，即比竞争对手提前预知市场行情。因此接到市场分析的工作后，不用迷茫，预测是它的价值所在。 （2）老板要求小白对店铺的日常数据进行监控——异常检测。 平时监控店铺的数据时，如果一切正常…

摘要：由51CTO举办的WOT”互联网＋”时代大数据技术峰会上，来自腾讯数据挖掘高级工程师刘黎春做了以《社交数据在征信领域的应用探索》为主题的演讲，主要内容由社交征信背景、腾讯社交网络数据、个体用户画像研究、社团圈子研究、模型建设及应用这五部分构成，下面我们就逐一为大家介绍各部分的内容。 社交征信背景 刘黎春表示，征信并不是一个简单征信评分的模型，而是由数据…

1.现在有大数据、精准挖掘、人工智能等这么多概念及技术，它们之间的关系以及企业大数据实施的路线图应该是怎样的？来自用户 SmartMining 的回答： 大数据、数据挖掘、人工智能三者的关系可以简单的理解为：大数据是原材料，数据挖掘是加工厂，而人工智能是数据产品尤其是基于数据挖掘技术建立的专家系统的设计理念。 通过使用数据挖掘技术对大数据进行价值提取、加工，…

摘要：机器学习是大数据挖掘的一大基础，本文以机器学习为切入点，分享达观在大数据技术实践时的一些经验。 大数据时代里，互联网用户每天都会直接或间接使用到大数据技术的成果，直接面向用户的比如搜索引擎的排序结果，间接影响用户的比如网络游戏的流失用户预测、支付平台的欺诈交易监测等等。 互联网的海量数据不可能靠人工一个个处理，只能依靠计算机批量处理。最初的做法是人为设…

在机器学习和数据挖掘中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如 K 最近邻（KNN）和 K 均值（K-Means）等等。根据数据特性的不同，可以采用不同的度量方法。一般而言，定义一个距离函数 d(x,y), 需要满足下面几个准则： 1) d(x,x) = 0   …

在具体的研究过程中，分为外部调研和内部数据分析两个过程。 外部调研包括用户消费习惯和使用态度的研究，一是通过搜集用户基本属性信息以及使用产品的行为偏好信息来了解用户对产品的认知程度;二是通过搜集用户使用产品的反馈信息来了解用户对产品各方面的评价。 内部数据分析方法主要用来目标用户识别，依照用户的产品订购及使用行为，从多个维度对目标用户进行分析，以此了解用户使…

运营是介于产品开发和营销之间的一种运作状态。一般来说，随着业务的深入发展，以经验型为主粗放式运营必然转向以分析型为主的精细化运营。运营首先要处理好精确和准确的关系：准确是指真实值与测量值之间的误差程度小，精确表示在条件不变的情况下，真实值和测量值之间的误差程度能够反复再现。 运营分析需要保证结果的精确性，也就是常说的“次次如此、回回一样”，可以容忍一定程度上…