hdfs

  • Netflix首次完整披露大数据分析基础架构

    Netflix资深软件工程师Tom Gianos和Netflix大数据计算工程经理Dan Weeks在2016年度QCon旧金山活动中介绍了Netflix的大数据策略和分析基础架构。

    2017-04-04
  • Spark VS Hadoop 两大大数据分析系统深度解读

    大数据,无论是从产业上,还是从技术上来看,都是目前的发展热点。在中国,政府控制着80%的数据,剩下的多由“BAT”这样的大公司拥有,中小企业如何构建自己的大数据系统?其他企业如何建设自己的大数据系统?

    2016-06-19
  • 实现R与Hadoop联合作业的三种方法

    为了满足用R语言处理pb量级数据的需求,我们需要把它和Hadoop联合起来使用。本文的目的就是阐述实现二者联合作业的不同技术。

    2016-06-11
  • 窥探大数据应用的未来发展方向

    大数据应用的下一阶段发展方向在哪里?

    2016-05-15
  • 最适合实时数据分析的9大应用领域

    如今整个商业世界都面临着新的难题,即如何处理来自各客户接触点、交易以及互动对象的大量数据。但与此同时,我们也看到了解决问题的曙光——实时数据流技术,其能够存储大量数值及历史数据,以备日后随时调用。 可能很多朋友还没有接触过大数据分析方案,也有人认为其仅仅算是个愿景而非现实——毕竟能够证明其可行性与实际效果的案例确实相对有限。但可以肯定的是,实时数据流中包含着…

    2016-04-26
  • QCon北京:构建大数据生态需要哪些核心技术?

    2016年QCon全球软件开发大会北京站于4.21-4.23在北京国际会议中心举办,参会者对整体内容设置及安排反馈良好。这里我们梳理出了22号“大数据生态构建”厂商共建专场的重点演讲内容,为没能到现场聆听的小伙伴们奉上饱满的干货内容。(进入QCon北京2016大会官网,免费下载三天的讲师演讲PPT。) 参与大数据技术实践分享的厂商有:通联数据、明略数据、Fr…

    2016-04-23
  • 数据开发系列篇:大数据处理和编程实践Hadoop

    Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。对于我来说,最近的一个使用点就是服务集成平台的日志分析。服务集成平台的日志量将会很大,而这也正好符合了分布式计算的适用场景(日志分析和索引建立就是两大应用场景)。 当前没有正式确定使用,所以也是自己业余摸索,后续所写的相关…

    2016-04-10
  • 一篇文章读懂Hadoop:风雨十年,未来何去何从

    摘要:我们很荣幸能够见证Hadoop十年从无到有,再到称王。感动于技术的日新月异时,希望通过这篇内容深入解读Hadoop的昨天、今天和明天,憧憬下一个十年。 本文分为技术篇、产业篇、应用篇、展望篇四部分 技术篇 2006年项目成立的一开始,“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的10个年头,这个单词代表的是“核心”(…

    2016-03-13
  • Airbnb基础数据架构

    摘要:这一篇关于Airbnb基础数据架构。云计算尤其亚马逊的云服务(AWS)提供弹性计算能力,无需购买昂贵服务器甚至机房,通过虚拟化主机,还提供丰富配套组件,节约运维成本,方便扩展,成为很多创业公司的首选。这里Airbnb 工程师James Mayfield以AWS作为基础搭建数据架构中走过的坑和经验分享,由于笔者也刚好做过,难度2星,供做数据的朋友学习。 …

    2016-02-26
  • Apache Hadoop准实时数据处理的架构模式

    评估好哪一种流架构模式最适合你的案例,是成功生产开发的先决条件。 Apache Hadoop 生态系统已成为企业实时地处理和挖掘大数据的首选。 Apache的Kafka, Flume, Spark, Storm, Samza等技术在不断地推进新的可能。人们很容易泛化大规模实时数据案例,但其实他们可以细分为几种架构模式,Apache系统里的不同组件适合于不同的…

    2016-01-24
  • 从内部机理的角度,详细分析Hadoop的核心架构

    通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程,以及数据仓库工具Hive和分布式数据库Hbase的介绍,基本涵盖了Hadoop分布式平台的所有技术核心。 通过这一阶段的调研总结,从内部机理的角度详细分析,HDFS、MapReduce、Hbase、Hive是如何运行,以及基于Hadoop数据仓库的构建和分布式数据库内…

    2016-01-03
  • 后Hadoop时代的大数据架构

    摘要:提到大数据分析平台,不得不说Hadoop系统,Hadoop到现在也超过10年的历史了,很多东西发生了变化,版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代,这不是说不用Hadoop,而是像NoSQL (Not Only SQL)那样,有其他的选型补充。 背景篇 Hadoop: 开源的数据分析平台,解决了大数据(大到一台…

    2015-10-10
  • 数据挖掘化功大法(20)——网站日志挖掘

    收集web日志的目的 Web日志挖掘是指采用数据挖掘技术,对站点用户访问Web服务器过程中产生的日志数据进行分析处理,从而发现Web用户的访问模式和兴趣爱好等,这些信息对站点建设潜在有用的可理解的未知信息和知识,用于分析站点的被访问情况,辅助站点管理和决策支持等。 1、以改进web站点设计为目标,通过挖掘用户聚类和用户的频繁访问路径,修改站点的页面之间的链接…

    2015-01-20

联系我们

如有建议:>>给我留言

QR code