大数据架构

  • 从0到1:微信后台系统的演进之路

    摘要:2个月的开发时间,微信后台系统经历了从0到1的过程。从小步慢跑到快速成长,经历了平台化到走出国门,微信交出的这份优异答卷,解题思路是怎样的 从无到有 2011.1.21 微信正式发布。这一天距离微信项目启动日约为2个月。就在这2个月里,微信从无到有,大家可能会好奇这期间微信后台做的最重要的事情是什么 我想应该是以下三件事: 1、确定了微信的消息模型 微…

    2016-01-24
  • 经典大数据架构案例:酷狗音乐的大数据平台重构

    导读:本文是酷狗音乐的架构师王劲对酷狗大数据架构重构的总结。酷狗音乐的大数据架构本身很经典,而这篇讲解了对原来的架构上进行重构的工作内容,总共分为重构的原因、新一代的大数据技术架构、踩过的坑、后续持续改进四个部分来给大家谈酷狗音乐大数据平台重构的过程。 眨眼就是新的一年了,时间过的真快,趁这段时间一直在写总结的机会,也总结下上一年的工作经验,避免重复踩坑。酷…

    2016-01-14
  • 从内部机理的角度,详细分析Hadoop的核心架构

    通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程,以及数据仓库工具Hive和分布式数据库Hbase的介绍,基本涵盖了Hadoop分布式平台的所有技术核心。 通过这一阶段的调研总结,从内部机理的角度详细分析,HDFS、MapReduce、Hbase、Hive是如何运行,以及基于Hadoop数据仓库的构建和分布式数据库内…

    2016-01-03
  • 阿里巴巴分布式数据库服务实践

    摘要:经过近一年的运营,阿里巴巴的分布式数据库(DRDS)已经协助电商,电信,银行,政府等多种类型的系统进行过业务分布式改造,在系统实施的过程中,我们碰到和解决了哪些问题 他们是怎么解决的背后的思考是什么未来在何方 以下来分享下精彩内容。 DRDS简介 起源 DRDS 脱胎于 alibaba的cobra 分布式数据库引擎,06年上线使用,在alibaba有近…

    2015-12-29
  • 世纪佳缘用户推荐系统演变的故事

    摘要:世纪佳缘用户推荐系统演变史 作为国内最大的婚恋交友系统,世纪佳缘近年来一直在大力发展互联网大数据相亲模式,从成立之初会员自己根据条件“大海捞针”的寻找,到现在的“懂你”系统、“人脸识别”系统,世纪佳缘的用户推荐系统正在一步步的完善和拓展,大数据相亲已经成为互联网婚恋交友网站的发展趋势。 世纪佳缘从2013年开始全力推进业务从PC端向移动端的转移,截至今…

    2015-12-23
  • 数据挖掘系列篇:Netflix机器学习系统的构建经验

    有很多很好的介绍机器学习的教科书和课程,,甚至可以学习一些最复杂的特定的方法或算法,理解这些理论是一个非常重要的基础和起点。还有很多构建真实系统的实际问题,你可能闻所未闻。这篇文章将分享一些Netflix多年来构建大型系统放的最重要的教训,Netflix是跨许多国家支持数以百万计的用户规模。(Netflix是在线视频网站,每晚视频流量占据全美互联网流量近1/…

    2015-12-18
  • 说说大数据框架Hadoop和Spark的异同

    摘要:谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。 解决问题的层面不一样 首先,Hadoop和Apache Spark两者都是大数据框架,但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: …

    2015-12-16
  • 股票交易实时分析系统的架构与算法

    【摘要】如果能在一台服务器上应用人工智能和机器学习算法处理每天的股票交易,而自己则在夏威夷的海滩上享受生活,那将是多么惬意呀。虽然股票价格的变化受多种因素的影响,世上也没有免费的午餐,但是有些公司依然能够借助于开源的机器学习算法和数据分析平台得到“更好、更健康、更便宜的午餐”。本文搜集并整理了一些如何实现实时股票分析系统的资料,从架构和算法两个层面给出了一种…

    2015-12-12
  • 京东咚咚大数据架构演进

    咚咚是什么?咚咚之于京东相当于旺旺之于淘宝,它们都是服务于买家和卖家的沟通。 自从京东开始为第三方卖家提供入驻平台服务后,咚咚也就随之诞生了。 我们首先看看它诞生之初是什么样的。 1.0 诞生(2010 – 2011) 为了业务的快速上线,1.0 版本的技术架构实现是非常直接且简单粗暴的。 如何简单粗暴法?请看架构图,如下。 1.0 的功能十分简…

    2015-12-10
  • 友盟吴磊:移动大数据平台的架构、实践与数据增值

    摘要:友盟从2010年成立至今,在大数据领域有独特技术和宝贵经验,51CTO对友盟数据平台负责人吴磊进行专访,就移动大数据平台的底层架构演进、实践经验与数据增值等内容进行了分享。 APP是进入移动互联网的重要载体,故得到越来越多开发者的关注。打造APP,无论是开发、产品、运营、推广等任意一个环节都离不开海量数据的支持。这样一来,怎样采集,存储,整理,分析,挖…

    2015-12-10
  • 后Hadoop时代的大数据架构

    摘要:提到大数据分析平台,不得不说Hadoop系统,Hadoop到现在也超过10年的历史了,很多东西发生了变化,版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代,这不是说不用Hadoop,而是像NoSQL (Not Only SQL)那样,有其他的选型补充。 背景篇 Hadoop: 开源的数据分析平台,解决了大数据(大到一台…

    2015-10-10
  • 滴滴CTO:详解大数据战略与三次生死战役的架构变迁

    2012年成立的滴滴打车,仅用了三年时间就书写了:覆盖300个城市,用户数从2200万增到1.5亿,月活跃用户增长了600多倍(2014年平安夜当天,全国用滴滴打车出行人数超过了3000万人),打车成功率高于90%……这些永远会被铭记在移动互联网历史中的神奇记录。而不为人知的是,支撑滴滴打车如此庞大用户数量的架构,以及那些曾无数次不眠不休应对挑战的技术伙伴们…

    2015-06-30
  • Tencent Analytics腾讯分析系统架构解析

    摘要:TA是一款面向第三方站长的免费网站分析系统,在数据稳定性、及时性方面广受站长好评,其秒级的实时数据更新频率也获得业界认可。本文将从实时数据处理、数据存储等多个方面带你深入探寻TA的系统架构及实现原理。 TA(Tencent Analytics,腾讯分析)是一款面向第三方站长的免费网站分析系统,在数据稳定性、及时性方面广受站长好评,其秒级的实时数据更新频…

    2014-12-27
  • Facebook大数据技术架构的演进路线

    Facebook一直是大数据技术最积极的应用者,因为它拥有的数据量极其巨大,一份资料显示2011年它拥有的压缩数据已经有25PB,未压缩数据150PB,每天产生的未压缩的新数据有400TB。

    2013-11-03
  • 探访美式微博Twitter的大数据技术架构

    Twitter的大数据架构也是分为基于Hadoop的批处理和基于Storm的实时流计算等主要类型,主要基于开源项目中进行开发和发展。

    2013-11-02

联系我们

如有建议:>>给我留言

QR code