大数据架构

  • 北大美女博士:如何将大数据建模在商业领域玩转得风声水起

    今天分享的主题是《基于分布式架构的大数据商业建模》。 今天给大家主要分享两个部分:第一个部分会给大家介绍一下百分点基于分布式架构的大数据建模实践。在这一部分我会主要讲一下建模的技术架构、一些技术、工具以及大数据建模的流程9宫格。第二个部分我会给大家介绍一下大数据建模的应用场景,以及百分点做过的一个真实企业建模相关的应用场景。 基于分布式架构的大数据建模实践。…

    2016-04-26
  • 科大讯飞大数据架构师孙利兵:搭建大数据开放平台的难点何在?

    编者按:Hadoop于2006年1月28日诞生,至今已有10年,它改变了企业对数据的存储、处理和分析的过程,加速了大数据的发展,形成了自己的极其火爆的技术生态圈,并受到非常广泛的应用。在2016年Hadoop十岁生日之际,InfoQ策划了一个Hadoop热点系列文章,为大家梳理Hadoop这十年的变化,技术圈的生态状况,回顾以前,激励以后。 大数据发展趋势 …

  • 巨杉数据库CTO王涛:从大数据地形图看大数据发展

    【导读】硅谷著名投资机构Firstmark近期发布了2016年的大数据行业地形图,展现了如今大数据厂商的分布。巨杉CTO王涛从地形图出发对于大数据的发展也有着自己的见解,他认为,想做好企业大数据,其实并不容易。 在新兴事物收到追捧的科技创新行业中,“大数据”目前正在走向理性与成熟。随着2006年Hadoop的成立, 在2011年到2014年间人们对“大数据”…

    2016-04-21
  • 数据驱动精准化营销在大众点评的实践

    精准化营销一直以来都是互联网营销业务在细分市场下快速获取用户和提高转化的利器。在移动互联网爆发的今天,数据量呈指数增长,如何在移动和大数据场景下用数据驱动进行精准营销,从而提高营销效能,成为营销业务部门的主要挑战之一,同时也是大数据应用的一个重要研究方向。本文通过数据体系架构和技术实现案例,分享美团大众点评数据应用团队在这个方向上的一些尝试和实践经验。 总体…

    2016-04-19
  • 三种优化方式让你的数据分析如虎添翼

    摘要:融合式基础架构系统为我们提供了很多有效地进行大数据分析所需的资源,包括处理Hadoop的能力以及大规模存储能力。

  • LinkedIn数据中心的100G技术改革

    LinkedIn的持续发展使得我们必须在未来的3-5年间将我们的数据中心发展到一个宏大的规模。Altair项目是我们创建大规模可扩容数据中心的途径。新的LinkedIn数据中心正在Oregon建设中,内部称作LOR1,这将是我们构建的第一个大容量数据中心架构,这将引领我们将服务器的级别从万级走向十万级。这个数据中心的新型网络架构可以支持根据需要扩充服务器数量…

    2016-04-12
  • mmTrix大数据分析平台的基本架构构建过程

    摘要:在数据分析中,有超过90%数据都是来自于非结构化数据,其中大部分的是日志,如运维、安全审计、用户访问数据以及业务数据等,但随着互联网快速的发展,数据规模也是水涨船高,从早前的GB级到现在的TB级,甚至PB级也只是短短几年光景。而移动互联网的时代到来,可以说每个人无时无刻不在产生数据,几乎成爆发式的增长。 如此多的数据早已压榨完单机的性能,在性价比的驱使…

    2016-04-02
  • 百分点技术负责人:我们为什么需要大数据操作系统

    导读:去年9月,百分点公司发布了“全球首款”大数据操作系统BD-OS(基于Lambda架构)。日前,百分点技术副总裁刘译璟和百分点BD-OS产品线高级研发总监刘国栋接受CSDN记者采访,结合BD-OS的设计、研发和架构,对大数据技术演进及应用实践的趋势进行了解读。 所谓“全球首款”,意味着Hadoop、Storm、Spark等当前主流大数据技术的相关从业者几…

    2016-03-24
  • 如何面对PB级别数据的架构变迁?

    摘要:在《Redis集群技术及Codis实践》这篇文章介绍过Codis,今天云智慧的张克琛总监为我们带来了他在运维PB级数据过程中,对于Codis与数据库管理方面的实践经验,是非常有实操性的一篇分享。在把未知问题场景化、问题化、方案化等方面值得我们学习和借鉴。 面对PB级别数据存储,我们一路走来也踩过很多坑,这里就直接进入主题了,给大家分享一下监控宝系统架构…

    2016-03-23
  • 如何牛逼地设计电影推荐系统

    摘要:如何牛逼地设计电影推荐系统 个性化 所谓个性化就是系统在对每个用户进行相关引导时,应该考虑改用户的特点,比如他的历史搜索行为中表现出来的特点,比如是喜欢科幻、或者喜欢文艺,在搜索相关内容时,可以根据这些潜在模式去调整内容的顺序。 精准营销和消费者分群 精准营销是通过用户的个人资料和行为数据,训练特定模型去对用户进行群体划分,这类方法使用的数据能够有效地…

    2016-03-12
  • 大型网站架构系列:电商网站架构案例

    摘要:大型网站架构是一个系列文档,欢迎大家关注。本次分享主题:电商网站架构案例。从电商网站的需求,到单机架构,逐步演变为常用的,可供参考的分布式架构的原型。除具备功能需求外,还具备一定的高性能,高可用,可伸缩,可扩展等非功能质量需求(架构目标)。 根据实际需要,进行改造,扩展,支持千万PV,是没问题的。 本次分享大纲 电商案例的原因 电商网站需求 网站初级架…

    2016-03-02
  • 数据杂谈

    摘要:记得几年前,曾经有人预测过未来最流行的三大技术:大数据、高并发、数据挖掘。到现在来看,这三种技术的确也随着这几年互联网的发展变得越发成熟和可靠。掌握这三种技术的人,不管是求职还是创业,都属于香饽饽。 一个很深的印象就是当年研究生毕业的时候,专业是数据挖掘、大数据的学生都比较受各种企业的青睐,不管他是不是真的掌握了这些东西。虽然我对大部分高校的相关专业持…

    2016-02-28
  • Airbnb基础数据架构

    摘要:这一篇关于Airbnb基础数据架构。云计算尤其亚马逊的云服务(AWS)提供弹性计算能力,无需购买昂贵服务器甚至机房,通过虚拟化主机,还提供丰富配套组件,节约运维成本,方便扩展,成为很多创业公司的首选。这里Airbnb 工程师James Mayfield以AWS作为基础搭建数据架构中走过的坑和经验分享,由于笔者也刚好做过,难度2星,供做数据的朋友学习。 …

    2016-02-26
  • 如何打造高性能大数据分析平台

    摘要:本文将从技术无关的角度讨论一些提高性能的方法。下面我们将讨论一些能够应用在大数据分析系统不同阶段的技巧和准则(例如数据提取,数据清洗,处理,存储,以及介绍)。 大数据分析系统作为一个关键性的系统在各个公司迅速崛起。但是这种海量规模的数据带来了前所未有的性能挑战。同时,如果大数据分析系统无法在第一时间为运营决策提供关键数据,那么这样的大数据分析系统一文不…

    2016-02-25
  • 浅谈12306核心模型设计思路和架构设计

    摘要:元宵节结束,年就真的过完了。挥别故里,回到打拼的城市,理性思维是否也跟着工作状态一起回归了呢?每一年的春运都是对 12306 的一次大考,抛去盲从和偏见,让我们用工程师的思维重新打量、从业务分析的角度去探讨,12306 的核心模型设计思路和架构设计到底复杂在哪里? 为什么我要研究这个问题? 春节期间,无意中看到一篇文章,文章中讲到12306的业务复杂度…

分享本页
返回顶部