hadoop

  • 百分点技术负责人:我们为什么需要大数据操作系统

    导读:去年9月,百分点公司发布了“全球首款”大数据操作系统BD-OS(基于Lambda架构)。日前,百分点技术副总裁刘译璟和百分点BD-OS产品线高级研发总监刘国栋接受CSDN记者采访,结合BD-OS的设计、研发和架构,对大数据技术演进及应用实践的趋势进行了解读。 所谓“全球首款”,意味着Hadoop、Storm、Spark等当前主流大数据技术的相关从业者几…

    2016-03-24
  • 如何面对PB级别数据的架构变迁?

    摘要:在《Redis集群技术及Codis实践》这篇文章介绍过Codis,今天云智慧的张克琛总监为我们带来了他在运维PB级数据过程中,对于Codis与数据库管理方面的实践经验,是非常有实操性的一篇分享。在把未知问题场景化、问题化、方案化等方面值得我们学习和借鉴。 面对PB级别数据存储,我们一路走来也踩过很多坑,这里就直接进入主题了,给大家分享一下监控宝系统架构…

    2016-03-23
  • 十大最热门的大数据技术

    摘要:随着大数据分析市场的快速渗透到各行业务,哪些大数据技术是刚需?哪些技术有极大的潜在价值? 根据弗雷斯特研究公司发布的指数,这里给出最热的十个大数据技术: 预测分析:随着现在硬件和软件解决方案的成熟,许多公司利用大数据技术来收集海量数据、训练模型、优化模型,并发布预测模型来提高业务水平或者避免风险; NoSQL数据库:非关系型数据库包括Key-value…

    2016-03-19
  • 如何建立一个完整可用的安全大数据平台

    摘要:要建立一个大数据系统,我们需要从数据流的源头跟踪到最后有价值的输出,并在现有的Hadoop和大数据生态圈内根据实际需求挑选并整合各部分合适的组件来构建一个能够支撑多种查询和分析功能的系统平台。这其中既包括了对数据存储的选择,也涵盖了数据线上和线下处理分离等方面的思考和权衡。此外,没有任何一个引入大数据解决方案的商业应用在生产环境上承担的起安全隐患 1、…

    2016-03-18
  • 达观数据分析平台架构和Hive实践

    Hadoop于2006年1月28日诞生,至今已有10年,它改变了企业对数据的存储、处理和分析的过程,加速了大数据的发展,形成了自己的极其火爆的技术生态圈,并受到非常广泛的应用。在2016年Hadoop十岁生日之际,InfoQ策划了一个Hadoop热点系列文章,为大家梳理Hadoop这十年的变化,技术圈的生态状况,回顾以前,激励以后。 近十年来,随着Hadoo…

    2016-03-17
  • 一篇文章读懂Hadoop:风雨十年,未来何去何从

    摘要:我们很荣幸能够见证Hadoop十年从无到有,再到称王。感动于技术的日新月异时,希望通过这篇内容深入解读Hadoop的昨天、今天和明天,憧憬下一个十年。 本文分为技术篇、产业篇、应用篇、展望篇四部分 技术篇 2006年项目成立的一开始,“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的10个年头,这个单词代表的是“核心”(…

    2016-03-13
  • 领英宣布开源数据挖掘软件WhereHows

    摘要:领英称即将开源他们内部的应用软件WhereHows,一个企业级的数据挖掘软件。 准确的说,领英称它为“数据发现软件”。从商业角度讲,WhereHows的目标是从分布式的多种元数据中进行挖掘。 据领英发布的资料显示,WhereHows已经挖掘了50,000条数据集,14,000条评论和35,000,000个工作机会,多达15PB的数据。 在一篇博客中,领…

    2016-03-09
  • 星环科技获1.55亿元B轮融资,定位做Hadoop时代的Oracle

    3月1日,星环科技已完成 1.55 亿元的 B 轮融资,由上海瑞力投资、深创投、中小企业发展基金、基石资本等投资。本轮融资之前,星环科技共完成天使轮 /A 轮 /A+ 轮三轮融资,总金额达 7000 万人民币。投资方有方广资本、启明创投等知名 VC,以及恒生电子等上市公司,并在 B 轮继续跟投。 简单概括,星环科技就是提供一站式 Hadoop 大数据平台,可…

    2016-03-02
  • 吃惊吗?原来这才是大数据的大问题!

    摘要:据Dresner咨询服务公司的一项新调查显示,几乎没人能说清大数据到底是什么鬼;而且参与调查的所有公司,也几乎都没用大数据做真正有意义的事儿。是不是觉得很吃惊 许多公司已经在积极使用大数据,只是它们没有称之为大数据罢了。虽然“大数据”一词有诸多争议,可是这项技术还是变得对公司业务来说必不可少。 据Dresner咨询服务公司的一项新调查显示,几乎没人能说…

    2016-03-02
  • 别笑,雅虎也有人工智能的秘密武器

    摘要:又一个科技巨头与世界分享它的人工智能成果了。2月24日,雅虎公布了 CaffeOnSpark 人工智能引擎的源代码,从学术研究者到大公司员工都可以使用或修改。 也许近年来很少人了解雅虎在科技界的实力。它孵化了开源项目 Hadoop——被 Facebook、Twitter 和许多其他公司广泛使用的数据分析平台。Hadoop 对于人工智能有特别的价值。数据…

    2016-02-29
  • Hadoop数据操作系统YARN全解析

    摘要:Hadoop 2.0引入YARN,大大提高了集群的资源利用率并降低了集群管理成本。其在异构集群中是怎样应用的?Hulu又有哪些成功实践可以分享? Hadoop YARN的生态系统 为了能够对集群中的资源进行统一管理和调度,Hadoop 2.0引入了数据操作系统YARN。YARN的引入,大大提高了集群的资源利用率,并降低了集群管理成本。首先,YARN允许…

    2016-02-28
  • Airbnb基础数据架构

    摘要:这一篇关于Airbnb基础数据架构。云计算尤其亚马逊的云服务(AWS)提供弹性计算能力,无需购买昂贵服务器甚至机房,通过虚拟化主机,还提供丰富配套组件,节约运维成本,方便扩展,成为很多创业公司的首选。这里Airbnb 工程师James Mayfield以AWS作为基础搭建数据架构中走过的坑和经验分享,由于笔者也刚好做过,难度2星,供做数据的朋友学习。 …

    2016-02-26
  • 谈谈MATLAB大数据处理

    摘要: 今天多数的大数据方案都是依托Hadoop环境来做结构化和非结构化数据处理,如何把自己的Hadoop算法快速部署到实际的生产环境当中去,对很多企业的大数据部署也提出了挑战。CSDN专访MathWorks中国资深技术专家陈建平,分享大数据解决方案。 近年来,随着大数据在Google、Facebook等企业的成功应用,很多传统企业和初创公司都转向应用大数据…

    2016-02-25
  • 从大数据的风水图,来看到底大数据是怎么回事

      摘要:本文中的Big Data Landscape图笔者随手分享在LinkedIn上,不晓得引起大量转发和评论,截止本周,得到6700个like,3800次share,400多条comment,笔者也觉得很神奇。这里就跟从事大数据或者投资领域的朋友推荐一下。原文作者是VC First Mark的Mark Turck,提下这一家VC,主要投资于早…

    2016-02-24
  • 商业智能与分析市场剧变:传统BI厂商集体沦陷

    摘要:早在 2015年 初,Gartner 就在《商业智能与分析平台魔力象限》年度报告中说到:“传统 BI 的市场份额领导者被新型 BI 厂商打乱。这些新型厂商让更多的人成为了数据分析用户,并创造了更高的商业价值。” 经过 2015 一年的发展,传统 BI 的颓势愈发明显。 Gartner 在 2016年2月 发布的《商业智能与分析平台魔力象限》年度报告显示…

    2016-02-24

联系我们

如有建议:>>给我留言

QR code