金融业如何构建新一代大数据运营中心?

近几年各行各业对大数据技术的应用越来越多,但凡有财力的企业都跃跃欲试,更何况是“手握重金”的金融行业。金融业如何利用大数据进行精准营销?如何构建新一代大数据运营中心?

近几年各行各业对大数据技术的应用越来越多,但凡有财力的企业都跃跃欲试,更何况是“手握重金”的金融行业。金融业如何利用大数据进行精准营销?如何构建新一代大数据运营中心?且听永洪科技高级咨询师胡星昱围绕金融行业的经验分享。

说到大数据,有两点我们要强调一下:一个是数据资产化,另一个是决策数据化。

IT部门转变成利润中心

信息技术部门是做IT支撑的,每年都会进行软、硬件大批量采购,企业内部都认为信息技术部门是成本中心,信息技术部门的数据也都是伴随业务发生时产生的一个附属物。

随着大数据技术发展,企业希望通过数据寻找业务规律,对客户需求进行挖掘,因为这样做会给业务带来直接的价值,帮助业务进行优化和提升,所以数据成了金融机构的一项宝贵资产,掌握数据量最大的信息技术部门也逐渐成为企业的利润中心。

从战略方向上讲,以前在企业内部,主要是决策人员根据经验主观判断进行决策,这样做的风险很大,因为人会受到自己所处环境和情绪的影响。所以企业必须借助数据的帮助来做决策,并进行客观的验证和预测,要从原来依据经验说话向依据数据说话进行转变。

在数据量和数据分析需求日益增加的挑战下,从战略层面上讲,金融机构需要建立一套“数据驱动型”的模式,即真正落实大数据运营中心。

金融业如何构建新一代大数据运营中心?

从战术方面上讲,金融行业内企业可以尝试三种战术方向。首先可以通过用户画像、精准营销来做运营优化。其次是通过运营分析、产品定价来做精细化管理。最后是利用实时的反欺诈反洗钱应用,以及中小企业的贷款评估来提高风险控制能力,最终实现全面提升金融企业的核心价值和能力。

新一代金融大数据运营中心

金融行业内的企业现在都需要一套整体化的业务架构。构建业务架构要从搭建一套企业级数据中心说起。企业级数据中心会包含企业的业务系统、外部数据和一些机器日志,这些结构化、半结构化和非结构化的数据,都要被汇集在一起。

金融业如何构建新一代大数据运营中心?

在这些数据之上,金融行业内企业可以建立各种各样的分析模型。比如利用用户画像做精准营销,用EVA指标模型和反欺诈模型做多维盈利分析、反欺诈的交易分析等。

运营优化、管理提升、风险监控,这三个方向到底给金融行业带来什么价值?

首先是精准营销。精准营销真正要做的就是了解客户:客户到底是什么样的?客户是谁?客户需要什么产品?客户有什么产品偏好?客户喜欢哪些产品组合……还有就是如何进行有效营销、如何提升客户价值、保持客户忠诚度。

比如,现在很多金融机构都有APP,就可以分析用户在寻找什么产品,用户在找到一款产品并真正实现交易的过程中会浏览哪些页面,在哪个页面停留最长时间,交易中断是什么原因造成的等,而分析结果可以用于提升运营效果。

说到精准营销就不能不谈用户画像。以前经常听到“360度用户画像”这个词。

但我觉得,“360度用户画像”更像一个广告宣传语,因为人是非常复杂的动物,很难用可数的纬度来100%地描述,所以需要从一定目的出发来建立用户画像。

尤其是在企业内部没有足够数据来构建用户画像,需要通过外界渠道来获取数据支撑的时候。数据的获取是有成本的,更不应该盲目搭建用户画像体系。也就是说,用户画像的本质其实应该是从业务角度出发,对客户需求、消费能力,以及客户信用额度等进行分析。

金融业如何构建新一代大数据运营中心?

举个小例子,比如说做存贷款产品营销时,可对高价值信用卡用户的AUM进行分析。筛选他们每月的消费金额、信用额度、当前存款情况、贷款有没有拖欠,是不是商务卡持有者等,通过这些维度对用户进行分析。再针对不同用户分群给出不同的营销策略。比如说哪些用户该提升额度,哪些应该为其推荐金融产品。营销在落实时,可以先通过短信进行营销,再通过呼叫中心来了解客户意图。当客户有意向时,再交由理财经理进行进一步跟进。

除精准营销,还有多维盈利分析。多维盈利分析金融机构已经做很多年了,我最近也与国内几十家金融机构进行了交流,发现其实在业务上他们都希望多维盈利分析能够做到帐户级。可实际上,大部分金融机构现有的IT架构只能支撑做到产品级,或是科目级分析。为什么?就是因为金融机构普遍数据处理能力不够。如果要跑一个帐户级的结果出来,系统要跑好几个小时。而通过数据运营中心,就可以实现几十分钟出结果,企业就可以更好地进行精细化管理。

在风险监控方面,可以列出很多风险监控的指标,再通过这些指标用大数据平台进行实时监控,真正了解整个企业当前所处的风险等级。

传统业务架构存在的6大缺点

上述应用在传统架构下能否实现?我认为传统业务架构存在6大缺点。

金融业如何构建新一代大数据运营中心?

第一是不够敏捷,对业务新需求满足的时间太长。我通过交流了解到,有些金融机构内部业务新的需求提出后,需要几周,甚至几个月时间才能把报表提交上去,业务人员才能看到他需要的数据,这种效率显然跟不上市场变化。

第二是性能不佳,在海量数据面前,没有足够的计算能力去实时计算数据。

第三是洞察力弱,传统IT架构已无法深入挖掘海量数据的数据价值。金融企业的分析人员已不满足于只看到数据呈现,还希望对数据进行聚类、分类的算法来挖掘数据价值。

第四是扩展性差,海量历史数据无法单机存储,传统的IT架构又不支持水平扩展。

第五是无法挖掘非结构化数据价值,现在每年金融机构的数据增量中有百分之七十到八十的数据属于非结构化数据,如果不能把这部分数据的价值挖掘出来,是严重的浪费。

第六是成本高,从系统搭建到项目实施整个过程不可控。动辄上百万元资金成本或一到两年时间成本的项目在金融机构中很多。

所以,永洪提出了新一代的金融大数据应用中心的IT架构,可以根据业务需求不同,分为在线需求和离线需求。

在线or离线

为什么要分在线和离线?其实,很多需求都是按时效性区分的。

举个小例子,比如我们会分析现有的客户中,哪些属于即将流失的客户,哪些是高价值客户。在这个过程中,要经过复杂的模型,考量多个指标来判断,而结果也许并不需要马上就得到。但在分析某个地区时,高价值客户最近的消费倾向这种分析需求是非常灵活且时刻变化的,这就要求能够实时得到计算结果。

下面,我把在线和离线分开介绍。

在线分析需求,我们总结出了一个最佳实践。这里顺便回答下如何实现敏捷分析的问题。在以前的架构中,通常是把业务逻辑和数据模型结合在一起,也就是根据业务需求制作数据模型,制作CUBE,做二次表,进行汇总计算,最后反馈和展现的只是一个很小数据量的结果。在那这样的架构中,前端需求一旦变化就需要改模型,造成工作量大,交付时间也会拖长。

金融业如何构建新一代大数据运营中心?

所以永洪提倡把数据模型和业务逻辑分开。数据模型只把跟分析主题相关的数据关联到一起,做一张大宽表。比如,现在要进行营销相关分析,就把数据交易数据、用户数据、渠道数据都打通,关联起来,但这些数据不要汇总,也就是要保持交易记录级的数据粒度,而要分析哪些纬度,需要什么粒度的数据,都可以通过实时的计算,这样就不会造成业务逻辑和数据模型混在一起。

不能每个分析需求都建一个CUBE,之前我见过有的企业数据仓库中有上千个cube,因为数量太大,根本没人来管理。而每当有新需求提出,也只能做新CUBE。这么做对企业来说有风险。

如果不愿意对数据来进行汇总计算,而是进行实时计算,就要提供大量细节数据实时计算的能力,这时可以采用了MPP数据集市来处理在线分析需求。

在这个过程中,永洪运用了列存储、分布式计算、列存计算的技术来提高运行效率,就算是百亿级的数据,也可以通过这种分布式的集群,实时进行分析计算,然后反馈给用户。

此外,大数据平台离线分析是通过Hadoop的平台来做结构化和非结构化数据的存储,解析。然后在上面会用YARN量做资源管理——根据分析需求决定是用批处理模块还是搜索模块、是用流处理还是用机器学习等。

永洪科技现正在帮助国内各个企业进行数据挖掘应用。我们的客户范围涉及电信行业、能源、政府、金融、零售,还有IT互联网行业,永洪会帮助他们提升数据运营效果。

接下来,简单介绍几个做过的案例。

首先是一个股份银行,永洪通过大数据平台,帮助他们进行用户画像的精准营销,把金融机构持卡人的信息、信用卡信息、微信卡信息都拿过来。在大数据平台上,通过画像和算法给用户进行画像分群,根据分析需求来构建画像模型,基于Map Raduce聚类和算法对用户进行分类,然后再进行数据域处理,最终完成用户的画像。

金融业如何构建新一代大数据运营中心?

另外,永洪也帮助华北一些金融机构在传统数仓上搭建在线分析平台,以及帮助他们建立全行的报表平台。例如行长驾驶舱和业务类型报表。永洪也为中信金融机构杭州分行、四川分行搭建了在线分析平台。杭州分行通过在线平台帮助用户实时分析零售数据。以前他们的分析人员大部分精力都用在整理数据和制作报表上,通过永洪的在线平台,业务人员可以自己接触到数据,并且可快速地生成分析报告,把真正精力都放在分析数据这块。

现在,整个行业正处在数据架构和数据分析系统的变革时期,永洪科技非常希望通过提供专业技术和服务来帮助金融机构把数据价值挖掘出来,提高业务能力,提高竞争力。

作者简介

胡星昱:澳大利亚莫纳什大学商业信息系统硕士,拥有3年大型企业需求分析,项目实施和解决方案制作经验;曾为国外大型零售企业和政府机构设计和实现数据分析系统,成功推进国内多个大型金融项目的需求、设计、研发、实施工作。在企业级系统集成,大数据,BI领域有丰富的项目经验;目前主要负责产品和解决方案的咨询工作。

本文采用「CC BY-SA 4.0 CN」协议转载自互联网、仅供学习交流,内容版权归原作者所有,如涉作品、版权和其他问题请给「我们」留言处理。

(0)
上一篇 2016-05-04 22:54
下一篇 2016-05-06 09:00

相关文章

关注我们
关注我们
分享本页
返回顶部