领诚科技大数据日志分析解决方案

领诚科技大数据日志分析解决方案

日志分析,并非大数据“雕虫技”

经过长期的信息化建设,企业积攒了成百上千套系统,每天产生海量的日志信息数据。然而,大量的日志信息往往被遗弃、或存放历史库中,未能有效发挥其价值。部分企业逐步意识到日志信息的重要性,部署了Tivoli等管理系统,但这种传统解决方案,对半结构和非结构化数据适应性极差,且局限于历史数据的统计展示,对日志数据的获取、使用和价值发挥均存在较严重的能力不足。

造成这些日志分析窘境的原因,主要包含以下几点:

日志数据的存储和维护成本高;日志记录格式不规范、不统一,导致整合困难;日志记录的垃圾数据较多,数据价值提炼困难且成本高;使用手段单一,多是对系统异常现状监测和核心数据备份;海量日志信息流转期长,时效性差。

随着科技的飞速发展,大数据技术日趋成熟,在日志分析方面,大数据亦能大展雄威。领诚科技大数据日志分析解决方案,可望有力地改善企业日志分析的处境,全面发挥日志分析的业务价值。

总体解决方案

经过多年的潜心研究和实践,领诚科技对大数据技术及应用具有深刻的理解。大数据,并不仅是指数据存储量的巨大,更强调数据维度的全面和更快速的结果反馈。因此,我们需要从数据源的全面性、时效性和预测能力等多方面发力。

大数据日志分析解决方案的核心思路如下:

基于NoSQL等技术的数据存储系统,以适应数据源格式多样性和不统一,极大限度的促进数据的全面性。

设计常规数据源API,通过拖拽的方式实现大部分数据的接入,降低多样数据源的接入成本和IT人员维护难度。

采用分布式架构,通过廉价服务器集群方式来存储和计算海量日志数据。

设计离线与实时分离的数据处理方式,实现对海量历史数据的和实时数据的分析,协助系统管理人员实现对问题的敏捷洞察,快速排查故障。

集成开源的R、Python实现对日志数据的可视化和深度挖掘,从而完成对生产系统全面预警、监控、统计分析和故障排查。充分利用机器学习和人工智能分析方法,实现对关键问题预测分析,协助管理决策,全面提升企业信息化管理水平。

整体架构示例图:

领诚科技大数据日志分析解决方案

针对不同企业的不同数据安全及系统管理要求,我们提供公共云与私有云两种部署方案。两种模式均提供丰富的API,可以对多种类型传统关系型数据库、非关系型数据库以及平面文件实现批量和实时的采集、整合和分析。

相比私有云方案,公共云更具性价比,我们提供7×24小时托管服务,无需耗费大量资源运维底层系统。另外,去中心化的架构设计能够提升服务的稳定性。更有价值的是,我们内置大量常规分析模型和机器学习模型,能够有效降低企业预测分析与实时预警的门槛。

公共云方案

云端模式可以通过代理自动上传日志数据,通过云端分析平台统计和分析日志数据。

公共云架构:

领诚科技大数据日志分析解决方案

私有云方案

私有化云模式需要本地部署日志采集和分析平台,通过企业网络总线实现日志数据的集中,再由分析平台提供分析和预测服务。

私有云架构:

领诚科技大数据日志分析解决方案

日志采集与整合

针对不同企业的日志存储策略,我们提供丰富的API,可以对多种类型关系数据库、非关系数据库、XML文件和平面文件实现批量和实时采集。对于特殊日志格式,可以定制接口,最大限度保证数据的完整新。

海量日志收集后经由平台统一进行分类整合。首先,对日志原始数据进行清洗,提高数据质量;其次,对数据进行标准化转换,统一格式和口径;然后,根据维度建模的策略对数据进行转换;之后,根据需求进行KPI计算;最后,根据分析需求建立不同主题的集市主题。

存储与计算

整合后的数据由分布式NoSQL和关系数据库存储与计算。这也是集中体现大数据优势技术的地方,分布式的策略极大的降低数据存储成本,相对其它开支几乎可以忽略不计。另一方面,处理海量数据的计算能力却极大提升,能够快速分析日志结果,从而减少系统运行问题带来的影响。除此以外,我们提出离线和实时数据分流的策略,进一步平衡实时性和成本的平衡。

应用分析

应用层面,提供多种可视化组件,通过拖拽式操作即可实现对日志数据敏捷展示、查询和多维分析。在此基础上,提供全面预警功能,可以通过邮件和短信等形式迅速反馈预警信息。同时,集成R和Python,满足数据挖掘、机器学习和人工智能分析需求,实现对关键问题的聚类分析和预测分析,全面提高日志数据的利用效率。

学习示意图:

领诚科技大数据日志分析解决方案

日志分析是发现系统安全问题的重要手段之一,我们利用整合的日志数据,通过安全分析模型,利用机器学习相关算法,可以迅速洞察以下几种事件:受感染软件恶意传播,遭受入侵的系统,成功的攻击,内部人员违规操作,隐蔽通道或隐藏后门通信,高频探查。

本文采用「CC BY-SA 4.0 CN」协议转载自互联网、仅供学习交流,内容版权归原作者所有,如涉作品、版权和其他问题请给「我们」留言处理。

(0)
上一篇 2017-09-29 08:21
下一篇 2017-10-14 08:39

相关文章

关注我们
关注我们
分享本页
返回顶部