基于大数据技术的日志管理解决方案

方案背景

目前保险行业伴随着社会意识形态、客观经济发展在逐步壮大。随着保险业务规模的不断扩大、业务信息系统的不断增加、提供服务的硬件设备的不断增加,每家保险公司系统运维面临的压力也越来越大。

作为系统运维的主要参考源数据──日志信息,无论从类型、还是数据量来看,都呈现出了爆炸式增长的趋势。传统的日志管理平台已经难以处理海量的日志数据,更难以基于这些日志数据做相关的统计分析,日志数据的价值无法被挖掘变现。鉴于上述原因,我们推出了基于大数据技术的日志管理解决方案。


方案内容

基于大数据技术的日志管理平台,包括日志数据的采集、日志索引数据的建立、海量日志数据的存储、统计、分析、挖掘,实时日志数据的计算及展示,支持系统运维过程中产生的几乎所有主要日志信息,包括服务器、安全设备、网络设备、中间件、数据库、应用系统的日志,全面覆盖了运维过程中对日志的查询、实时监控预警、报表统计分析、数据聚合挖掘等主要操作。平台综合采用了多种大数据技术组件,数据采集端使用Flume及Kafka,日志检索使用的ElasticSearch组件,实时流处理主要采用Storm,存储、分析主要采用HDFS、Hive、Spark等组件,整个平台具有分布式、高可靠、高可用性特点。


方案价值

基于大数据技术的保险行业日志管理平台,无论从支持的数据量、数据类型、采集能力、处理能力、分析能力等方面,都全面超越了传统的日志管理平台,极大提升了系统运维的能力,减轻了运维压力,实现日志数据增值:

打破日志信息孤岛

通过实时、批量的采集不同类型的日志信息,进而存储到统一的大数据平台中,完成各类型日志数据的统一管理;

提升实时预警预测能力

运用实时流式数据处理技术,在日志数据实时产生的过程中,通过特定算法规则,实时计算出重点关注的日志项结果,实现系统的实时预警预测能力;

挖掘日志信息潜在价值

通过对海量的日志数据进行关联、聚合、分析,挖掘出日志数据中有价值的信息点,用来指导运维及业务系统,实现日志数据的增值。


扫描二维码
一键拨号

咨询热线:4001831066

csi.cc@chinasofti.com

快乐十分技巧-广东快乐十分-快乐十分注册网