电力日志管理解决方案

方案摘要

企业IT系统往往都有日志存储的需求。日志属于结构化、半结构化流式数据或归档数据,具有数据量大且持续增长的特点,有些情况下对并发写入也有较高要求。一般来说,日志存储的目的不简单是把数据存起来,而是要做后续的查询分析。在大型企业里,日志存储还有多源汇聚(从多个系统采集格式不同的各类日志),统一存储、统一查询、关联分析的需求。本方案为多源和异构的日志提供了可扩展的海量存储能力和高速的查询能力。

业务挑战

在电力行业中,企业在日志存储方面面临以下问题:

1、业务系统多并且分散部署,日志文件类型、日志格式千差万别,很难做到统一存储、统一查询和关联分析,数据挖掘利用困难。

2、数据量大,并且持续快速增长,对存储能力以及扩展性要求极高。

3、很多场景下数据来源分散,并且要求高并发快速写入的能力。

4、要求做实时、准实时的数据挖掘分析。

5、要求做时候的数据分析,对大批量数据的读取速度要求高。

方案描述

基于Bitsflow和虚拟存储管理系统,可以构建一套分布式的日志管理系统来对所有业务系统和的底层的第三方中间件基础设施的日志进行统一管理。

分布式日志系统利用原有的日志系统进行构建应用接口层,通过改造原有日志模块的底层接口,将原有日志系统纪录的日志导入到Bitsflow中,采用异步的形式发送数据。应用接口层提供支持业界标准的log4j、commons-logging、J2SE logging等框架的插件,所以建立新的日志系统不需要对现有业务系统进行任何修改。而异步的数据传输形式可以极大的减少日志系统对整个系统的性能损耗。

根据用户自定义的日志管理策略,Bitsflow平台将日志进行过滤、筛选以及优化,比如完全一样的多条重复日志可以合并成为一条,并在合并后的单条日志中体现出消息所重复发生的次数。日志管理的策略完全可以由管理人员定制,不同类型、不同应用程序、不同子系统或者重要级别的日志将由指定的日志管理系统节点的数据库负责存储以及管理。管理人员可以通过日志管理系统的统一管理界面对这些数据进行方便的查询、监控和数据统计。

在日常的系统运营和维护的过程中,有很多重要的事件和警告需要得到实时响应。日志系统监控模块接入到Bitsflow平台中,对业务系统发布的所有日志在存储之前就进行过滤,按照设定的警告级别,对于相关重要程度的事件以短信息或者邮件的形式实时发送给相关管理人员。

对于江苏电力这种规模的业务系统,每天都会产生海量的日志,而日志数据有很高的时效性特点,对于超出一定时间范围的历史数据进行浏览查询的需求相对较少。从另外一方面来看,历史日志信息可以被用来作数据挖掘,得到更多有价值的信息,因此历史日志数据需要可以持久可靠的存储。出于上述原因以及性能和成本的考虑,日志管理子节点只保存近期的日志数据。对于历史数据,历史日志信息管理模块负责定期将各个日志从单独的日志信息管理节点的数据库系统中转移存储到后端的分布式存储管理系统中。

方案价值

• 利用和改造原有日志纪录模块,业务系统原有的逻辑和代码不需要任何改造。

• 异步多通道进行日志纪录和处理,极大减轻日志系统给整个业务系统带来的负担。

• 高度可配制,用户可根据业务系统、事件类别和优先级等条件对日志设置处理规则,采用可配制的过滤粒度和分类存储,方便日志的管理和查询。

• 独立的监控模块,可高效实时地进行事件预警和监控

• 历史数据管理,利用强大虚拟存储系统,高效可靠的管理历史数据,支撑历史查询和数据挖掘功能。

• 采用B/S结构,客户端无须安装任何软件。

• 自动信息过滤和整合,即使业务系统发生严重异常也不会导致“日志风暴”

• 数据节点可自由定制和扩展,无须额外开发和部署

• 更加高效和可靠的历史数据存储系统,内置数据备份和恢复功能

使用产品