作 者:吉林移动通信有限责任公司网络管理中心 金浩 辛海英
数据是移动通信网管支撑系统的基石。网络数据分布在多个网元中,如MSC、HLR、SCP、软交换等。移动网管支撑系统正是通过对网元数据的采集、解析、关联、运算,从而为网管系统使用者提供必要信息。
由于原有移动通信网管支撑系统的基础数据较为分散,数据库表的命名也是各支撑系统开发商依据各自的习惯制定,相关数据描述文档的缺乏,导致难以重复利用已采集系统数据,使新支撑手段的开发困难重重,同时,现有支撑手段建设对跨专业的数据相关性要求越来越高,因此,数据的整合工作迫在眉睫。
辽宁移动在实际工作中,采用数据仓库系统的方式,规范了数据的采集、存储、命名。规范后的数据描述文档,使数据的再利用成为可能,使跨专业的数据分析更为便捷。
数据仓库系统概述
数据仓库系统可看作是所有网元设备的性能统计计数器的集合,即所有网元设备的统计计数器的性能数据,经过采集分析后,都存储到“数据仓库”中。不仅含有基础的性能统计计数器,还应该包含描述网元设备属性的基本配置信息、采集管理信息、告警原始数据、依据统计计数器及标准公式而计算出来的周期指标报表等各种应用数据,如图1所示。
图1 数据仓库原理架构图
数据仓库要具备良好的可用性、可维护性和可实施性。数据仓库系统为网管支撑系统提供强大的数据支撑,基础数据完备、一致、可扩充,能最大限度保证各支撑系统间的数据一致性,支持应用的平滑扩展。而数据结构设计规范,保证了支撑应用的运行性能。
数据仓库系统数据应与具体应用相对独立,数据仓库系统对生产一线提供了很好的数据支撑作用,满足未来业务发展和管理的需求,在资源、技术和应用方面具有强大潜力。
目前,移动通信网络中含有的网元设备多,报告种类多,设备类型多,系统版本多,涉及厂家多。在这样复杂的网络环境下,数据仓库的建设将是一个循序渐进、逐步规划的过程。
系统建设方案
1.建设原则
(1)现有基础数据的整合
规范现有数据的采集、存储、命名过程,合理规划并分配采集服务器负荷,增加对数据采集、存储的自动监控,完善自动补采机制,避免非厂家报告原因导致的报告延迟与缺失。修订已有的数据描述文档,能够清晰描述数据库表、字段的含义,与底层报告的关联关系,使现有数据变得“透明”。采集、存储过程中发生问题可以通过短信的形式进行实时告警,增强系统问题发现的及时性。
(2)新基础数据的添加
数据命名应严格遵循统一的规范,增强数据的可读性,便于数据再利用。合理规划并分配采集服务器负荷,增加对新数据采集及存储的自动监控,完善自动补采机制,尽量避免非厂家报告原因导致的报告延迟与缺失。通过足够清晰的文档,避免与数据池已有数据的冲突,保证数据的一致性。
(3)基于数据仓库系统数据的支撑系统应用建设
以数据仓库系统为支撑应用的数据源头。吉林移动根据支撑应用的功能与特点组织数据池数据,并根据规范进行支撑应用系统开发,保证了支撑系统建设的规范性、易扩展性、可移植性、易维护性,在支撑系统应用建设的同时,不断完善和丰富数据池的数据。随着业务的发展,数据仓库系统中的数据会不断丰富,制定必要的数据仓库数据规范,可使数据层次和分类清晰、易读、易复用,便于进行各种专业分析及跨专业关联分析。
2.系统技术特点
(1)全面详尽的原始支撑数据
数据仓库系统涵盖了上层应用所需的各类数据,包括原始性能数据、告警、资源等基础数据,为应用系统的需求的快速实现提供了最基础的数据支撑。
(2)灵活的数据组织模式
数据仓库系统采取了可靠有序的组织模式,可以保证各类应用系统的平滑过渡。
(3)稳定可靠的数据存储
数据仓库系统采取了可靠的数据存储机制,最大程度的保证数据的稳定可靠。
(4)良好的运行性能
数据仓库系统作为各类应用的原点,必须保证良好的运行性能。
(5)统一的技术架构
数据仓库系统可以进行数据的处理和应用的开发,最大程度满足以后的应用需求。吉林移动在数据仓库性能原始数据的采集、过滤、存储各环节都增加了必要的监控。数据物理存储根据数据特点适当分离。数据逻辑上组成数据整体,保证了数据的一致性,提高了应用开发效率,对跨专业数据关联提供有效支持。数据池的应用,保证了在规范新网管支撑数据的同时,对旧的网管支撑数据也进行了优化整理,使新应用的开发周期缩短,对跨专业的关联分析应用提供良好的数据支持。
3.具体实现
数据仓库系统采用数据库进行性能原始数据存储、处理以及自动的备份与恢复。入库前,性能数据要进行过滤和筛选。对于单一的网元,我们采取“采集—分析—入库”的步骤,完成性能计数器的采集工作。配置信息与指标报告的采集存储工作将结合新支撑系统应用的开发工作或原支撑系统应用的改造工作逐步展开。针对基本统计计数器的采集存储工作,我们按设备厂家、设备类型、报告类型等方式分类,划分任务和组织开发。
数据采集进程根据网元报告的产生周期实时运行。系统对数据采集进程有实时的监控进程,一旦发现数据采集进程异常退出,系统自动重启数据采集进程,同时向系统维护人员发送短信,提示系统的异常。同时,数据采集进程校验采集数据的完整性,一旦发现数据不完整,可自动进行数据补采,并及时会向系统维护人员发送短信,提示系统异常。
4.具体应用
吉林移动网络管理中心已经建立数据仓库系统,使整个网管系统应用的数据流向变得清晰,便于支撑系统的维护与管理,基于数据仓库的应用建设也简单化,避免了从多个数据源取数的复杂性,同时也降低了由于各个数据源进行数据同步所造成的系统不一致性。依托数据仓库内的数据,吉林移动开发完成了“性能监控大屏网络展示系统”、“软交换性能告警系统”,也进一步验证了数据池建设的合理性和对支撑应用开发的有力支持。