作 者:江苏联通业务支撑系统部 倪岳龙 崔正锋 沙甲戊
本文涉及的解决方案名称为赛门铁克的VeritasStorageFoundation Cluster File System 5.0,以下简称VERITAS CFS。
江苏联通NGBSS建设背景
随着电信市场竞争的日益加剧,电信运营的首要目标已经从挖掘增量市场的价值转向挖掘存量市场的价值。如何保持现有客户,让现有客户使用更多的业务,保障现有客户的价值,已上升为提高利润及运营价值最需探讨的问题。另一方面,国际化的市场环境要求中国联通必须立足国际,制定国际化的经营战略,在经营管理上向国外先进的电信运营企业看齐,以迎接电信运营业的国际化竞争。以上市场环境对中国联通的服务内容、服务方式、服务质量、经营管理都提出了严峻的挑战。
在以上背景下,中国联通决定启动新一代BSS系统的建设,以从根本上解决BSS系统中长期以来存在的问题,改善中国联通BSS系统的运营支撑能力,并通过IT系统来规范和固化业务流程、管理流程,为用户提供更好的服务,从而提高中国联通在日益复杂的市场环境中的核心竞争力。
江苏联通老计费系统中存在的问题
计费系统是联通NGBSS的重要组成部分,计费系统的主要功能是对从交换机和关口局采集下来的原始话单进行预处理、分拣排重、批价等一些列的处理,最终生成统一的批价详单,完成对用户的批价算费。
下面图示表明了典型的计费数据流图:
江苏联通老计费系统中,所有计费应用的进程都运行在同一台服务器上(由于非群集文件系统,文件系统只能挂载在一台服务器上)。为分担应用,另外增加一台服务器,用于分担短信业务。两台计费服务器分别处理语音话单和短信话单,架构图如下:
在实际运行中这种架构存在以下结构性问题:
1.单点故障。由于两台计费服务器分别处理语音和短信话单,相应部署的计费应用程序也不同,造成任何一台计费服务器故障时,另一台服务器不能接管其全部或部分业务。
2.系统瓶颈。因为所有的采集、预处理、分拣、排重、批价进程跑在一个服务器上,对服务器资源的要求非常高。尤其是语音话单部分,单台服务器的处理能力成了整个计费系统的性能瓶颈,由于文件系统只能同时挂载在一台服务器上,所以应用也不能横向扩展,限制了业务的发展。尤其是在话单重批、月末出账等高压情况下,应用服务器都是远超负荷在跑,严重影响重批和出账的速度。
3.维护麻烦。由于语音和短信计费事分跑在两台服务器上,当应用升级、采集点变更等需要对应用配置进行维护改动的时候,都带来双倍的工作量和升级时间。安排计划内的维护停机也相当困难,需要停止应用。
从对老系统的分析可以看到,对计费应用架构进行改进的核心问题是提升其横向扩展能力,必须做到让多台服务器分担计费处理业务。那如何扩展?常见的应用扩展分割主要有以下两种:
1.按地市划分
以地市(或号段)分割话单,在每台计费应用服务器上运行完整的计费程序,只是处理话单的地市不同。
这种方式划分简单,应用服务器之间的耦合比较低。但是同时也存在两个问题:1)一是多台应用服务器之间相互独立,实现应用服务器的冗余互备比较麻烦,需要实现多节点的HA;2)二是对于省内漫游的话单处理比较麻烦,需要通过ftp等文件传输接口方式进行文件传输,影响计费的速度。
2.按功能模块划分
每台计费应用服务器分别运行不同的计费模块,如预处理,排重,分拣,批价,入库,但都是处理同样的目标话单。
这种方式实现比较复杂,需要对应用进行改造,同时也存在一个比较严重的问题。因为在计费的过程中,有7次文件落地到磁盘的过程,这意味着要在应用服务器之间进行多次的文件传输,这会严重影响计费的速度。
江苏联通新计费系统应用CFS的架构调整
江苏联通在新一代BSS中采用按地市划分的方式实现计费的横向扩展。前面提到按地市划分存在的两个问题,由于使用了VERITAS CFS提供的群集文件系统,在6台应用服务器之间共享了计费应用的文件系统,得到了完美的解决。
VERITASCFS让SAN真正发挥作用。通过所有采集和计费服务器直接在SAN上共享相同的文件系统,VERITASCFS提供了一个高效可靠的数据共享基础架构。
上图即为江苏联通在新一代BSS计费系统的架构描述:6台计费应用主机共享CFS文件系统,两台应用服务器负责从交换机采集话单文件,另外4台应用服务器则负责对采集后的话单进行预处理、分拣、排重、批价、入库等过程。
因为引入VERITASCFS,前面提到的所有问题都得到了解决:
1)6节点互备冗余,避免单点故障。任何一个节点发生故障,原来上面跑的业务都可以很方便的跑到另外的任意一个节点上。
2)良好的扩展能力。如果这6台应用服务器还不能满足应用,一方面可以对应用服务器本身进行扩容,也可以再扩展应用服务器的数量分担压力,最大可以扩展到32个节点。
3)避免了节点间的文件传输。所有节点共享文件系统,有效的避免了节点之间的文件传输开销,提高了性能。
4)维护便利。对应用进行更新和升级操作时可以采用滚动升级(rolling upgrade)机制,消除了升级和更新带来的停机时间,可以很方便的安排计划内停机,并且不影响业务。
总结
VERITASCFS的引入,解决了老计费系统中结构性问题,加强了计费应用的健壮性和可扩展性。在NGBSS割接上线后近3个月以来,CFS一直运行稳定,同时也提供了非常好的读写性能(顺序读写达到450MB/s,随机读写达到150MB/s),为快速计费提供了底层的技术保障。