通信世界网讯(CWW) 金融数据中心一贯是小型机的天下,这是源于金融业务以可靠性和稳定性为首要指导。不过,随着大数据和分布式架构的流行,x86服务器凭借堪与小型机比肩的性能,正在逐步抢占小型机的市场空间。
在信息化时代,数据深刻影响着银行的未来发展,谁拥有数据谁就获得了话语权。数据的价值来源于对海量的客户交易数据、客户行为数据等的深层挖掘和分析,以便做到精准定位和营销,进而根据不同的客户和市场需求设计不同的金融产品,提升银行的盈利能力。这种基于大数据的金融业务创新,目前已经成为各商业银行的竞争焦点之一。
中国农业银行作为中国四大国有银行之一,据不完全统计,目前其各应用系统每年产生的结构化数据已经突破100TB,而非结构化数据更是突破1PB(1024TB)大关。这也促使农行在大数据实践方面积极走在行业前列。
数据飞速增长 IT架构挑战严峻
过去,农业银行业务系统运行平台多是小型机,而小型机单机扩展能力有限,原有的架构越来越难以支撑飞速增长的业务应用的计算资源需求。
厂商来源单一也导致小型机的采购和维护费用高昂。 特别是Unix小型机软件封闭,操作系统、 虚拟化、数据库等软件采购费用相比x86架构高出数十倍,性价比较低。
于是,近年来在互联网行业广泛应用并持续创造价值的Hadoop大数据方案,引起了中国农业银行的关注。Hadoop框架的一个显著特点是,将以往需要高性能小型机才能完成的计算任务,分解为由多台x86服务器(甚至PC机)组成的计算集群来完成。
2012年7月,农行正式引入业内广受关注的Hadoop大数据方案。该方案首先被应用于支撑对历史交易数据进行查询与分析,通过采用业界流行的Hadoop分布式计算框架,处理海量结构化和非结构化数据。
经过认真的评估与论证,农行的IT技术团队认为,由x86服务器组成的计算集群,在计算性能上可以满足Hadoop大数据方案的要求,但在经济性方面比小型机更具有优势。
联合华为试点分布式计算架构 顺应U2L大势
为验证这种可行性,2012年下半年,农行的IT技术团队与华为的服务器研发团队成立了联合工作组。根据双方达成的合作协议,华为将提供x86服务器组成计算集群,由农行在华为的计算平台上运行Hadoop的相关软件,并进行相关的业务测试。农行与华为均希望通过试点“x86服务器”的分布式并行计算架构,来共同应对金融大数据业务带来的挑战。
首先,农行希望x86服务器在计算性能上应具备“秒级响应”的能力。目前,农行在中国境内的分支机构超过2.34万,服务的客户超过4.2亿,各营业网点、自助终端设备、网上银行等对数据中心的访问属于高并发访问。对于历史交易数据的查询与分析业务,为确保客户的满意度与银行的工作效率,农行要求大数据处理平台对交易明细数据的随机查询要在“秒级”完成响应。
“这就意味着,在1秒钟之内,大数据处理平台要从120TB的5年历史交易数据中,也就是大约650亿条的历史交易记录中,将查询结果反馈给用户。”农行的专家这样跟华为说。
其次,农行希望x86服务器具备良好的经济性。在应用x86服务器之前,农行多采用小型机来承载历史交易数据的查询与分析业务。为满足业务要求,小型机首先需要存放至少5年120TB的历史数据,同时每天新增的交易记录在4000万条以上,需要约100G的存储空间。但小型机相对封闭的硬件架构设计,使得其可扩展性受到很大的限制,导致每次扩容成本都很高昂。此外,小型机非通用的架构设计,也给农行带来了不菲的维保费用。
|