图4:基于曙光XData大数据一体机的离线数据分析系统
银联之前的关系型数据库存储能力非常有限,只能保存三个月的数据,造成大量历史数据堆积且管理困难。面对刷卡交易量激增,商户评分,持卡用户兴趣分析等新业务需求,银联构建了50台双路x86服务器规模的XData大数据一体机。利用支持海量数据访问的Hbase和分布式文件系统(HDFS)打造了高并发、高可靠的网络传输和存储层,并将数据保存时限提升了一倍。另外,该系统还支撑了350TB原始刷卡信息存储容量、实现了50万每秒的记录稳定导入速度,以及随机单条记录“毫秒级”返回,万级别查询5秒内返回的惊人速度。
河南移动经分与流量运营系统:改善用户体验,实现精准营销
图5:基于曙光大数据技术的流量运营分析平台
在以OLTP为核心的传统架构中,河南移动在创新业务推进过程中的技术难题不断出现:系统分散建设,难以实现资源和应用共享;数据分散存储,标准化程度低;大部分业务只对内提供服务,未能有效地进行规模化商业利用。为此,河南移动与曙光公司合作进行的经分系统和流量经营分析工程,采用基于IB网的XData-Hadoop分布式计算平台的方案。该系统实现了Ethernet、Fibre channel、Infiniband 三网融合,最大可能的满足Xdata-Hadoop 集群和数据库处理平台的高速通讯需要。
大数据让河南移动可以根据竞争情况和客户需求,加快实现流量的实时计费和提醒,优化了数据流量资费体系,降低了套餐内外的资费水平差距。而精细化营销能力的全面提升,不断提高了客户的满意度和大幅度降低流量投诉,还为整个移动集团的战略目标落地提供了支撑力。
军工某所热点信息监控系统:“三位一体”,构建大数据生态环
该系统负责数十万个热点的同时监控,借助曙光云平台和大数据产品形成了数据分析、数据存储、数据检索“三位一体”的大数据生态环,并利用XData-Hadoop索引器将Heritrix爬虫器、Solr/Lucence查询器对关键信息进行聚集,实现了安全、个性、高效、智能的查询功能。
同济大学大数据柔性处理平台:教育资源整合,XData-Hadoop构建弹性数据管理
该平台涵盖三个服务分区和一个共享存储中心,即网络信息服务、交通信息分析、医疗数据分析和存储中心。同济大学以数据为中心,利用XData-Hadoop 分析集群和集中存储系统来搭建,消除了资源孤岛,各点按照业务强度均衡互联,同时其可伸缩性能够随着数据膨胀而随需扩展,达到真正柔性计算平台的标准。另外,由于实现了数据网和业务网的分离,进而达到了数据通信和业务通信运行时互不影响的建设目标。
|