通信世界网3月6日消息,2008电信运营支撑系统发展论坛今日在北京南粤苑宾馆拉开帷幕。本次论坛以“面向全业务运营,构建融合创新的运营支撑系统”为主题,就运营支撑系统当前的使用状况、发展趋势以及未来、IT支撑网络、OSS与网管支撑系统、计费与BSS等内容,邀请专家学者、运营商嘉宾、厂商代表、咨询机构代表等进行深入交流和探讨,提出一些建设性的建议和意见。通信世界网正在进行现场直播。
图为 中电达通通信科技有限公司技术总监 刘雷
刘雷:大家下午好,我今天是倒数第二个讲的,大家应该是很困也很闷,感谢各位朋友愿意听我介绍这个解决方案。我昨天才接到的通知进行这个演讲,希望大家在我的介绍中能够获得一些收获和帮助。
大家能不能跟我互动一下?这里不是搞技术的举一下手。我知道各位都是属于在业内的前辈,在这方面来讲,我75年出生,在电信口也只干了8年,不敢谈在这方面了解多少东西,作为一个国内企业来讲,这些年也经过了几次生死挣扎吧,面对很多问题。
对于详单来讲,做过电信的都知道详单的数据量很大,20、30个TB很平常。在应用前景上,我们的详单跟别人的不一样,我们的详单是数据库方面,支持数据查询的服务器,大家讲这市面上不是很多吗,买一套的Oracle几十万,最后算下来几个TB的数据还要倒到磁带库里面。
我今天讲的包括三个,存储、形象、管理。
在存储方面,要做怎样的运维呢?做运维每年都要进行扩盘,如果用了我们这个东西,很可惜每年就不再需要扩盘了,这样可以节省一些成本。
磁盘中的数据都像宝贝一样,这是我们积累了很多年的数据才积累来的,我当年在内蒙联通第一次实施方案的时候,因为资源比较紧张,因为资源服务器要进行资源变动,在这种情况下我不敢去变动,那么我对系统做一个改动,最后还好变成了0-2.5个,当时我用的是一个晚上就把所有的数据都倒过来了,数据量有2.5个TB。
现在把它采集下来,到我们的系统,到就位需要多长时间?10分钟。庞大的数据维护起来非常非常的困难,我们现在的硬盘也非常大,一块硬盘倒个300、400G的数据也挺头疼。
那么我在仅半个小时内只能做一些简单的介绍。我们的系统在检索的时候对于数据没有任何影响,我们做过很多测试,对比Oracle我们比他快2倍,当然这是报的数字,我也曾说过5倍,为什么?因为Oracle一个蔟只有2k,而我的蔟有32k。那么我们能不能够把这些数据从磁带机里压缩、存储,然后还可以随时随地查,查起来就会比较快,我们说现在系统有多先进啊多先进?有一个问题就是必须结算,网间啊、银行啊,都要结算,联通、网通间互联互通多少钱?跨省需要多少钱?做运维的很辛苦,那我们当时提出的一个方案,我用一个所谓的聚集索引的技术,这个技术就是用一个索引对应多个数据。
一个磁带库多少钱?几十万,再买点磁带,我们的系统有些地方还卖不到这个价,但是国产的东西就是这样,压价,然后很长很长时间的验收,经过漫长的等待,最后发现你的系统还不错,真可以做到这么快。大家都是这个领域中的,一个新的系统推出来要经过多少磨难,但今天这个系统真的推了出来,我就应该给大家做一个介绍。
说了这么长时间了,有人说了,你可真牛,比Oracle都快,有没有人这么想?其实我也认为是有。最开始我没有把目标定的那么高,最开始我们通过MSCO(音),最大的影响是什么?我把数据写到磁盘中,怎么把数据调出来?第一个是磁盘IO,第二个是把数据库调回一下。那就从这两件事情入手,MSCO现在自己在做存储引擎。大家知道Oracle的系统是联机的系统,这样难免会遇到一个东西,就是事务、权限。
我们说,你瞄准的是国际第一的企业,那你就要具有国际第一的性能和技术。
下面我们说一下,它怎么就能够那么快呢?大家告诉我,有没有学过数据结构的?二差数在进行检索过程中会出现一些问题,这个数越高你定规就越复杂,时间等候周期就越长,那我怎么减少这个时间?那就是把二差数短一点就能很快的查到了,怎么做到的?我在把数据存进去之前,把它排好序放好位置,然后加个标记找出来。技术实现非常简单,关键就是说你在进行检索缓冲区的时候,找出来就简单了,反过来就行,这样就是比Oracle快的原因,我是真的感觉到比Oracle快5倍的那种喜悦。
另外我的这个解决方案不是应对于所有的数据。实时、频繁变更的数据,响应速度影响系统可用性。例如用户的费用结余、本月及的实时费用。这部分数据约占总数据量的5-10%。数据特点是:性能要求最高,数据量不大,那么我们就把这些数据交给Oracle去做。那么几个月以前的数据呢?我们应对的数据就是这些数据,这些还需要改动吗?那么这些数据占了多少?我这里写占了60-70%。
那么我们面对的是庞大的数据量,20个T以上的欢迎,太小了没意思。数据静态存储,系统中60% 以上的数据是对用户使用服务的一种真实记录,数据一旦产生就不允许修改,属于静态历史数据。访问频率不同,近期数据访问频繁,而远期数据访问概率很低。远期数据我们强烈的压缩,20倍过不够?不够再加20倍,最高的时候到过26倍,传输速率比Oracle快。
对数据的特点分析我就不多说了。我们所面对的就是静态、历史的数据,我的存放解决方案可以打幅度降低存储成本。提速和扩容这块,这块我说几句吧,也就剩10分钟时间,如果我这个东西可用。C++、Oracle语句不行吗?我们说可以,这叫什么呢?叫保护投资,原来那么多一流的东西,现在想用怎么办?我们想把后台的东西换了,我们在河南联通有过这样的示范。
也就是说通过这种方式实现了数据库的仿真,可以仿真Oracle和防震DB2,这样可以把我们的应用前景放的更大。这里有很多图,是我们的每一个应用、每一个模式,这个项目已经做了六年了,可以支持Windows、HPUnix、Solaris、ATX、Linux、FreBSD,由过去的一个实验系统,到现在成为一个真正的产品,数据库系统包括Oracle、Sybase,DB2等等,接口包括ODBC、JDBC。
这是采集过程。这是产品上的理念,我就不多做介绍了。产品的特点,压缩最高可以达到26倍,如果要写到合同里,我会写20倍,做不成可以不给我验收。我们的彩页上都有相应的介绍,需要彩页的朋友大家可以找我。
至于用了什么算法呢?我们应用了很多种算法组合,可以实现近期数据、远期数据多个档位的压缩。这是我们系统登录截面,登录进去可以看到计划任务,然后这边是配置、路径,这里有一些简单的查询,这里是河南的本地数据库,不管是什么系统都可以自动采集过来。