首页 >> 通信技术 >> 要闻 >> 正文
 
大规模存储的未来--内存云?
http://www.cww.net.cn   2011年8月3日 10:33    通信世界网    

比如,尽管Facebook在2009年的时候就有4000个MySQL服务器,但由于大量交互式数据的调用,现有的存储系统依旧不能满足它的I/O需求,所以Facebook用了2000个Memcached用作分布式内存对象缓存服务器--将一些键值存储于主内存中,但其瓶颈在于,需要处理Memcached和MySQL服务器之间的一致性,需要对应用软件进行管理(比如刷新缓存值以更新数据库),这无疑增加了应用的复杂性。

因此,NoSQL开始出现,用非关系型数据库以键值对存储,它的结构不固定,每一个元组可以有不一样的字段,每个元组可以根据需要增加一些自己的键值对,这样就不会局限于固定的结构,可以减少一些时间和空间的开销,但是他们瓶颈依然是磁盘速度。

RAMCloud的原理之一是提供一个通用的存储系统,其规模远远超出现有的系统,应用程序开发人员不需要采取特殊的方式(如NoSQL系统)。理想的状态是,RAMCloud提供一个简单的模型,易用、并且有扩展性,并对应用程序的城战不需要做架构上的改变。

技术的发展趋势

RAMCloud的发展动力是来自磁盘技术的演进。 磁盘容量从80年代以来增长了超过10000倍,未来还将继续增加(表3),不幸的是,磁盘上的信息访问速度却停止不前,显著的提高方式是通过减少寻道时间和旋转延迟,但仅仅提高了50倍,和容量的增加实在无法成正比。

硬盘技术不平衡发展的结构,导致了数据必须保存在内存中不停访问。如果按照容量/带宽的比例来计算,如果磁盘是用作填补特定大小的块,那么每块多久可以访问?随机访问又如何呢?一个可行的办法是降低磁盘的利用率,如果只有一半的磁盘能够使用,那么访问速度理论上可以提高一倍。有数据显示,到2009年末时,Facebook真正可以利用的磁盘容量只有10%,显然,这个成本有点太高,从经济性和节能性来说,绝对不是一个好的架构。

缓存

对软件工程师而言,如果大多数访问只是磁盘一个小块,可以实现高性能保持在DRAM访问最频繁的块之上,在理想的状态下,使用缓存系统能够提供类似DRAM的性能+磁盘的成本。但是DRAM和磁盘之间的访问时间存在着1000倍的差距,这也意味着高速缓存必须要有非常低的损失率,以避免性能上的损失。

SSD

目前来看,可选择的SSD有两种:基于DRAM的设备和基于闪存的设备。

基于DRAM存储设备比基于闪存的存储设备速度更快,但成本也要高得多。

比如,2TB大小基于闪存的存储设备成本大约为18万美元;相比之下,存储容量相同但基于DRAM的存储设备成本高达约100万美元。基于DRAM的驱动器读取或写入数据的时间只要0.015毫秒,工作状态下随机速度达到了每秒可以处理40万次I/O。这种驱动器最适合以写操作为主的软件以及使用高性能数据库应用系统的公司。

基于闪存的存储驱动器读取或写入数据的时间为0.2毫秒,工作状态下最高读取速度为每秒10万次I/O,最高写入速度为每秒2.5万次I/O。这项技术也更适合以读操作为主的应用。通信世界网

[1]  [2]  [3]  
编 辑:高娟    联系电话:010-67110006-853
分享到新浪微博 分享到搜狐微博 分享到腾讯微博 分享到网易微博 分享到139说客 分享到校内人人网 分享到开心网 分享到豆瓣 分享到QQ书签       收藏   打印  进入论坛   推荐给朋友
关键字搜索:内存云  春初  磁盘存储  
文章评论查看评论()
昵称:  验证码:
 
相关新闻
即时新闻
通信技术
最新方案
企业黄页
会议活动