首页 >> 通信技术 >> 云计算 >> 正文
谷歌对决亚马逊 在云中运行Hadoop
通信世界网 http://www.cww.net.cn 2014年1月22日 08:28
标签:云计算 谷歌 亚马逊
 

Google Compute Engine 的虚拟机提供了一种快速、可靠的方式来运行 Apache Hadoop。如今,Google 正在努力通过Google Cloud Storage Hadoop预览版更简单的在 Google Cloud Platform 上运行Hadoop,这样你就可以更加专注于数据处理逻辑而不是集群管理和文件系统。

下图是Hadoop在Google Cloud Platform上的图解。在Google Cloud Storage上存储数据时HDFS、NameNode是可选的。

在十年前,从Google第一次介绍了Google File System (GFS)——Hadoop Distributed File System(HDFS)的基础——Google一直在努力改善Google大数据处理的存储系统。最新的成果是Colossus。

今天的发行版本提供了准确的——使用了一个简单的连接器库,Hadoop现在可以直接地在Google Cloud Storage运行——一个对象存储创建在Colossus上。这意味着你在大数据处理时可以从Google的这项技术中获益。

下面是用Google Cloud Storage运行Hadoop的优势:

兼容性:Google Cloud Storage connector for Hadoop 代码兼容Hadoop。只要将URL指向你的数据就可以。

快速启动:数据准备处理。当你的数据复制到HDFS以及NameNode,你不必等待过长时间来结束这个安全模式。同时,你也不需要花费数据复制VM时间。

更高的可用性和可扩展性: Google Cloud Storage比HDFS具有更高的可用性,因为它有独立的Compute Nodes和NameNode。如果虚拟机拒绝(或云禁止、崩溃)你的数据还在。

低成本:包括存储和计算:存储,因为没有必要维护两份数据,一个用于备份,另一个用于运行Hadoop;计算,因为你不需要仅仅为服务数据而保持VM一直运行。同时,它是以分钟计费,你可以在多个内核上更快的运行Hadoop,并且你的成本不再是四舍五入为一个小时来计算。

没有存储管理开销:鉴于HDFS需要日常维护——比如文件系统校验、重整、升级、反转和NameNode重启——Google Cloud Storage只需要为计算付费。你的数据是安全和一致的,不需要更多的努力。

互通性:通过在Google Cloud Storage保管你的数据,你可以从Google上其它已经完美融合的服务中获益。

性能:由于有了Google Cloud Storage,Google的基础设施将会比HDFS提供更高的性能——因为它没有管理和维护开销。

如果想了解Google Cloud Platform到底有哪些优势,可以访问这个简单指导 。 Google很乐意听到你关于如何更好的在Google Cloud Platform运行Hadoop和MapReduce的反馈和想法。

写在最后:为了与该领域的主要对手 AWS及其EC2竞争,Google已经通过增加一系列得新特性来巩固其平台优势,包括更先进的路由、高达10TB的大型永久磁盘、更新App Engine托管服务以及降低成本等。可以预测,这些措施将使Google获得数十亿美元的基础设施市场,同时,我们期待Google能够为App继续开放更大的空间。通信世界网

 

来源:企业网D1Net
相关文章
 
文章评论
 
    昵称:  验证码:

 
关注通信世界网
 
 
官方微信
“cww-weixin”(或扫描下图二维码),即可于获得独家的CWW视点分析、最新的通信资讯。
 
 
专家观点
中移动联姻苹果影响..
目前在TD产业前五名的厂商是“三星、 联想、华为、酷派、中兴”,而vi..
 
 
最新专题
  • 1

  • 1

  • 1

  • 1

通信百科
 
中国移动广东公司网管数据..
随着全业务运营时代的到来,市场竞争压力越来越大,而市场也会将这种压力逐..
 
 
 
新浪微博 腾讯微博 微信 rss
人民邮电出版社
工业和信息化部
人民邮电出版社图书专营店
中国通信企业协会
中国通信学会
中国互联网协会
无线电频谱管理中心
工业和信息化部电信研究院
中国通信标准化协会
中国移动通信联合会
中国邮电器材公司
中国电信
中国移动
中国联通
中国信息协会信息服务网络委员会
爱购服务器之家
新浪科技
搜狐IT
腾讯科技
凤凰网科技
人民网无线频道
中国通信网
移动Labs
中华电子网
通信产业网
企业网
In-Stat
IT价值联盟
中国软件资讯网
通信人才网
慧聪通信网
CTI论坛
CIO选型网
CTO技术网
美通社
赛立信竞争情报网
CRS通信学社
ZDNet至顶网
和讯科技
博趣·兴趣门户
呼叫中心频道
运营与增值
信天下企业短信
新电子
OFweek光通讯网
中云网