在今天的文章中,我们一起了解Amazon全新数据流处理引擎Kinesis背后的故事。
归根结底,Amazon建立其实时数据流处理服务Kinesis的主要原因,是为了解决自身在运营过程中遇到的一些内部数据流问题。AWS数据服务总经理Ryan Waite在本周二于纽约举行的Gigaom Structure Data大会上指出,随着AWS持有数据规模的不断膨胀再膨胀,该公司需要借助新的方式来实时对这些数据加以处理,从而利用相关应用准确计算出客户使用了多少计算资源、又需要向其收取多少费用。
作为去年十二月首次发布的技术成果,Kinesis帮助Amazon及其客户顺利捕捉到数据流、将数据保存在多个数据中心当中并将数据处理时间压缩到数秒水平。对于互联网企业来说,实时处理的吸引力正逐步凸显出来——这主要是由于他们希望找到能够在现有批量处理工作负载之外找到更为理想的数据处理手段。
Waite表示,Kinesis的一部分首批客户来自游戏行业以及网络广告技术领域。游戏公司Supercell就已经开始利用Kinesis进行游戏内数据处理,旨在调整游戏内容并使成果更令人满意。而且由于能将原本需要耗时数小时乃至数分钟的分析处理周期大大压缩,由此给应用程序带来的提升自然也极为显著。
|