中科院周旭:融合边缘计算的新型科研云服务

责任编辑:耿鹏飞 2019.05.16 16:37 来源:通信世界全媒体

通信世界网消息(CWW)产业发展,标准先行。为助力缩小全球标准化差距,推动5G行业发展,加大5G示范应用推广力度,5月16日-17日,由中国通信学会主办,北京信通传媒和百卓网络联合承办的以“缩小标准化工作差距”为主题的“2019年世界电信和信息社会日大会”正式召开。

作为“5.17世界电信日大会”重磅分论坛之一,在5月16日召开的“2019 MEC技术标准与产业论坛”上,来自电信运营商、设备商、应用方案提供商、研究机构等200余人齐聚一堂,共议5G与边缘计算发展之关键。

中科院 周旭_副本.jpg

会上,中科院计算机网络信息中心未来网络实验室主任周旭分享了《融合边缘计算的新型科研云服务》的主题演讲。

以下是周旭的演讲全文:

感谢会议的组织方,也很高兴今天有机会在这儿跟大家分享一下科学院在边缘计算做的一些相关探索性的工作。今天的报告题目是《融合边缘计算的新型科研云服务》。

到现在为止前面所有专家主要还是来自于运营商、互联网服务商和设备商。在这三类角色中,对边缘计算都有自己的理解。我们作为一个科研机构,为什么会关注到边缘云相关的技术和应用呢,实际上是跟科研驱动的发展是有密切关系。

下面我也会从这个角度展开我的介绍。三个方面,第一个是数据驱动的未来科研范式,第二个是融合边缘计算的中国科技云架构。第三个是我们做的相关探索。

整个科研范式分为四个阶段,第一个阶段实验科学,实际上就是自古以来的做实验,通过实验摸索一些自然界的规律。后来各种科学理论逐渐形成,进入理论科学阶段。用理论指导实验,可以避免大量盲目的试错以及提高效率。到后来,越来越多的理论需要推到,很多模型的计算量都很大,需要用计算机支持,特别伴随着几十年计算机科学的发展,整个科学研究进入了计算科学阶段。到现在,又进入了一个数据密集型科研阶段。因为现在大量的科学研究都是依赖于大型的科学装置,科学装置会产生海量的数据数据,基于这些数据再进行分析计算,发现新的科学规律。所以说,现在已经进入到了以数据密集型科研为代表的第四科研范式,科研方法将产生质的飞跃。

这是前一段时间引起全球关注的一个重要事件,第一张黑洞照片与八吨重的硬盘。这张黑洞的照片,是由全球8台望远镜联合观测,产生的数据差不多10个P,最后要集中到美国和德国两个天文研究单位进行处理。这10个P的数据如果用现在的网络传输,数据量太大了,基本没有办法完成,只能采用硬盘运输方式。差不多用了有8吨的硬盘,才能把数据由采集点搬到处理点。最后由超级计算机花了一年多的时间才能把数据冲洗成黑洞的这张照片。

这里可以看出来,现在的科学研究离不开大的计算能力以及高速网络传输支持。

在中国也是一样,全球最大的望远镜FAST,根据他的规划,在2023年会产生100PB的数据,到2037年可能产生10EB的数据。高能物理研究领域也是一样。中国现在的电子对撞机,未来将产生30P的数据,计划建设的下一代的环形对撞机,可能产生1000PB的数据,需要100万核的计算能力。这些数据需要大量的网络资源传输,因为最后处理分析是全球协作的,而不仅仅是中国一家独立完成的工作。

现在我们国家在基础科学研究方面有很大的投入,有很多大科学装置在规划建设。这张表上可以看到,涵盖了天文、物理等等各个方面的研究需求,这只是列出一部分。这些研究对网络的需求至少到了100G的传输带宽需求,存储到10个EB级。

除此之外,现代科研工作的形式也是多种多样的。比如无人科考,现在很多科考都会用到无人机、无人船,这个就是5G应用里典型的无人机的控制和管理。而一些科学实验场所中,一旦开启实验,比如对撞机一旦开起来,人就不可能再进去了。这时候一些特定的操作,未来也会用机器人的方式进行远程控制。另一些野外台站的科考,比如西双版纳植物园在热带雨林里面有大量的传感器采集数据,这就是典型的物联网的应用。当然科学研究也离不开一些新的交互手段,包括现在新型的可视化交互AR、VR的手段。科学数据的可视化,是促进科学研究能够更快发现新的科学成果的新的方式。从这里可以看到,前面运营商提到的很多5G应用,在科研领域都有对应的需求。

现代科研发展到现在离不开一个底层强有力的信息化的技术支撑能力。这是我们中心牵头建设的中国科技云,也是纳入到国家十三五信息化规划里面的一个重要任务,实际上就是要以网+云的方式构建一个集中能力平台,这里面有网络资源、计算资源、存储资源、超算资源,还有上层各种科学应用,都可以为科研工作提供一个统一的支撑能力,在这个平台上可以更好地开展未来的科研应用。

但是目前这个平台它还是一个典型的云的架构,集中式的云的结构。

从刚才看到的科研发展速度来看,如果全部能力向一个集中点集中,实际上很难满足未来科研对于数据处理和传输的需求。所以我们也在考虑探索一个融合边缘计算的新的架构,就是能不能把现在集中化的强有力的云的能力能够再分布下去,分布到科研现场,分散到不同场景里面,靠近数据源、靠近科研工作者提供更高效率的服务。

从科学院来说有四大典型的科研应用场景。第一个是研究所,研究所有很多科研仪器和科研人员。第二个是大科学装置,比如像对撞机产生大量的数据,需要采集、处理、传输。第三个是野外台站,大量野外科考数据的监测、采集与处理。当然中科院也有自己的大学,国科大,是第四种场景。

未来更好的服务这四类场景,未来的中国科技云,有可能从现在的集中走向分布。未来在应用逻辑上是集中的, 在能力上则可以是分布化的。

我们的工作主要从边、网、云三个方向开展。边缘云首先底层会有一个计算资源的虚拟化,其次在上面再虚拟化出很多网络功能,包括VCPE,VCDN、VDPI,VGW等能力,用于对边缘云所在内网、外网资源进行管理。也可以通过一些网络切片,实现数据更好的传输。再往上,还会有一系列的科技云的边缘云服务,包括一些传输优化服务、文档同步、智慧办公、数据处理、流量管理等等本地化的服务。再往上就是要实现边云协同,边缘云要跟中间的传输网络和集中式的中国科技云进行一个全网的协同,提升整体的效率,要判断哪些服务是留在集中的云端,哪些能力是要下放到边缘。

我们有一张自己的骨干网——中国科技网,有一些事自己的光纤,也租用大量运营商的带宽。所以网络的整体调配和管理对于提升我们的传输效率以及降低成本是很关键的。这里我们采取了类似于像SDWAN这样的技术,在全网对流量进行调度,进行传输的优化。也会通过网络功能虚拟化方式进行虚拟化的一些网络管理。

目前我们已经在边缘计算方面做了一些初步的工作,包括构建了一个边缘云的平台。右边列出来的就是我们现在基于这个边缘云平台做的一些具体的功能上的东西,包括流量的智能管理、广域网的传输优化、无线传输优化,内容下载加速,还有针对野外台站灵活组网,以及一些本地化面向科研的特色服务,这些都是基于边缘云平台做的一些具体的工作。

下面就把一些具体的应用案例跟大家作一个分享。

第一个,我们做了一个基于边缘计算的智能流量管理。为什么流量管理对我们很重要,因为刚才也看到了,科学流量跑起来是大象流,占用很高的带宽,所以对它的优化变得特别关键。第一个,传输效率需要提升。第二个,它的流量如果我们能够很好地控制,它带来资源的节省可能就会很大。我们可以利用边缘计算的处理能力,从科学数据产生开始,就对它进行相应的处理。

这里面第一个做的是基于边缘计算与深度学习的智能流量识别。我们现在用深度学习的方式进行识别,我们不光可以分辨出流量中有哪些应用,同时也可以知道在同一个应用层协议里面,到底是传的高能物理数据还是遥感的数据,这样也便于下一步针对特定的科学数据进行专门的优化处理。这一点传统的DPI技术是做不到的。

第二件事,我们在做基于深度学习的流量压缩。实际上科学数据有固定的数据模式,如果用深度学习模型对科学数据进行训练,可以对这种数据进行更加高效地压缩,能够比传统标准的压缩算法再能够提高20%左右的压缩率。这对于刚才提到的科学应用动不动传就是几十个G,100个G的带宽需求来说意义很大。压缩20%就意味着可以少用20个G的带宽,这将带来很大的效率提升。这个工作我们刚开始在做,有一些实验结果,但暂时还不能做到实时在线的压缩。我们也希望通过我们的努力,能够把它做到尽量实时。做到前面通过深度学习把流量识别出来,马上知道它是什么的数据,马上再用特定的压缩算法进行传输,这样使得整个传输效率得到提升。大家也可以看到,这个能力实现离不开边缘计算,因为这个东西必须在边缘做,不能集中式在云端做。

第二件事是基于边缘计算的广域网传输优化,其实就是SDWAN。我们要跟国外传输一些数据或者访问国外的科学数据资源的时候,可以用SDWAN的方式进行路由的调度,找到一条最优的路帮助科研用户很好地访问国际的科研数据资源或者传输相关的数据。我们的SDWAN也是把它放到了边缘云上面,用虚拟化的方式实现,不用再给用户那边装一个实体的盒子了,相当于在边缘云上起一个虚拟化的CPE,就可以对用户的一部分流量进行按需的优化管理。我们的系统整体加速效果还不错,现在SDWAN能达到的效果我们都能达到。比如下面举了一个例子,就是访问美国NIH生物医学数据库的数据能够有比较大的提升,对于相关科研院所开展科研工作是一个比较好的帮助。

第三个是基于边缘计算边缘云实现内容下载加速的一个功能。现在中国最大的科学数据库是我们在管理,有各个学科将近几十个P的各种数据都在上面。当然还有我们自己的文档云的服务,还有很多科研的平台软件下载都在我们那儿管理。这些东西现在是集中式的,我们现在也是通过在边缘云上面实现一个虚拟化的CDN,能够实现内容的一些分发加速,大大提升科研用户访问或者下载这些特定内容的体验。当然针对互联网的内容就可以用缓存的方式也可以进行优化和加速。

这个工作其实做得比较早,最开始是把这个工作做到小的路由器上面,就是桌面的无线路由器。现在有了边缘云,就不再需要有这样的硬件了,在每个研究所、每个科研园区的边缘云上面可以有统一的网络虚拟化的CDN或者缓存服务。

另外,这些缓存还是可以相互协同的,当本地边缘云的缓存里没有,可能优先会到其他的边缘缓存寻找,可以横向进行一些调度和协同,再根据用户的行为去做一些主动的推送,差不多可以有十倍以上的体验提升效果。

接下来就是用边缘计算的方式实现野外台站的灵活组网。利用边缘计算的多接入管理能力,综合4G、LoRa、mesh,甚至无人机机动网络等技术,实现虚拟化的统一管理,实现灵活的组网,完成在比较偏远地方的科学数据的回传。这是我们为中科院西双版纳植物园做的方案,通过这样的方案,随着以后5G网络的逐渐普及,就可以更多地采集野外台站的各种数据,提升科研的效率和作出更好的科研成果。

最后,是基于边缘计算的本地特色科研服务。第一个是基于边缘计算的IPV4、V6的转换云服务,其实有很多研究所里面有些内部信息化系统以及内部的科研仪器只支持IPv4协议,但是又有外部访问和共享的需求。我们把IPV4/V6的转换服务放在边缘云上,开通这样一个功能,就可以帮助研究所把所里的资源通过IPv6开放出去。科学院有一个科学仪器共享平台,这些能力全部共享出去的话,可以大大提升科研仪器的使用效率。

第二个是针对智慧办公做了一个边缘云的云打印,可以做到把最普通的打印机通过这种方式实现无线打印。打印机上有一个二维码,拿手机一扫就可以把手机上的文件通过打印机直接打出来,也就不用再像原来一样拷来拷去了。它的效率很高是一方面,而且它也避免了很多拷贝、病毒、信息外泄这些问题。

以上是我们在边缘计算与科研结合方面做的一些探索。谢谢大家!


通信世界网版权及免责声明:
1、凡本网注明“来源:通信世界全媒体”及标有原创的所有作品,版权均属于通信世界网。未经允许禁止转载、摘编及镜像,违者必究。对于经过授权可以转载我方内容的单位,也必须保持转载文章、图像、音视频的完整性,并完整标注作者信息和本站来源。
2、凡本网注明“来源:XXX(非通信世界网)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
3、如因作品内容、版权和其它问题需要同本网联系的,请在相关作品刊发之日起30日内进行。
发表评论请先登录
...
热点文章
    暂无内容