通信世界网消息（CWW）现如今大数据技术已经落地，大数据助力智慧城市建设成为业界火热的话题，在第二届中国信息通信大数据大会上，中国移动通信集团浙江有限公司高级架构师汤人杰分享了“大数据平台的智能化演进”精彩演讲。
今天非常荣幸，有机会跟大家分享一下浙江移动大数据平台的一个架构，大数据其实分两个部门，一个云计算中心是主要建基础云的建设，另外一块是做大数据的应用变现，那么我这边就主要给大家介绍一下我们平台测的一个架构和演进。这个材料分成三个部分，一个部分是我们大数据平台的一个建设回顾，第二个部分是AI的发展和应用场景，第三个是讲浙江移动AI的规划和演进，那么这里有一个背景就是说我们的大数据平台经过一期和两期的建设，目前已经初见成效，那么后续会向人工智能进行一个演进。
经过两期的建设，目前我们已经建成了数据整合能力，共享应用创新的一个企业级大数据平台，完全的整合了IBM的数据，并且完成了整个数据的一个基础建模，并且在上面承载了很很多的大数据的一个租户，那么我们整个平台的一个整个物理的架构大概分成这么几个部分，最底层是我们的数据交换，那么主要分成内部交换和外部交换。数据采集和进来以后，后面是数据的处理，我们分成三个部分，那么所以大家可以看到它有几个集群组成的。目前来讲就是MPP还是一个比较有效的补充，其实对于我们就是说历史上完全支持标准的应用来说，那么第三块是我们的实时在线的流处理的系统，为了配合流处理，我们还使用了内存数据库。流处理这块我们采用了IBM STREAM。为什么上面会有一层数据访问层，因为下面是数据的分析，那分析是一个批处理为主的，如果同时把一些查询的业务放在上面，肯定会影响性能，所以需要做分离，实际上是这样的一个思想，最后会在一个数据访问层上面有个物理的存储，然后最后集中给应用做展现。最右边是我们的云管理平台，会有应用的管理，端到端的元数据管理，还有一些统一的运维和统一的调度管理。那么这个平台建成以后，我们的有效地支撑了大数据应用的上线，现在差不多就几天就基本上完成，因为其实理论上开一个租户可能只要几分钟，但是我们因为是私有云，我们要做一个容量的评估和一个技术架构的评估，所以差不多就几天时间就可以完成一个租户的上限。
那么整体来讲，通过新技术的引进，比如说把小型机这些都去掉，那么为公司节约了数千万的成本。目前来讲我们的规模大概是1400台，那么日均处理离线数据大概在100G左右，实时数据大概在千亿条，那么我们完成了网管中心大数据中心网优等数十个大数据的应用的迁移，开放的租户有超过一百个，那么这些很多也是一些相对小一些的应用，那么很大型的应用都有数十个，对外支撑数据变现，对内的支撑精益运营，而且我们通过弹性调度及时实现了超额的分配。就我们这个平台上线初期以后，其实我们的分配率是将近百分之300，也就是说如果按照竖井式的建设，我可能需要花三个亿的钱，那我现在只要花一个亿的成本就可以解决这个问题。
我们积极地探索一些新的技术，比如说我们实现了多住户实现了动态伸缩，实现了资源隔离，同时我们也在积极探索人工智能技术。大数据平台租户的申请情况大概是这样的，就当前开放的住户总共超过一百个，外部的合作伙伴有超过20个，很好的支撑了大数据的变现。那么我们大数据平台应用主要分为两部分，一部分是对内的经营运营，那么有很多的租户，省公司的各个内部还有我们的地市公司，那么这块反正就是把以往的一些数据分析的应用都迁移到平台上来，那么对外其实有几大块，一块是广告，一块是金融，一块是政府的规划，还有一些是零售选址舆情分析。那么总的来讲，广告依然是数据变现的大头。
那么这里讲一个比较典型的案例是一个基于机器学习的，我们在天盾这个应用里面，我们做到了电话防欺诈的应用，那么这个应用其实我们通过过一个双识别算法，一个就诈骗电话模型跟受害者模型我们实现了在这个诈骗电话的过程当中，比如说他有两个小时，我们在30分钟的时间点发现有可能诈骗电话，那么我们就及时地通知公安来介入，那么在这个应用的构建过程当中，我们踏出了一部比较关键的一步就是我们从传统的统我们叫描述性统计分析走向了这个机器学习，具体的来说的话，我们通过一个是诈骗号码识别模型，那么这块东西我们实际上是通过一个决策树。然后我们又通过去分析诈骗电话的一个流程，定义出了他的一种识别的模式，那么基于这个模式，我们进行一个受害人模型的挖掘。比如说我们现在做视频推荐，我们使用基于矩阵分解的一些通过率算法去做，为什么我特意要强调这个，因为这个和AI有关系。
那么我们来看2016年AlphaGo战胜李世石，包括柯洁，引起了一个比较大的关注，那我们来看人工智能，从最早的专家系统到机器学习到深度学习，他是这样一直发展过来，那么机器学习也就是我刚刚讲的，这些东西也是属于人工智能的一种人工智能的范畴，那么但是机器学习我们说大部分是基于这个，我们说已经叫符号主义，就是通过逻辑推理来做的，那么在深度学习应该说是机器学习里的一个分支，就神经网络分支衍生出来的。那么神经网络分支比较特殊，我们叫做它基于连接主义，它是采用模拟神经元更多的说是仿生学的原理来做的。那么应该这样说，70年代神经网络算法就已经发明了，但是机器学习各种算法都发展得非常好，但是神经网络并不太好，直到最近有几个特点，第一个算法本身有一个很大的突破，第二个是因为云计算和大数据的到来，因为神经网络层次多了以后，它对计算性能的要求非常高，对样本数据的要求也非常高，这一点云计算和大数据刚刚好把它填补了空白，或者说解决了这个问题，使得我们深度学习有一个非常好的发展，使得深度学习在大部分的算法情况下都要比传统的机器学习算法要优秀，尤其是在数据规模比较大的情况下。
我们看一下我们认为AI的三要素算法计算能力和数据,应该说我们现在讲的是狭义的AI，因为现在最热门的就是这个深度学习，我刚刚讲了这三点现在都有了一个很大的突破。介绍一下我们机器学习的三个分类，那么机器学习有很多维度的分类，从学习方法上讲，我们可以监督性学习，非监督性学习，半监督性学习。那么其实这个也非常好理解，监督性学习就是说我会事先标注好这个样例。直到现在，我们回过头去看我们的算法有了革新计算能力，有了gpu，我们的数据有了大数据，那么这时候我们的深度学习就突然之间起来了，某种意义上说谷歌实际上他宣称自己是一家做AI的公司，那么其他的业务他号称自己都是不是主营的业务，那么这就标志着AI时代的到来，这将是一个非常颠覆的时代。我认为AI将是大数据往后演进的一个非常大的跨度，甚至说我们可以说我们有工业时代，有信息化时代，但是没有提说有大数据时代，但是很多人都在说有智能时代，IT信息时代，后面是智能时代。
那么我们来看AI可以做什么，在信息时代和工业化的时代，就是说我们颠覆的是什么呢？我们其实提供的更多的是工具，我们帮助人更好地去做一些事情，那么在AI的时代，我们可能不仅仅提供的是工具，甚至有可能本身就是颠覆人的存在了。它的应用场景很多，教育医疗，尤其现在医疗做得很多，医疗诊断还有一些智能的助手，自动的驾驶，金融行业现在也用得非常的普遍。bat3家的AI百度做的是最好的，百度这块它基于底层的深度学习，它做了大量的已经训练好的模型，包括图片，包括机器翻译，包括自动驾驶，包括自然语言的一些机器人，做得非常的不错，包括科大讯飞，其实好像中国移动有20%的股份，所以我们很早就在10086上用了科大讯飞的技术，那么当时其实还没有深度学习。我记得我做客服项目的之后，当时的识别率还不是特别的高，现在的整个识别率和当时可以说是天壤之别，包括整个语音的集合都可以用这个东西来做。那天我们一个老板在说用了那个机器翻译说觉得翻译整个可以下岗了，翻译得非常好，各种语言都可以。
营商发展AI还是有一些相当的优势的，一个是资源优势，这一点上运营商的数据资源还是非常丰富的。第二，有比较大的一个资金优势，在战略方向上面，我应该说大连接的战略其实在这个也需要的就是网络的智能化，同时我们有非常多的一些合作对象可以帮助我们通过人工智能去服务大量的客户和建立一个很好的生态环境。举一些我们的应用场景，比如说我们已经在用的有一些语音识别、语义分析这些AI的服务，我们的客服其实已经用得很普遍了，那么包括在营业厅的一些开户，通过图像识别，包括我们营业厅现在都有机器人。包括营业厅的精细化运营，比如说营业厅的优化布局营业厅的客户服务，比如说通过机器人的交互，不还有一些精准化的运营，包括开户的一些人脸识别都可以用到AI来做。还有一些比如说工程稽核，我们去看这些工程的实施是不是检查到位了，有没有用一些虚假的或者重复的图片。还有我们的智能运维，基于用户体验驱动的一些网络规划平台优化，还有主动的安全防范等等都可以用到。还有视频内容，比方检测视频的同步是否流畅等等都可以用到这块东西，那么对于我们来讲，其实我们也做了很多的尝试，比如说精确营销人脸识别欺诈分析智能运维等等。
应该来说这块技术上有几个大的提升，第一个我们会基于CPU跟gpu的技术，使得我们有具备更强大的大数据的一个处理能力。第二块其实我们用了多种的深度学习的框架，深度学习有个好处是不需要特征提取的。传统的机器学习需要多特征提取，那么第三就是我们有多层次的一个海量数据的一个训练，能够分析出里面更隐含的一些信息。不会像传统的机器学习算法可能会丢失掉一部分的信息，当然深度学习也有它的弊端。
然后我们来看私有云的五层架构，这是我们整体的一个架构里面，那么我们的深度学习和机器学习基本上是处在saas层，为什么这么说呢？实际上我们提供的是深度学习的工具，这块我们做了几个试点，去做了gpu的集群，它可以在多租户的情况下同时去利用到CPU和gpu这样的性能，同时我们利用这个技术，自主研发了人脸识别并成功的运用到营业厅。我们看一下我们有做了哪些定制化的应用，比如说智能运维我们现在正在做，我们希望用AI的技术能够去精确的监控，去做精准定位和操作，就是说我能够去精确地发现问题，过滤无效告警，然后去快速的定位问题，通过自动化的操作去解决问题，整个运维的过程能够实现尽量少的人工操作。我们当时有一个需求，就是要用指纹打卡一样在我们的云管理平台和事业系统上，比如说登陆的时候用笔记本电脑摄像头就可以，目前跟百度比较大概还有3.5的差距，那么我们会尽量去缩短这个差距。基于深度学习的视频推荐系统，我们现在在用的是矩阵分解的协同过滤，那么其实使用到了用户的点播放数据，那么后续我们会计划采用深度学习的技术，通过用户标签视频的特征，定义用户的责任，定义和用户的播放行为，这个其实就已经涉及到自然语言理解用到磁向量这方面的技术。
