首页 >> >> 滚动 >> 正文
面向IDC互联网行为分析的大数据平台设计与应用
通信世界网
作者:       2016年2月1日 17:51
2015解决方案 大数据

C、UV访问数:UV访问数(Unique Visitor)指独立访客访问数,一台电脑终端为一个访客。在同一个局域网中对互联网访问时对外通常是同一个IP,如果该局域网中有10台终端在同一个计算时段内访问同一个网站,对该网站的独立IP访问数贡献为1,而不是10。而此时UV访问数则为10。

D、访问趋势:将一天分成24个小时段,统计每个小时段的访问量,并生成曲线图,将今天与昨天的访问量进行对比。

E、访问地域:将访问量按照省份进行统计,显示在中国地图上,并以不同的颜色渲染,访问量大的省份以深颜色表示,访问量小的省份以浅颜色表示。当鼠标移动到省份上面的时候,弹出显示该省份的实际访问量。

F、关键词top10:用户登录到客户平台,进行搜索操作,系统后台会自动记录用户使用到的搜索词。此模块统计搜索词使用的频率,并按照频率的高低,显示前10条数据。

4. 运营监控 A、客户信息

B、客户资产。显示客户的资产信息,包括服务器,自带交换机等。子段包括:设备编码,U位数,设备类型,所属客户,所属机架,所占ip,业务状态,申请编号等。

IP资源:显示客户申请的IP信息。字段包括:IP地址,所属IP段,类型,所属客户,所属用户设备,所属机架,业务状态,申请编号等。

交换机端口:显示客户申请的交换机端口信息。字段包括:端口名称,端口编码,端口类型,模块号,配置速率,共享方式,业务状态,开通状态,网络设备,客户设备,申请编号等。

C、网络拓扑

系统提供客户网络拓扑图。将客户的主机资源,网络设备直观地显示在拓扑上,并对拓扑进行监控,呈现设备告警、性能、流量等信息。如图5所示。

图5  IDC客户网络设备信息

D、流量分析

系统提供流量波动图和流量值列表两种展现方式,监视界面能够选择流量波动图的类型,类型包括日流量图、周流量图、月流量图、年流量图。

系统结合后台采集到的实际流量和客户实际购买的流量进行分析。当实际购买流量达到一定阀值的时候产生预警。当超过购买流量时,产生告警。

E、性能分析

系统提供客户主机性能、网络设备性能和应用性能分析功能。主机性能包括CPU利用率、内存利用率、磁盘利用率、指定进程和端口状态等指标,网络设备性能包括路由器、交换机、放火墙等的CPU利用率、内存利用率、环境指标(包括温度、电压、负荷等)等指标,应用系统的监测对象包括:Web及中间件服务(Apache、IIS、WebSphere、WebLogic、Tomcat、GIS)、数据库,并能支持未来应用系统建设中新增系统。

F、告警分析

系统对客户的网络设备、电路、端口(含逻辑端口)和主机等各种资源提供统一的告警管理功能。通过使用分类的数据采集、高效的告警压缩、关联分析和分级数据展现等技术,最终将精简、有效的故障信息以多种方式及时地呈现给客户。

当产生告警时,系统可选择短信邮件等不同方式进行通知。系统集中存储告警事件,根据告警状态提供活动告警库和历史告警库,并支持对历史告警进行查询和统计分析。如图6所示。

图6  系统告警分析

G、操作管理

系统能从平台服务器出发,对选定的客户主机进行PING和SNMP测试,以了解该主机的可达性和可管性。系统能从平台服务器出发,对选定的客户主机进行远程重启,注销等操作。

H、订单管理

在客户进行业务订单申请后,整个业务单的执行过程可以在我的订单里面监控,客户可以查看工单的目前状态:工单审核,施工监控,竣工管理,资源锁定,资源解锁等过程。

5. 营销推广包括分页面推广和手机短信推广两种推广方式。结合DPI数据,分析客户目前的资源瓶颈和终端用户的业务行为,帮助使用者进行IDC资源优化和业务推广:

A、推送服务:通过短信、门户广告推送等方式,帮助IDC客户发展客户。

B、B、内容引导:系统检测用户搜索及浏览内容,主动推送相关内容。

C、交易撮合:针对IDC政企客户定向推送增值产品和服务。

三、平台性能指标为了保证平台能够安全稳定的满足当前使用,同时又可支持未来业务灵活拓展,因此,平台基于如下性能指标进行严格设计。

1)平台无关性:系统采用纯Java技术构建,由于Java本身与平台无关的特点,系统也是平台无关的。

2)系统易用性:系统采用BS、CS相结合的方式设计,针对不同的用户群的使用要求提供不同的登陆方式。以用例驱动人机界面设计,界面设计遵守三次点击的原则。支持多用户、多客户端并发操作,同时支持web和application两种方式的客户端。

3)可靠性:系统保证7X24小时不间断工作;系统无单点故障;具有对硬件、软件运行状态的远程监控和管理能力;应用软件具备容错能力,软件故障不会引起各类严重的系统再启动。

4)系统可控性:系统提供对自身运行状态的监控与管理,包括对系统中的基础设备(包括主机、网络设备、存储设备),基础软件(如数据库、中间件)和系统内部的进程的监控。系统对内部各监控对象提供实时查看、故障告警、控制操作功能。

5)系统开放性、可扩展性:系统可以通过WebService、Java RMI/JNDI、HTTP、Corba等技术向上提供满足规范的北向接口;系统提供不同的接口,实现与其他系统的互连互通。

四、结语本文在技术方面,整合了全网数据,并进行跨地域、跨行业的综合挖掘分析,在分布式计算、存储等方面,针对超大规模数据管理与应用,解决了大量的技术问题。此外,构建了科学有效的系统架构,支撑采集数据分区域预处理、传输汇聚、存储、挖掘以及输出有效分析结果等。

应用方面,本文主要面向互联网数据中心提供互联网行为分析,基于超大规模IDC流量数据,实现全网级的行为检测与应用分析。目前行业内的互联网行为分析主要是针对具体应用,在较小的具体局域网范围内、针对具体应用进行分析。相比之下,本文产品在服务对象的广度、深度等方面是一个大胆的尝试和创新。

此外,本文提出了经典数据(Classic Data)和量子数据(Quantum Data)的概念,即根据数据本身的特点,结合经典物理和量子物理,提出经典数据(Classic Data)和量子数据(Quantum Data)的概念,希望此概念能对业内其他研究带来一定的借鉴意义。通信世界网

[1]  [2]  [3]  
相关阅读
热门文章
蓝戈沙龙