面向IDC互联网行为分析的大数据平台设计与应用

史兴亚

摘 要：从ICP角度来讲，网络用户的兴趣爱好、消费习惯、关系网络及互联网的潮流和走向都非常有价值，而这些信息都将在IDC处保存和交互，因此如何挖掘潜藏在这些信息数据中的商业价值变得十分迫切。为此，本文笔者结合相关知识，浅析面向IDC互联网行为分析的大数据平台设计与应用。

关键词：IDC；互联网行为分析；大数据平台

IDC是一种通过向用户提供带宽和机房环境的租用服务来为ICP、企业、媒体和网站提供安全、可靠、高质量、大规模的服务器托管及增值服务的互联网数据中心，其具有可靠性高、灵活性好的优点，因此极大地方便了用户。针对保存在IDC中的信息数据，急需建立起数据分析平台来整合和深挖其中潜在的商业价值，从而增强对IDC客户营销决策的服务能力。据此，笔者简要阐述这一数据分析平台的设计及其应用。

1 互联网行为分析平台的架构

图1为面向IDC的互联网行为分析平台的业务模式。

根据图1所示的业务模式，开发了一种面向服务的分布式系统架构，其采用了一种基于J2EE的B/S软件架构，并应用到了基于微信/易信平台开发、互联网行为可视化呈现、大数据存储与分析、海量数据传输与分发、IP包采集与策略控制及流量分析等核心技术。在互联网行为分析平台中，前端网页的开发采用了STRUTS2+JAAX+FLEX；接口层是一种基于ESB平台的接口服务管控，其具有规范化和统一化的特征；应用层采用的是JBOSS Web服务器；数据服务层用到了传统关系型数据库Oracle和Hadoop分布式文件系统，具体将DPI、网络流量等海量数据存入Hadoop中及由Oracle来处理其他普通结构化的数据。在互联网行为分析平台中，其需分别通过与IDC机房的DPI设备、IDC业务网管系统、IDC资源系统、CRM与计费系统、AAA系统等对接来获取网络监控数据、IDC资源信息及业务数据等。另外，平台通过接口适配实现了数据的采集与监控，同时通过运用Hadoop集群与NoSQL技术、分布式计算与存储技术来采集、存储和分析海量的DPI数据及網管流量数据。因此，互联网行为分析平台的建立可为IDC客户提供信息服务、客户报告及业务营销服务。

2 互联网行为分析平台的应用

在本章节，笔者简要从如下方面浅析互联网行为分析平台的应用：

2.1 互联网行业分析

即：（1）网站排行分析，用户通过输入网站域名，便可查询到网站的访问量，同时可按如下步骤维护网站的行业分类：首先划分主流网站→允许用户自定义及添加网站、类型→经管理员审核通过→操作成功；（2）流量流向区域分析，具体分析省/市区域的流量流向情况，用以指导IDC客户扩容及调整市场方向；（3）应用流量分析，具体从应用方面分析IDC流量的分布状况。

2.2 网站访客分析

即通过深挖IDC中的DPI数据来深入分析访问平台的网络流量及访客行为，具体如下：（1）访问趋势分析，具体分析网站访问量在一段时间内的变化走势，从而直观地对比呈现出多天在相同时段中的访问量；（2）访问地域分析，具体分析用户所在的省份；（3）搜索引擎分析，具体分析用户进入平台所用的搜索引擎；（4）搜索词分析，具体分析用户所用搜索词的排名，用以支持客户网站的SEO；（5）外部链接分析，具体分析访客平台的搜索引擎URL等外部链接URL；（6）运营商分析，具体分析访客进入平台所选择的运营商；（7）实时访客分析，具体查看近0.5h进入网站的访客情况，其中包括访问地域与时间、访客来源与类型、访问时长与页数、入口页面及最后停留页面等内容；（8）客户端信息分析，具体分析访客平台用户所用的浏览器类型；（9）新老访客分析，具体通过对比分析新老访客的特征来指导IDC客户对自身服务进行优化，从而实现留住老客户及吸引新用户的目的；（10）忠诚度分析，深入分析用户访问的网站页面；（11）用户兴趣分析，具体分析访客的兴趣，用以指导IDC客户针对性地改造系统，从而提高用户的黏性。

2.3 运营监控

在互联网行为分析平台中，运营监控的实现主要表现在如下方面：（1）显示客户的名称、地址、密码、移动电话及电子邮箱等基本信息；（2）显示自带交换机、服务器等资产信息，其中IP资源显示客户的IP信息及交换机端口显示客户的交换机端口信息；（3）网络拓扑直观地将客户的网络设备、主机资源显示在拓扑上及通过监控拓扑来获取设备的流量、性能、告警等信息；（4）流量分析，即通过分析实际产生的流量与客户购买的实际流量来进行预警或告警，具体展现方式包括流量值列表和流量波动图，其中流量波动图包括年、月、周、日流量图等类型；（5）性能分析，即CPU等主机性能、路由器等网络设备性能及Web与中间件服务等应用性能，其中平台的应用系统支持通过扩建来满足系统未来的应用需要；（6）告警分析，即对客户的主机、端口、电路和网络设备等进行统一化的告警管理，并以邮件或短信等形式将最终的故障信息告知客户，同时平台通过集中存储告警事件来实现对历史告警的查询和统计。

3 结语

针对本案所建立的互联网行为分析平台，其在技术上支持整合全网数据及综合深挖跨地域与行业的数据；在应用上主要面向IDC进行互联网行为分析，因此这种基于大规模的IDC流量数据可实现对全网进行行为检测和应用分析。

参考文献

[1]刘化召.面向IDC互联网行为分析的大数据平台设计与应用[J].电信技术，2016，（1）：68-74.

[2]蒋昌俊，丁志军，王俊丽，等.面向互联网金融行业的大数据资源服务平台[J].科学通报，2014，（36）：3547-3554.

[3]马俊佳.中国移动“36宫格”互联网内容资源评估优化体系研究[J].电信技术，2015，（10）：88-92.

（作者单位：深圳市都信建设监理有限公司）