基于自适应智能爬虫技术的网站备案安全态势感知平台设计

□ 文 车力军 曹华平

（作者单位：车力军，中国电信云南公司；曹华平，通讯作者，国家计算机网络应急技术处理协调中心。）

一、前言

习近平总书记在十九大报告中指出，网络安全等非传统安全威胁持续蔓延，人类面临许多共同挑战。而互联网网站是网络信息非常重要的来源，如果不进行管控备案，违法违规的涉黄涉恐涉诈网站将对国家、社会造成极大威胁。近年来国家行业主管部门先后出台系列管理及考核要求，如工信部《省级基础电信企业网络与信息安全工作考核要点与评分标准》《工业和信息化部关于进一步落实网站备案信息真实性核验工作方案（试行）》《关于开展加强网站备案管理专项行动的通知》《互联网域名管理办法(征求意见稿)》等，“先备案，后接入；谁接入谁负责，谁管理谁负责”等要求成为管理的红线。中国电信管理着国内超过75%的互联网网络资源，责任重大，而云南电信对于全省百万级IP、数千个已备案网站的备案核查、信息一致性在过去缺乏有效的技术验证手段，缺乏主动发现问题、防患于未然和管理前置的能力，基本上是被动等待工信部定期通报，然后对通报信息进行人工核对及处理反馈。亡羊补牢，既浪费时间、耗费大量人力，也不能确保其准确率，严重影响工信部、通管局检查的达标率。

传统处置方式已不能满足实际管理的需要，云南电信因而迫切需要构建一套主动侦测的网站备案安全态势感知系统来代替人工模式，提高全省备案管理工作效率和数据准确率。

二、国内相关研究和实践情况

网站备案率及备案信息准确率是国家主管部门对运营商非常关键的考核指标，不少省市都关注提升备案考核达标率的措施,而在政策法规方面，胡钢对《互联网域名管理办法》进行了解读和研究，赵云对国内域名服务监管提出若干建议,王月领等对提升网站备案信息准确率的方法进行了一些实践，刘石磊研究了应用反爬虫机制的网站实施爬虫活动的策略，林迅则分析了基于流量分析实现网站备案监控系统，张东等对广播电视安全播出预警发布实践进行了阐述；在安全态势感知方面，毕锦雄、巩志等对新时期建立网络安全态势感知能力的必要性和可行性提出了中肯的意见,李井泉、刘旭东、李奎等则对网络安全态势感知及主动预警的若干技术进行了研究。但是在网站备案管理，尤其是未备案域名发现和备案准确率方面，其安全态势感知预警系统相关的设计和研究并不多见。本文的目标，就是因形势所需，设计构建一种基于自适应的，主动侦测备案安全态势感知的平台。

三、未备案域名监管安全态势感知平台的创新实践

2017年，经过云南电信项目团队近7个月调研设计与开发，未备案域名监管安全态势感知平台得以建设实施。

（一）平台的主要功能

未备案域名态势感知的设计思路是通过监控流入运营商数据中心的网络流量，将采集到的域名信息与工信部备案数据库比对，实现未备案域名监控。系统在对云南电信全省数百万IP中是否存在未备案网站域名进行扫描比对，发现未备案域名立即自动预警输出，对输出数据可按州市自动分拣，分地区通报并应变处置。

平台对云南电信数千已备案网站的主体信息准确性进行实时扫描，与政府权威网站信息库进行比对，发现不一致的输出清单，分州市通报，督促这些网站客户实施整改更正。

系统平台可设置预警通报频度，一般与工信部未备案通报设为一个频度，但提前预警发布。这样全省各单位备案专管员定期用电脑或手机接收预警信息，实现提前随时随地知晓通报信息并及时处置。这使得工信部通报中云南电信未备案数量大幅降低，也将提升每季度工信部备案信息准确率指标。

（二）项目平台创新点

1、基于智能爬虫技术的自适应线程优化未备案域名分析抓取创新应用

系统平台采用智能爬虫技术，通过多进多出并发自适应线程优化模型架构（图1），平台系统由控制中心统一对多线程进行监控，处理线程间的协作，并根据系统情况对多线程进行自适应优化。以此高效快速地对海量的百万级IP进行未备案域名数据挖掘分析，迅速发现互联网未备案网站，自动预警输出，对输出数据按州市自动分拣，分地区通报及时处置。

图1 多进多出并发自适应线程优化模型架构

2、基于数据挖掘技术、存活IP过滤器、反爬虫技术、域名自查技术等全方位精准识别未备案域名的探测手段集成创新

存活IP过滤器对抓取未备案域名的IP，先通过主机发现技术、端口扫描技术确定该IP是否存活。主机发现技术在端口扫描前，确定目标主机是否在线。主机发现的实现分两个阶段：地址解析阶段、实际探测阶段。地址解析主要负责从主机表达式中解析出目标主机地址，将之存放在hostbatch中，并配置该主机所需的路由、网口、MAC地址、源IP等信息，对解析出来的目标主机，进行实际探测及获取RDNS相关信息。从主机表达式中获取主机地址，若取得的不是IP，需要进行DNS解析，获取域名对应的IP。在主机发现过程中，利用运输层协议的方式，发送SYN数据包、ACK数据包、UDP数据包。前两种分别利用了TCP三次握手中的第一次及第二次握手，让对方觉得正在试图建立一个TCP连接，从而做出回应，根据回应得出主机状态。UDP则是发送一个UDP数据包，得到端口不可达、主机网络不可达的回应。

端口扫描技术，端口的概念处于运输层，系统利用TCP/UDP协议，对TCP端口进行探测扫描。利用三次握手，首先client端向server某端口发送请求连接的syn包，server的该端口如果允许连接，会给client端发一个ack与syn，client端收到server的ack包后再给server端发一个ack包，TCP连接正式建立。基于连接的建立过程，假如要扫描某一个TCP端口，可以往该端口发一个syn包，如果该端口处于打开状态，系统可收到一个ack，也就是说，如果收到ack，就可判断目标扫描出于打开状态，否则，目标端口处于关闭状态。

由于爬虫会对网站所有节点进行扫描，从而对网站运行造成负荷和影响，因此许多网站建立了反爬虫机制来抵抗网络爬虫。本系统针对反爬虫主要采用以下策略：（a）使用IP地址池：VPN和代理IP。（b）动态设置User-Agent（随机切换User-Agent，模拟不同用户的浏览器信息）。（c）禁用Cookies。域名自查技术则采用几个策略：（a）自动核对域名与IP的对应关系是否一致。（b）网站是否可以打开。（c）自动识别是否未备案（包括二级域名及二级以上域名的自动识别）。（d）自动完善域名信息（包括网站标题、IP归属地）。

3）基于Web+APP+公务邮件方式的安全预警发布能力平台，使云南电信未备案域名监管安全态势感知与预警发布能满足移动互联网工作模式的需要。

以上创新点经国家科技部科技查新，在国内尚未见公开文献报道，查新编号：(2018)53b2000427。

四、推广效果

系统平台通过自适应多线程优化策略，大幅提升运行效率，数小时即可自动完成云南电信全省数百万IP的未备案域名扫描核查，以及数千已备案网站主体信息比对。相关工作如果采用人工方式，即便每人每工作日核对1000个IP的网站备案情况，都需要近10年时间；而系统全天候自动运行，使云南电信网站未备案核查工作效率提升了数千倍，极大节约了人工成本。

图2 云南疑似未备案域名发现量情况

系统对全域网站域名状态实施检测,从监控、核查、考核、监管四个维度对网站备案工作进行集中化管理与运维，建立一个可视、可查、可度量与可持续的安全态势感知预警平台，受到省通信管理局和上级单位的关注。

平台安全态势预警发布可用电脑或移动终端接收并处置反馈，保证了基层单位随时随地发现问题，及时处理，充分满足移动互联网工作模式的需要，也受到备案一线管理人员的好评。

系统自2017年9月投入运行以来，通过智能化的系统作业能力，已累计主动发现未备案网站2039次（包括部分未整改再次通报域名）、备案主体信息不准确项1730个，经核对所有数据基本无误报，判断准确率99.9%，系统自动审核发现的未备案网站数量比工信部抽查通报数量多数十倍。同时，经过提前侦测发现预警、提前强力整改，平台发布的疑似未备案域名数量逐月降低（见图2），也正因为平台对备案安全态势的及时预警，发布处置，云南电信辖内工信部抽查通报未备案网站数逐月下降，甚至对云南电信出现多周零通报，目前保持月通报数在个位数字，效果显著。

五、思考

在网站备案监管及安全态势感知项目创造性工作过程中，有以下几点思考：

（一）移动互联网时代，新技术新态势层出不穷，信息安全战线各版块必须与时俱进，不断学习和创新，才能适应时代的需要。

（二）要加强运营商及企事业单位的网站备案法规意识和安全责任意识，对未备案即擅自开通网站的行为要从懂法自律和手段管控双管齐下，各自守好自己的阵地，这样真正别有用心的未备案行为就更容易暴露在光天化日之下。

（三）要通过技术手段建设，不断优化平台维度和扫描判据，加大域名监控与网站一致性检查的精准度,并开展域名内容防篡改检查,发现网站非法篡改立即停止域名解析。

（四）要不断完善预警发布的方式和手段，适应当前移动互联网深化发展时期工作的需要。

六、结语

云南电信通过学习网站备案相关管理和技术研究成果，梳理全省备案管理机制，建立了网站备案安全态势感知与预警处置创新体系，体系平台以备案管理合规为核心，实现安全态势监测管理与业务正常工作流程的融合。态势感知平台采用智能爬虫技术，通过多进多出自适应线程优化，大幅提升运行效率，此举对所辖网络未备案域名和备案主体信息变化做到提前感知预警，使云南电信能够优于工信部未备案扫描通报提前处置，更优于工信部定期备案主体信息准确率通报提前处置，做到防范于未然。云南电信将继续加大新兴技术手段和管理策略建设，及时跟踪发现未备案网站和已备案主体信息发生变化的态势规律，应对网络安全、信息安全威胁与挑战，为净化国家网络空间做好保驾护航的一份力量。■

（作者单位：车力军，中国电信云南公司；曹华平，通讯作者，国家计算机网络应急技术处理协调中心。）