自然语言处理在网站分类中的应用

2018-05-22 01:17中国信息通信研究院产业与规划研究所工程师

信息通信技术与政策 2018年5期

李曼中国信息通信研究院产业与规划研究所工程师

1 引言

为了防止在网上从事非法的网站经营活动，打击不良互联网信息的传播，2005年，工信部（原信息产业部）公开发布《非经营性互联网信息服务备案管理办法》（第33号令），要求从事非经营性互联网信息服务的网站进行备案登记。据中国互联网协会和国家互联网应急中心联合发布的《互联网行业运行指数——中国网站》报告统计，截至2017年年底，我国网站数量达到526.06万个。网站备案信息是分析信息产业发展水平，区域、行业信息化水平的重要数据来源之一。但是，由于网站备案机制本身的限制以及历史数据质量等原因，网站备案信息存在滞后性、准确率低、信息缺失、信息颗粒度大等问题。由于网站数量庞大，通过自动化的方法解决这些问题满足数据需求是关键。

2 需求分析

2.1 问题描述

本文要解决的是网站分类问题，即根据实际业务需求将多个网站按照一定的标准进行分类。例如，按照行业划分为农业、制造业、资源、能源的生产和供应、建筑业、交通邮电、信息传输、计算机服务和软件业、金融地产租赁、生活服务、教育科研、文体娱乐、公共服务等11类。

2.1 输入

（1）网站地址列表信息：S={Si},1≤i≤N，其中N表示网站总数、Si表示第i个网站的网站地址。

（2）目标分类信息：C={Ck},1≤k≤M，其中M表示总类别数、Ck表示第k个分类。目标分类信息就是分类参考的标准。

2.2 输出

分类结果：每个网站对应的目标分类SC={SCi}={Si-＞C(i)},1≤i≤N,C(i)ÎC，其中 C(i)表示网站 Si对应的分类。

3 基于自然语言处理的网站分类方法

3.1 总体思路

网站分类是一种利用文本信息的分类问题，其关键点主要在于网站特征提取、网站分类算法、训练集获取3个方面。在网站特征提取方面，由于网站地址中携带的信息量较少，考虑将网站内容作为网站的特征用于网站分类，将网站首页的关键词作为量化特征。在网站分类算法方面，通常选择常用的分类算法，但需要根据网站特征定义两个样本之间的距离。在训练集获取方面，由于没有现成的训练集，采用人工标识的方法会耗费大量人力，本文采用分类映射法，即将具备训练集的细颗粒度分类映射到目标分类，从而可以间接获取到训练集。

3.2 网站特征提取

选取网站首页内容（以下称“网页文档”）的关键词作为网站特征，具体可以采用TF-IDF（Term Frequency-Inverse Document Frequency）方法计算得到。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。其主要思想是，如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。从计算公式来讲，TF-IDF=TF×IDF，TF（Term Frequency）表示词频，如果一个词出现在文档里的频次越高，则认为该词越重要，IDF（Inverse Document Frequency）表示逆向文件频率，如果一个词出现在文档的数量越多，则认为该词越不重要。

采用TF-IDF方法提取网站特征的具体步骤包括统计词频、计算TF-IDF值、特征值标准化3个方面。

（1）统计词频。通过网页文档分词处理得到网站的词频，网站Si的网页文档词频wordfreqi={(wordij,freqij)},1≤j≤WNi,其中WNi表示网站Si的网页文档包含的不同词语数。

（2）计算TF-IDF值。利用TF-IDF方法计算每个网页文档中每个关键词的TF-IDF值，并在按照TF-IDF值在文档内进行排序，可以根据关键词个数或TF-IDF值大小选取前KWNi个作为网页文档的关键词，得到tfidfi={(keywordij,tfidfij)},1≤j≤KWNi，KWNi表示网站Si的网页文档关键词的个数。

（3）特征值标准化。将上一步计算得到的TFIDF值进行单位化tij=tfidfij/sqrt(Sj(tfidfij)^2)，得到最终的网站特征值ti={(keywordij,wij)},1≤j≤KWNi。

3.3 网站分类算法

本文网站分类算法采用K最近邻（kNN，k-NearestNeighbor）。kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的k个样本的类别来决定待分样本所属的类别。

kNN算法中需要找到最邻近的k个样本，因此我们要定义两个样本之间的距离。定义距离的核心思想是如果两个网页文档具有相同的关键词越多，关键词权重分布越接近，则认为两个文档越相似，文档距离越近。具体公式如下：

其中，ti、tj分别是两个网页文档的特征值向量，N(i)、N(j)分别网页文档中的关键词数量。

3.4 训练集获取

本文采用分类映射法间接获取训练集。分类映射法的核心思想是若已知分类方式C1、C2，其中C1的分类颗粒度比C2小，则对目标集进行C2分类时可以采用C1的训练集。因此，考虑使用公开的细颗粒度网站分类目录，作为分类算法的训练数据。

定义目标分类是C2，也就是最终需要的分类方式，把相对细颗粒度的分类C1叫做中间分类，也就是我们根据C1的训练集训练模型得到的分类。采用分类映射法后，我们的网站分类在模型训练过程和模型分类过程均需要进行相应的调整。

（1）模型训练过程调整。采用C2的训练集数据得到分类模型。

（2）模型分类过程调整。根据分类模型得到每个网站的中间分类C2，然后根据C2与C1的唯一映射关系得到每个网站的目标分类C1。

4 应用实现

网站分类作为一种大数据分析应用，具有典型的6个环节（见图1），分别是数据采集、数据清洗、数据存储、数据处理、数据分析、可视化，其中数据采集是确定数据源并且从数据源获取数据，数据清洗是对数据采集的原始数据中不规范的内容进行过滤、清洗，数据存储是通过关系型数据库、文本数据等不同形式将数据存储起来，数据处理是数据的基本处理，主要是为了下一步的数据分析做准备，数据分析是为了实现最终的分析目标而进行的业务层面的数据分析，可视化是应用最终的输出，可根据业务实际需求选择不同的展现方式。本节主要从这6个环节介绍利用前文提出的网站分类方法实现的一个应用案例：针对某省7万多个备案网站按照行业分类，共分类11个类别。