正则表达式在旅游突发事件信息抽取中的应用

熊志斌++朱剑锋++尹成国

摘要：针对HTML语言的标记符号的语义特点，提出了正则表达式抽取网页信息的方法，并将该方法应用于抽取网页中的旅游突发事件信息。该方法不需要构建DOM树，利用正则表达式的匹配替换功能去掉网页源码中与正文无关的内容生成原始文档，根据原始文档中的正文内容密集出现的特点，寻找正文的起点和终点，从而提取正文。抽取旅游突发事件信息的试验结果表明，正则表达式能高效地抽取目标信息。

关键词：中文信息处理；信息抽取；正则表达式；旅游突发事件

中图分类号：TP181

文献标识码：A

DOI：10.3969/j.issn.1003-6970.2015.11.005

0 引言

随着我国经济的发展，旅游行业出现前所未有的发展势头，由于各种原因，旅游突发事件时有发生。事件一旦发生就会在互联网上迅速传播，真实消息和虚假消息在网络上混杂蔓延。快速、准确地从海量的网络信息从抽取旅游突发事件信息是旅游突发事件应急处理的关键所在，有助于旅游管理部门把握事态的发展趋势。旅游突发事件信息会出现旅游事故相关的特征词汇，如“踩踏”、“溺水”、“事故”、“伤亡”。除了这些的事故相关的特征词汇外，还有与事件主题相关的词汇：一是在文体中会产生事件主题专有的新词、网络词汇，如“天价虾”、“酒托”、“零团费”、“影子团友”、“刀客”；二是事件所涉及的时间、地点、人物、组织机构等命名实体，如“善德活海鲜烧烤”、“大研古城”、“朝阳旅行社”。这些新词、网络词汇、命名实体在中文分词处理阶段往往属于未登录词汇的范围，难以切分出来，但是这些词汇具有很强的关联性和稳定性，在判断网页信息是否属于旅游突发事件的过程中有特殊的作用。在从网页中抽取旅游突发事件信息的过程中，为了对新词、网络词汇、命名实体等未登录词进行有效的利用，本文提出利用正则表达式从网页抽取旅游突发事件的方法。

1 网页信息抽取

信息抽取（Information Extraction）是指从一段文本中抽取指定的一类信息（例如事件、事实）并将其（形成结构化的数据）填入一个数据库中供用户查询和使用的过程。以因特网作为信息源，从Web网页中抽取信息的过程称为Web信息抽取。Web信息抽取的目标是从Web页面中抽取用户感兴趣的信息并过滤掉不相关的信息，将分散在半结构化Web页面中的信息提取出来，并以结构化、语义更为清晰的模式表示。在Web网页源码中含有大量与正文内容无关的代码，如网页文档类型，网页注释、javascript代码、CSS代码、导航超链，这些无用的信息被称为网页噪声。网页信息抽取的核心问题是从网页源码中剔除网页噪声，保留网页正文内容。随着数据挖掘的深入应用，网页信息抽取技术也在快速发展，目前已经出现了多种网页信息抽取方法，各种方法的技术原理也各不相同。根据各种信息抽取工具所采用的原理，现有的工具可分为5类：基于自然语言处理（Natural LanguageProcessing，NLP）方式的信息抽取、包装器（Wrapper）归纳方式的信息抽取、基于本体（ontology）方式的信息抽取、基于HTML结构的信息抽取和基于Web查询的信息抽取。由于Web网页基本上都是采用HTML语言编写的，基于HTML结构的信息抽取成为目前使用最广泛的一种抽取方式。HTML文本属于半结构化的文本，经过处理就能转化成一个结构化的DOM树（DocumentObject Model），在DOM树的基础上再结合其它技术衍生出了很多种信息抽取方法。李效东等把DOM树中的路径作为信息提取的“坐标”，并设计了一种归纳学习算法来半自动地生成用于包装器提取信息的提取规则。张昕等提出一种利用视觉特征的页面分割算法，结合DOM树，从网页中提取出正文的方法。HTML是一种标记语言，通过标记符号标记要在浏览器中显示的各部分网页内容，每个HTML标记符号有特定的语义。网页文档类型，网页注释、javascript代码、CSS代码、导航超链这些网页噪声是通过特定的HTML标记符号标记出来的，因此利用正则表达式中的匹配功能可以识别网页噪声，再利用正则表达式的替换功能实现剔除网页噪声，保留网页中有用信息。

2 正则表达式

正则表达式（Regular Expressions）是指一个用来描述或者匹配一系列符合某个句法规则的字符串的单个字符串。正规表达式最初出现于理论计算机科学的自动控制理论和形式语言理论中，以后其它一些领域尤其是数学上对它进行了扩展研究，数学上使用正则集合的数学符号来描述此模型。目前大多数高级程序设计语言支持正则表达式，例如C++、Java，C#、PHP语言都有内置的正则表达式功能。在程序设计语言中，正则表达式是一种可以用于模式匹配和替换的模板，一个正则表达式就是由普通的字符以及特殊字符组成的字符模式，将某个字符模式与所搜索的字符串进行匹配、替换、提取子串。

正则表达的三种基本功能是：匹配、替换和提取。匹配功能，可以把用特殊字符串表达的匹配模式与数据文件、程序输入或者WEB页面的表单输入等目标对象进行比较，利用机器自动验证数据格式是否规范。替换文本功能，用于在文档中使用匹配模式来标识特定文字，然后将其删除或进行替换。提取功能，用于根据模式匹配，从字符串提取子字符串。正则表达式在高级程序设计语言中通常用来处理一系列复杂字符串的查找、替换和提取等工作，表现出来的性能优良。正则表达式快速匹配文本的特点可以用于信息抽取。

HTML文档本身就是一系列字符组成的字符串，在信息抽取的过程中完全符合正则表达式的功能特点。采用基于正则表达式抽取网页信息，首先把网页源码作为字符串处理，由用户根据HTML标记符号的语义，编写出一组正则表达式来匹配用户想查找的网页噪声。利用正则表达式的替换功能，将网页噪声替换成空白字符，从而达到网页去噪的目的。

3 基于正则表达式的旅游突发事件信息抽取

利用正则表达式抽取旅游突发事件信息，从网页源码到成功抽取目标信息需要经过四步处理。第一步，从互联网上采集网页，由于互联网上网页数量巨大，通常使用网络爬虫采集网页。第二步，网页清洗，编写正则表达式，利用正则表达式的匹配替换功能剔除网页噪声，生成原始文档。第三步，抽取网页正文，通过合适的算法定位正文部分。第四步，判断是否属于旅游突发事件。经过第四步的判断后，如果属于旅游突发事件，则网页URL、网页标题、网页正文内容存入本地数据库，否则丢弃上述信息。

3.1 网页采集

网络爬虫是一种自动下载网页的程序，采集网页就是利用网络爬虫工具下载网页到本地机器。网络爬虫基本工作原理是从1个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列。通常的网页URL有固定的模式，基本都是以http：//开头，匹配URL的正则表达式为：

http：//f[＼w-]+＼.）+[＼w-]+（/[＼w-./？%&=]*）？ （1）

根据正则表达式（1），网络爬虫从网页源码中能准确提取到URL。

在采集特定信息网页时，使用主题爬虫较好，主题爬虫只采集与特定主题相关的网页。与综合性搜索引擎所用的通用爬虫相比，主题爬虫最明显的特点是需要对爬取的网页内容进行主题相似性分析、确定爬行路径，从而大大减少了爬取的网页数量、降低系统开销、提高了网页质量。

3.2 网页清洗

剔除网页噪声的过程也称为网页清洗。通过分析网页源码，网页噪声是由有限的几个HTML标记符号标记的。HTML语言中每个标记符号都有特定的语义，因此，利用正则表达式中匹配功能，通过HTML语言中的标记符号可以找到网页源码中的网页噪声，再利用正则表达式中的替换功能将匹配项替换成空白字符就实现噪声剔除。例如，javascript代码被封闭在标记符号之间，可以用高级语言内置的正则表达式将javascript代码剔除掉。以Java语言为例，调用String类的实例方法replaceAll（"（？is）.*？"，""）卖现剔除javascript代码。网页清洗过程中要用到的正则表达式如表1所示，在高级程序设计语言中应用表1中正则表达式时，要启用单行和不区分大小写模式匹配，或在正则表达式中使用内嵌标志（？is）。网页清洗步骤如下：

1.抽取标题。网页标题既可以在