批量数据入库在ASP中筛选重复的处理方法——以湘西民族职业技术学院新生信息录入库为例*

龚 书

(湘西民族职业技术学院，湖南 吉首 416000)

批量数据入库在ASP中筛选重复的处理方法
——以湘西民族职业技术学院新生信息录入库为例*

龚 书

(湘西民族职业技术学院，湖南 吉首 416000)

在建立数据库时，重复数据的判断对于数据库管理至关重要，没有准确关键词作为对比，重复数据的判断将变得非常困难.传统的哈稀技术、固定分块技术、滑动块技术、可变分块技术和数据指纹等对重复数据进行查找与删除时，占用了大量系统处理时间，且准确性较低.为提高数据处理效率，提出了ASP批量数据在入库时的查重筛选方法，实践验证了该方法的鲁棒性与可靠性，极大地减轻了操作员对数据库管理的繁重工作.

清除重复；数据清理；数据核对；筛选入库；数据仓库；数据导出

网络技术的高速发展和应用，促使信息技术的革新与发展.随着大批量信息的不断增加，越来越多的人都在考虑如何共享资源，建立一个大的信息资源库，“数据仓库”[1]一词便应运而生.由于各种复杂原因，数据源在入库时的标准不统一、录入人员的失误、数据属性值的缺失、不同数据源对数据值的表示差异等，数据源数据变得繁杂而多样，核对后发现其实许多都是相同或相似数据[2-4]，对这样的冗余数据必须加以处理之后方可入库，从而保证数据库的高效性和实用性.文中以某校新生数据入库为例，阐述了重复ASP批量数据的入库处理方法.

1 数据常规导入方法

新生数据采集方式通常采用网站B/S架构形式，最初构想是录入人员分层次进行，比如学生、家长、招生人员、教师、管理员等，对每位数据采集人员进行权限等级设置，各司其职，对自己录入数据可以反复查询并修改，管理员可以通过后台全面核查管理.

正常采集是操作人员登录网站后进行数据录入，在网页界面中已经实现对新数据与库存数据的查重筛选，如果发现疑似数据，就立即提醒操作人员核查以防重复数据入库.具体实施办法是提取学生姓名作为“指纹”[5-6]，并与库索引进行比较，次关键字为身份证号码.本应该身份证号为首关键字，姓名为次关键字，但在实际操作过程中有近50%以上的学生报名时无法提供身份证号.原因其一是家长不够重视身份的确认，部分家长在学生初中毕业后还未办理户籍登记；其二是部分学生拥有2个身份证号码，在办理新住户登记时未注销旧号码，甚至出现同一人有多个身份证号码现象；其三是为节省时间，登记人员省略身份证号码登记，这样造成学生身份确认不严谨，加大了数据核查工作量.针对此类现象，对数据源数据进行相同或相似性筛选[2-4]，筛选后将重复结果展示给录入人员.录入人员根据筛查情况进行相应处理，这样避免重复数据入库，对于查出身份证号完全相同的情形，在提示过后坚决不允许入库.

该校招生结构主要以地区招生组为主，70%以上数据均来自各招生组.招生工作的特殊性，使得很多时候无法登录招生网站，无法直接进行数据采集.各招生组则采用Excel表自建完成，数据来源情况繁杂、参差不齐.为缩短数据入库时间，提高入库效率，对该数据源的处理方法一般采用Excel数据表导入形式.

通常的导入数据方法为按库结构建立Excel数据表[7]，填充数据后再导入数据库.源代码如下：

创建Excel连接驱动

set StrConnect=CreateObject("ADODB.Connection")

StrConnect.Open "provider=Microsoft.Jet.OLEDB.4.0;Data Source="&Excel&";Extended Properties=Excel 8.0"

创建数据对象

Set rs = Server.CreateObject("ADODB.Recordset")

rs.Open "select * from ["&Result&"$] ",StrConnect,2,2

set rssql=server.CreateObject("adodb.recordset")

rssql.Open "select * from "&Result&"",conn,1,3

数据入库

rssql.Open "select * from "&Result&"",conn,1,3

rssql.AddNew

For i = 0 to rs.fields.count-1

if rs(i)<>"" then

rssql(i+1) = rs(i)

end if

next

rssql.Update

2 问题分析

以上代码导入全表数据成功无误，若遇到数据重复，最常用的方法是根据身份证号码作为关键字对比排查重复，但实际情况有时会碰到数据缺失问题(数据属性值欠缺)，如身份证号码不全或无身份证号码.据统计，每年这种情况占50%之多，因此只能根据姓名及其他属性信息进行排查(通常采用角度相似性测度匹配算法[7]).具体设计方案如下：

(1)将判断重复首要关键字改为“姓名”，次关键字为“身份证号码”，其他属性值一一匹配排查.其具体源代码如下：

if rs("IDcard")<>"" then ‘如果身份证号字段不为空，查重按姓名和身份证号对比

rssql.Open "select * from "&Result&" where RegName='" & rs("RegName") & "' or IDcard='" & rs("IDcard") & "'",conn,1,3

else ‘如果身份证号字段为空，查重只按姓名对比

rssql.Open "select * from "&Result&" where RegName='" & rs("RegName") & "'",conn,1,3

end if

在导入数据时，最先导入的数据可以作为特征词[1]，后续导入的数据与特征词进行相似性比较，这样可以保障新建库时首次导入也能消除重复数据.

(2)罗列出成功导入信息及失败导入信息.其具体源代码如下：

If rssql.eof or request.form("InsertID")<>"" Then '判断不重复数据或强行导入重复数据

rssql.AddNew

写入数据时，如果“ID”编号为自动，就不要在xls表中加入“ID字段”.导入提交数据前先删除所有记录，并重置序号，否则导入失败.筛选重复后数据源导入数据库的代码如下：

For i = 0 to rs.fields.count-1

if rs(i)<>"" then

rssql(i+1) = rs(i)

end if

next

rssql.Update

TureCount=TureCount+1

response.write "

"

Response.Write "
"

txtFile.WriteLine "


"

Else '判断重复数据后列出

response.write "


"

FalseInto=FalseInto &"" '失败记录号累计

response.write "


"

Response.Write "
"

txtFile.WriteLine ""&year(date())&"年"&month(date())&"月"&day(date())&"日 "&time()&" 导入数据




"

导入数据后若出现失败提示(见图1)，则首先确定是否重复，如果确定数据没有重复，那么勾选“确定导入”，如果确定数据重复可不予处理.若需要对库数据加以补充则可勾选“修改”，参照导入数据对库数据进行完善.

图1 导入数据后的提示界面

(3)数据处理过程.其源代码如下：

response.Write "