中药资源普查数据核查系统的设计与实现

2017-12-15 00:19王慧张小波格小光金艳景志贤戚元华王凌赵宇平王玮郭兰萍黄璐琦
中国中药杂志 2017年22期
关键词:系统设计

王慧 张小波 格小光 金艳 景志贤 戚元华 王凌 赵宇平 王玮 郭兰萍 黄璐琦

[摘要]全国中药资源普查信息管理系统已经汇总了大量的中药资源普查数据。为从国家、省级和县级3个层面辅助普查人员进行数据核查,减轻内业整理作业强度、降低工作量。中国中医科学院中药资源中心基于Java语言、Oracle 数据库、J2EE和数据连接池技术,按照SOA架构开发了中药资源普查数据核查系统。系统包括系统管理、数据单项核查、核查评分3个方面功能,采取人工核查和自动核查2种方式对普查实施方案、重点调查信息、一般调查信息、栽培药材信息、种质资源信息、药材信息、市场调查信息、传统知识信息和标本信息9方面20类175指标进行数量和质量核查。辅助县级普查队有效完成数据录入整理工作,从而提高普查数据的完整性、一致性和准确性,保证数据可用,为中药资源普查成果汇总、展示以及数据共享奠定基础。

[关键词]中药资源普查; 数据核查; 系统设计

[Abstract]The Chinese materiamedica resources (CMMR) national survey information management system has collected a large amount of data To help dealing with data recheck, reduce the work of inside, improve the recheck of survey data from provincial and county level, National Resource Center for Chinese Materia Medical has designed a data checking system for Chinese materiamedica resources survey based on J2EE technology, Java language, Oracle data base in accordance with the SOA framework It includes single data check, check score, content manage, check the survey data census data with manual checking and automatic checking about census implementation plan, key research information, general survey information, cultivation of medicinal materials information, germplasm resources information the medicine information, market research information, traditional knowledge information, specimen information of this 9 aspects 20 class 175 indicators in two aspects of the quantity and quality The established system assists in the completion of the data consistency and accuracy, pushes the county survey team timely to complete the data entry arrangement work, so as to improve the integrity, consistency and accuracy of the survey data, and ensure effective and available data, which lay a foundation for providing accurate data support for national survey of the Chinese material medica resources (CMMR) results summary, and displayingresults and sharing

[Key words]Chinese materia medica resources survey; data checking; systematic design

中藥资源是中医药事业和中药产业赖以生存发展的重要物质基础,是国家重要的战略性资源。2011年8月,国家中医药管理局正式启动了全国中药资源普查(试点)工作[12]。

为汇总保存全国中药资源普查数据,推进中药资源普查数据库和软件系统建设,在国家发展改革委和财政部有关科技项目的支持下,中国中医科学院中药资源中心开发建设了全国中药资源普查信息管理系统,汇总保存全国中药资源普查数据信息。中药资源普查数据的完整和准确是共享应用的前提,中药资源普查外业调查采集的信息量大,采用人工核查的方法对普查数据进行逐条全面核查工作量巨大。

为辅助普查人员进行数据核查,减轻业内整理作业强度、降低工作量,提高省级和县级对普查数据质量的核查能力和工作效率,为中药资源普查成果共享提供有效的数据支撑和服务,在前期工作基础上,开发了中药资源普查数据核查系统。本文对中药资源普查数据核查系统(以下简称“核查系统”)的功能设计,开发技术方法和特点等进行简要介绍,以期加强对核查系统的认识和了解。

1核查系统框架设计

11核查系统功能结构

核查系统共分为系统管理、数据单项核查和核查评分三大功能模块,核查系统的总体功能结构见图 1。

数据核查主要包括人工核查和自动核查两大部分,分别从数量和质量2个方面开展。核查系统根据数据核查标准和打分标准,核查每一条记录的完整性、准确性、一致性,并以表格方式列出不合格的指标项,指出不合格的原因;并对每一个指标进行打分,统计汇总核查结果,生成评分表、给出总体评价(优秀、合格或不合格)。数据的完整性和工作任务完成率,由核查系统根据打分标准自动完成。数据的一致性和准确性,需要通过人工方式与纸质记录进行比对完成。endprint

核查系统支持不合格数据信息的批量导出功能,并设置有效地结果反馈。县级管理员可以看到省级专家对本县数据的核查打分结果,省级用户可以看到国家级专家对本省数据的核查打分结果。县级用户和省级用户结合自查结果和上级用户的打分结果,进一步修改完善相应的数据,最终保证普查数据的真实、有效。

12核查依据和原则

以县级自查,省级和国家级按固定比例抽查的方式,对各县填报的数据信息,从数量和质量2个方面对数据的完整性、一致性和准确性进行核查。

完整性:根据《全国中药资源普查技术规范》[4]和《全国中药资源普查数据验收标准》中要求的必填项,内容全,无空项,视为信息完整。一致性:录入到数据库中的每条数据记录内容与相应的原始记录一致;如果调查记录表在内业整理中做了修改,所填报的数据与修改后的记录表一致,也视为信息一致。准确性:数据库中每条数据记录符合实际情况,经人工确认,并能参加数据库的运算视为信息准确。

2核心技术

21基于J2EE和SOA的架构实现与普查填报系统的对接

核查系统需要访问普查队员填报到全国中药资源普查信息管理系统中的数据,同时,将国家和省级核查结果反馈给县级普查队员。核查系统开发需要处理好核查系统与填报系统、及基础数据库之间的关系。核查系统基于J2EE(Java 2 platform,enterprise edition)技术,按照SOA(serviceoriented architecture)架构进行搭建,对中药资源普查数据填报系统统一进行架构分析。在统一的SOA开发方法指导下,遵循相关标准与规范,实现数据填报和核查业务系统的解耦。

J2EE是主机级的Java平台,简化了应用程序开发,降低了对编程工作量和对程序员的要求。J2EE包含許多组件,可简化、规范应用系统的开发与部署,提高系统的可移植性、安全性与再用价值[56]。

SOA是面向服务的体系结构,是一类分布式系统的体系结构,是构建如何组成一个系统的模型,它将应用程序的不同功能单元(称为服务)通过这些服务之间的接口,按松藕合方式整合在一起,即将多个现有的应用软件通过网络整合成一个新系统[7]。SOA架构分成:基础架构、业务流程管理、服务展现3层。SOA的运行支撑环境,包括服务展现层和业务流程管理层,由服务总线(ESB)、流程服务、应用展示服务、适配器服务、可重用服务库组成。

22基于数据库连接池技术提高数据处理速度

数据核查过程中用到大量的基础业务信息和应用字典表(例如基原表、药材表、基原药材对应表等),涉及到的数据大约有10万多条,这些数据在每一类的数据核查中都会被反复使用到。数据库处理往往是整个业务处理中最耗时的步骤,而在各种数据库操作的步骤中,数据库的连接和释放往往又特别耗时。能否快速响应用户操作是实现核查系统开发的关键。在核查系统开发中采用数据库连接池(connection pool)技术[8],以有效降低数据的处理时间。在应用服务器系统中,采用数据库连接池技术提高系统的响应速度和整体性能。即在系统初次使用时完成数据库的连接,而后不再释放此连接,在处理后面请求时,反复使用这些已经建立的连接。

3系统功能设计

31系统管理

系统管理包括后台管理和批次设置2个方面的功能。①后台管理模块主要包括权限管理、系统日志和字典管理3个功能模块。权限管理的用户包括国家、省和县三级用户,用户信息、用户权限均来源于全国中药资源普查信息管理系统。国家用户包括国家级数据库管理员和国家级核查专家;省级用户包括省级数据库管理员和省级核查专家;县级用户包括县级数据库管理员。系统日志功能主要记录用户登录日期、登录用户名、登录IP还有权限修改等关键操作。字典管理实现对常用字典数据的管理。②批次设置。该功能仅面向国家级用户(省级和县级用户无此功能权限)。国家级用户可以按省(自治区、直辖市),设置各县开展中药资源普查的起止时间,验收核查指标项等,实现对县级中药资源普查工作验收核查时间和指标的管理。

32单项核查

数据单项核查主要包括普查实施方案、重点调查信息、一般调查信息、标本信息、栽培药材信息、市场调查信息、种质资源信息、药材样品信息和传统知识调查信息等9个方面。

针对一般调查等9个方面的每项指标,用户可自定义校验项,核查该县该项指标的完成情况。核查系统可计算出填报总数、合格数和合格率。对于不合格的数据项,核查系统予以红色标注,并给出不合格原因。为方便普查队修改数据,核查系统提供了单项核查指标的导出功能,用户可将单项指标的核查结果导出到Excel中。

33核查评分

331数据打分国家用户可根据设定的核查比例对各省的中药资源普查数据进行核查评分。

省级用户可查看国家中药资源普查专家给本省的评分表。省级用户根据设定的核查比例对所辖各县的中药资源普查数据验收评分。完整性和完成率由核查系统根据打分标准自动完成,一致性和准确性的打分由核查系统协助省级中药资源普查专家委员会成员通过人工的方式进行打分,最终系统自动统计出各县的总计得分,并给出总体评价(优秀、合格或不合格)。

县级用户可查看省级专家的评分表。县级用户逐条对本县的中药资源普查数据自评分,完整性和完成率由核查系统根据打分标准自动完成,一致性和准确性的打分由核查系统协助县级用户通过人工的方式进行打分,最终核查系统自动统计出本县的总计得分,并给出总体评价(优秀、合格或不合格)。

332评分统计评分统计包括历史和实时核查结果统计汇总功能,包括普查数据核查完整性结果汇总和统计。国家用户可汇总或实时统计全国所有省(区、市)的普查数据完整性核查结果。省级用户可汇总或实时统计所辖各县区的普查数据完整性核查结果。县级用户可汇总或实时统计本县的普查数据完整性核查结果。评分统计模块,提供了报表导出功能,可将核查结果汇总导出到Excel中。endprint

4数据核查内容

41实施方案

对县级和省级中药资源普查(试点)工作实施方案进行核查,确保目标任务明确。核查内容包括:领导小组人员和办公室人员构成、普查队依托单位和人员、原有中药资源目录、重点调查中药资源目录、系统预设样地结果、经费等6项指标。

42一般调查信息

对一般调查获取的数据进行核查,确保通过软件系统能有效地统计区域内中药资源种类、分布等信息。核查内容包括基原、位置、生境和标本4个方面的14项指标。①基原信息,核查内容包括:种类编码、种中文名、种拉丁名、科中文名、生活型、植物个体照片等。②位置信息,核查内容包括:经度、纬度、海拔。③生境信息,核查内容包括:生境照片、植物群落、植被类型等。④标本信息,核查内容包括:采集号、植物标本(每种至少有1份)。要求基原、位置、标本和对应照片完整,视为一条完整有效的物种信息。

43重点调查信息

对重点调查工作获取的数据信息进行核查,确保通过软件系统能有效地估算重点调查药材的蕴藏量,核查内容包括样地、样方套、数量和质(重)量调查表4个方面的32项指标。①样地信息,核查内容包括:代表区域编号、代表区域名称、样地编号、样地名称、样地所在乡镇名、调查人员、调查时间、生境照片编号、经度、纬度、是否适宜调查等。要求每个县在代表区域内完成的样地调查总数大于或等于36个。如果代表区域面积小于36 km2,样地数量为代表区域内1 km2格网的数量。②样方套信息,核查内容包括:样方套编号、植被类型、土地利用类型、经度、纬度、海拔、坡度、坡向和6个小样方的生境(植物群落)照片编号、所在样地编码等。要求每个县完成的样方套总数量为样地数量的5倍,一般不少于180个,且样方套与样方套之间的距离大于100 m。③数量信息,核查内容包括:种中文名、样方套编号、药材名、样方内个体数量等。要求方内出现的重点调查种类,要准确填报每个重点调查种类的个体数量。④质(重)量信息,核查内容包括:代表区域编码、药材名、种中文名、入药部位照片、药材个体编号、入药部分干重、药材照片等。要求样方内出现的重点调查种类,要准确填报重点药材的质(重)量,每个县针对每种药材需要有3~5条以上的重量记录。

44栽培药用植物信息

對栽培药用植物调查获取的数据进行核查,确保通过软件系统能有效地统计区域内栽培资源种类、分布范围、数量等信息。核查内容包括走访调查和现地调查2个方面的29项指标。①走访调查信息,核查内容包括:县名、县代码、访问对象、联系方式、调查人、调查时间、药材名、植物中文名、药用部位、乡镇名、亩产量和栽培面积等。②现地调查信息,核查内容包括:县名称、县代码、调查人、调查时间、种植区名称、种植区编号、药材名、植物中文名、拉丁学名、药用部位、生活型、植物个体照片、经度、纬度、海拔、栽培面积和亩产量等。

45标本信息

对普查中采集的标本实物相关数据进行核查,确保通过软件系统能辅助进行区域内中药资源种类、分布等信息。核查内容包括:采集号、采集时间、采集人、采集地点、经度、纬度、海拔、生活型、资源类型、标本类型、科名、植物名、拉丁学名、药材名、入药部位、植物个体照片和标本照片等,共17项指标。每县、每1份腊叶标本,至少有1条物种信息。

46药材样品采集信息

对普查中采集的药材样品相关数据进行核查,确保通过软件系统能有效地统计区域内采集药材样品的种类、数量等信息。核查内容包括:样品编号、药材名、基原名、植物名、学名、科名、入药部位、重量、采集人、采集时间和采集地点等,共11项指标。

47种质资源信息

对普查中采集的种质资源实物相关数据进行核查,确保通过软件系统能有效地统计区域内采集种质资源的种类、数量等信息。核查内容包括:种质编号、保存类型、种名、拉丁学名、科名、属名、原植物照片、来源分类、收集量、采集时间和采集人姓名等,共11项指标。

48中药材市场调查信息

对市场调查获取的数据进行核查,确保通过软件系统能有效地统计区域内市场流通中药材的种类、数量、价格等信息。核查内容包括市场、商户、药材、企业利用和进出口情况5个方面的40项指标。①市场信息,核查内容包括:调查地点、市场照片。②商户信息,核查内容包括:调查商户、商户编号、调查对象、调查人员和调查时间。③药材信息,核查内容包括:商户名称(商户编码)、基原、药材名、入药部位、资源类型、收购来源、收购价格、销售价格、年收购量、年销售量和药材照片等信息。④企业利用现状调查信息,核查内容包括:调查地点、访问人、访问时间、企业名称、药材名、年需求量、年收购量和产品类型等信息。⑤进出口情况调查,核查内容包括:调查地点、访问人、访问时间、企业名称、药材名、基原、贸易模式、资源类型、进口价格、出口价格、年进口量、年出口量、进口国家(地区)和出口国家(地区)等信息。

49传统知识信息

对与中药资源相关传统知识调查获取的数据进行核查,确保通过软件系统能有效地统计地方性、民族性药物应用的知识与经验。核查内容包括:调查区域、调查时间、调查人、知识名称、中文名、药材名、药用部位、使用的民族、使用的区域、主治、使用方法、持有人姓名、民族、联系地址、电话等,共15项指标。

5应用情况

全国中药资源普查试点工作从2011年开始,至今已经在31个省区直辖市、922个区县开展了中药资源普查工作,先期启动实施中药资源普查的省份逐步进入了试点工作的验收阶段。

2017年5月,在全国中药资源普查数据核查系统的辅助下,对10个省(区直辖市)206个县普查队填报的数据从国家、省级和县级3个层面进行数量和质量把关,大大节省了人力、物力和时间,提高了普查数据的完整性、准确性和一致性,保证数据有效、可用,为中药资源普查成果汇总、成果展示以及数据交换提供有效准确的数据支撑和服务。

[参考文献]

[1]郭兰萍 全国中药资源普查的实施准备[J] 中国现代中药, 2009, 11(2):3

[2]黄璐琦, 赵润怀, 陈士林,等 全国中药资源普查筹备与试点工作进展[J] 中国现代中药, 2012, 14(1):13

[3]张岳, 马卫峰, 张小波,等 中药资源普查数据校验的方法与探讨[J] 中国中药杂志, 2013, 38(13):2060

[4]黄璐琦,王永炎 全国中药资源普查技术规范[M] 上海:上海科学技术出版社,2015

[5]李洋,孙永维,许冰,等 基于Ajax, Struts, Hibernate和Spring的J2EE架构[J] 吉林大学学报:信息科学版,2011(6):576

[6]陶以政,吴志杰,唐定勇,等 基于J2EE的应用框架技术研究[J] 计算机工程与设计,2007(4):826

[7]James Snell SOAP Web 服务开发[M] 胡军译 北京:中国电力出版社, 2002

[8]黄汛,程治刚 数据库连接池技术的应用研究[J] 武汉大学学报:工学版,2002(1):98

[9]王克龙,王玲,王平立,等 数据仓库中ETL技术的探讨与实践[J] 计算机应用与软件,2005(11):32

[10]张宁,贾自艳,史忠植 数据仓库中ETL技术的研究[J] 计算机工程与应用,2002(24):213

[责任编辑吕冬梅]endprint

猜你喜欢
系统设计
基于UML技术的高校贫困生管理系统建模分析