四川地面气象台站元数据文件质量分析及启示

2022-06-23 05:13赵晓莉
中国管理信息化 2022年5期
关键词:气象台站数据文件台站

刘 霄,赵晓莉,王 凌

(1.四川省气象探测数据中心(四川省气象档案馆),成都 610072;2.高原与盆地暴雨旱涝灾害四川省重点实验室,成都 610072;3.四川省气象灾害防御技术中心,成都 610072)

0 引言

气象台站元数据,亦即气象台站历史沿革信息,它是气象观测记录数据的重要背景信息,是了解、管理和应用气象数据所必需的基础信息。气象台站的台站位置、测场环境以及使用的观测仪器、观测时制、观测规范等要素总会随着时代发展而发生变化,这些因素的变化会直接影响气象观测结果,影响气候资料的非均一性。对气象台站这些相关信息进行采集、分析、查证、组织,形成规范而系统的可用数据,对于科研人员分析长序列历史数据中的异常数据有很大的帮助,借此可以进行气候资料非均一性检验和订正,排除因台站迁移、环境变化、设备换型、观测规范变化导致的数据突变,避免错误分析。正因为如此,世界气象组织和许多国家都十分重视气象台站历史沿革信息的收集、存档和利用,这些历史沿革信息也成为国际间气象数据交换所必要提供的元数据重要内容之一。由于种种原因,截至2010 年,我国气象台站历史沿革信息尚未完全数字化,缺乏完整性、系统性和连续性。为适应气象数据管理现代化和数据共享服务的需要,2011 年,中国气象局预报与网络司启动了包括地面气象台站元数据文件(以下简称LD 文件)整编在内的“基础气象资料发展与改革专项”。

1 台站元数据整编概况

四川省LD 文件整编,严格按照气象行业标准QX/T 37—2005 《气象台站历史沿革数据文件格式》技术要求,对分布于纸质台站档案、地面观测各种纸质记录簿、年月报表、自记纸、地面观测要素数字化数据文件(A 文件)、业务管理文件中的地面气象台站沿革信息进行梳理、采集、分析、查证和组织,形成完整的LD文件,并经过全面、系统、严格的质量控制后建立了完整的高质量的LD 文件数据集(建站以来,2.0 版),满足了气象业务、科研、服务和气象数据交换等应用需求。

LD 文件设计为20 个项目(见表1),实际编制为17 个项目,设预留项目3 个,具有一定的可扩展性。主要由台站名称、区站号、台站级别等项目构成,每一项内容的历次变化都要在元数据文件中有所体现,形成1 条或多条记录,每条记录都由若干组数据组成。能在相关档案资料中查阅到明确记载的,需要照实记录;信息有疑误的,按查证后的正确结果记录;信息不明确的,则用相应的标示符予以标示。

表1 气象台站元数据文件内容构成

2 台站元数据文件质量分析

2.1 项目来源与组织管理

四川省LD 文件整编项目源自2003 年的中国气象局“气象科学数据共享”项目和2010 年中国气象局“基础气象资料发展与改革专项”。

项目由国家气象信息中心统一组织,四川省气象档案馆具体承担项目实施。项目任务下达后,四川省气象档案馆根据任务书要求,成立项目小组,项目小组成员主要由长期从事地面气象报表审核、档案管理人员组成,档案馆馆长任组长亲自抓组织抓落实。为保证按期保质完成项目任务,开工前项目小组认真学习了行标要求,对相关纸质档案和数字化资源进行了详细了解,然后分解工作任务,制定考核标准,有组织有计划地推进。整项工作投入近20 人,历时近10 个月。

2.2 数据来源与流程管理

项目共完成167 个地面站(含10 个满5 年撤销站,本文以其中159 站为主要资料来源进行分析)LD文件的初编、修改、追加和新编。过程中查阅地面气象记录月报表(气表-1)等纸质报表18 种、降水等自记纸5 种、纸质台站档案630 册、地面气象观测要素数字化数据文件(A 文件)159 个、各类报表扫描图像文件30万个,从中梳理、采集、分析、查证台站沿革各项有关信息,对记载不规范的原始信息进行规范化处理,严格按照QX/T 37—2005《气象台站历史沿革数据文件格式》格式和流程形成完整的台站元数据文件。编制流程见图1。

图1 台站元数据文件编制流程

2.3 编制过程与质量控制

为确保LD 文件质量,满足气象业务和科研对数据质量的精准需求,编制前先出台标准规范再组织整编,然后对所有LD 文件以软件检查和人工审核相结合的方法进行全面、系统的质量控制。

2.3.1 标准规范先行,保证元数据文件的规范性

为适应气象数据管理现代化建设和数据共享服务的需要,中国气象局于2005 年组织技术力量研究和设计了一套实用可行的行业标准QX/T 37—2005 《气象台站历史沿革数据文件格式》,从内容、结构、格式等方面对LD 文件整编予以规范并进行了业务培训。此后各省的LD 文件整编及国家气象局台站元数据质检软件研发都是基于该行业标准,保证了LD 文件整编和质检的规范性和高效率。

2.3.2 质检软件助力,保证元数据信息的完整性

台站元数据质检软件是依据气象行业标准QX/T 37—2005 研制而成,主要对LD 文件进行完整性检查、格式检查和质量检查,包括时间一致性检查、内容一致性检查和数据检索结果检查。若检查出要素项目缺少,即按照该标准进行补报和更新。格式检查完成后进行质量检查,主要结合A 文件进行质量控制,并与A 文件相互订正,若检查出元数据文件与A 文件在经纬度、观测场海拔高度、风仪高度等方面相矛盾,则自动生成备注文件以备人工核查,此备注文件随台站元数据文件一起归档保存。

2.3.3 人工核查把关,保证元数据信息的准确性

人工核查主要是对软件审核的疑误信息和错误信息进一步核实,对于容易判断的错误信息即时予以更正,对于不易辨明的疑误信息予以合理解释(见图2),作为备注信息亦随台站元数据文件一起归档保存。对一些自由格式内容写法的规范性进行检查,确定内容是否属实、合理,提出修改指导性意见。通过对LD 文件的质量控制,也发现和纠正了历史报表和记录数据文件中的一些错误,起到了质量反哺作用。

图2 质检疑误信息的人工核查记录

LD 文件的质量控制主要通过国家气象局和省气象局两级单位协调互动实现,如表2 所示,其过程包括“一审、二改、三查”,直到错误信息全部修正无误、疑误信息全部进行合理说明,符合要求后才予以定稿。

表2 气象台站元数据质量控制过程及结果

2.3.4 实时追加更新,保证元数据信息的适用性

2011—2013 年实施的“基础气象资料发展与改革专项”建立了气象台站元数据实时追加与更新机制,自2014 年开始,每年通过气象资料业务系统(MDOS)实时将气象台站元数据信息追加更新至上一年度,以确保业务和科研应用到最新最完整的LD 文件。

2.4 元数据质量评估及效益

从表2 可以看出,经过国、省两级互动的“一审、二改、三查”质量控制过程,四川省LD 文件疑误数、疑误率、修改疑误数、修改率均大幅降低,特别是疑误数从1 209 条减少至63 条,减量为1 146 条,减幅为94.8%。修改率降低也十分明显,且无法修改的疑误信息均能进行合理的解释。可见,元数据的质量已显著提高。综观项目来源、组织管理、数据来源、质控手段和过程,四川省LD 文件的质量可信度较高。

通过“基础气象资料发展与改革专项”,形成了完整的四川省LD 文件集合,丰富了四川省气象档案编研产品,为地面气候资料分析和非均一性检测订正提供了必要的背景信息,为开展四川省乃至中国气候资料序列时间和空间均一性的影响研究、为建立地面气象观测要素均一化气候序列,近百年均一化气温、降水时间序列等项工作奠定了坚实的基础,经济效益和社会效益十分明显。

3 存在的问题与不足

四川省LD 文件总体质量是好的,但因各种原因,也存在一些不可避免的问题与不足,还需要在以后的工作中进一步完善,并通过制度建设,加强管理,以弥补遗珠之憾。

3.1 台站周围障碍物记载情况

在编写台站周围障碍物一项(06 项)时。主要参考文献《台站档案》,而此文献中记载的障碍物的方位、名称、仰角、宽度角、距离等项目多为1983 年的情况,造成各台站建站至1983 年这段时间台站周围障碍物的分布情况不详。

3.2 台站早期站址记载情况

早期个别台站经纬度及海拔高度未经过精确测量,大都为约测值,从而造成台站经纬度和海拔不精准,因而站址信息不够准确。

3.3 观测仪器变更记载情况

部分台站个别年限某些气象要素观测所用的仪器设备名称、距地或距平台高度不明,由于年代久远,参考文献有限,一些仪器的变更情况无从查证。

3.4 对观测记录非均一性影响较大的项目变化情况

从表3 可以看出,四川省159 个气象站LD 文件01—19 项总变化次数48 931 次,而对观测记录非均一性影响程度前三位(见图3)的台站迁移(05 项)、台站环境(06 项)和观测仪器(08 项)变化次数都较大,其中迁站768 次,约占总变化数的1.6%,平均每站迁站次数为4.8 次;台站环境变化1 942 次,约占总变化数的4%,平均每站变化12.2 次;观测仪器变化28 941 次,占所有项目变化总数的59.1%,平均每站变化182 次。

图3 气象台站沿革信息对观测记录非均一性影响程度[5]

表3 对观测记录非均一性影响较大项目的变化情况

4 启示与建议

4.1 合时编研,提升档案工作影响力的重要抓手

LD 文件整编,是为了满足国际间气象数据交换和国内气候资料分析、研究的迫切需要而开展的一项的编研活动,它顺应了气象数据管理现代化和数据共享服务的时代需要,有着极为重要的现实意义和深远的历史意义。编研工作是档案利用工作的一个重要组成部分,是档案部门系统、广泛地向社会提供利用服务的一种更有效方式,它可以直接服务于业务、科研和社会各项事业,有助于推动和促进地方人文历史、社会科学的研究。大数据时代档案编研工作面临更多机遇和挑战,气象档案工作者应顺应时代潮流、转变观念、强化能力,做到编研合时,常编常新,开发出更多气象档案编研精品,不断激活气象档案价值,持续提升气象档案工作影响力,积极推动气象档案事业向前发展。

4.2 信息技术,提高档案工作效率的强大助力器

四川省LD 文件整编,涉及包括撤销站在内的地面台站167 个,记录数近7 万条,查阅各种气象记录扫描图像文件30 余万个,质检过程中检索A、V/Y 文件近万条,形成检索记录6 800 余条,质控“三查”中检查疑误记录4 100 余条,补充、修正各项变化记录信息356组,规范化处理原始记录信息79 组。台站元数据文件的编报、质检、修改都充分发挥了计算机和应用软件等信息技术的巨大作用,否则单靠人工来完成,其难度无法想象。档案治理时代的来临,要求档案人在不断更新专业知识的同时,努力掌握更多的信息技术。

4.3 实时追加,元数据信息完整准确的有力保障

新中国成立以来,各省气象部门曾先后几次对气象台站沿革信息进行了收集整理,形成了1965 年、1983 年和2006 年三个版本的台站档案,在气象事业发展过程中发挥了很大的作用,但也有其不足之处:沿革信息登记不够齐全也不够及时,部分信息不够准确,同一内容记录在不同载体中还存在一些矛盾,这些都给LD 文件整编带来不小困惑,徒增很多时间和人力成本。此次“基础气象资料发展与改革专项”不仅形成了较为完整的LD 文件数据集,而且建立了台站元数据信息实时追加制度,确保了后续信息采集的齐全、完整、及时、准确。为确保这项工作长期持续向好,不断提高LD 文件质量,一方面,业务主管部门应建立长效机制,加强对相关单位业务考核;另一方面,业务单位应通过MDOS 平台及时登记气象台站元数据备注纪要信息,尤其是要重点登记对观测记录非均一性影响程度较大项目的变化信息,杜绝再为后人留下记录不全、不准的遗憾;再者,档案管理部门要加强数据入库监督,与主管部门和相关单位建立良性互动关系,协同促进气象台站元数据按要求及时入库。

4.4 丰富馆藏,仪器设备档案是重要资源

从表3 可以看出,08 项观测仪器总共变化了28 941次,占所有项目总变化次数的59.1%,可见观测仪器变化情况在LD 文件整编中的重要地位。观测仪器的频繁变动,直接影响气象记录的不连续性,进而影响到气候资料的均一性,张智等人认为观测仪器的变化是今后元数据追加的主要内容,是有道理的。新中国气象事业从无到有,从弱到强,从传统人工观测到现代化自动探测,仪器设备都扮演了重要角色,是重要的见证物,它承载了丰富的信息内容。加强仪器设备档案(包括仪器实物)的收集保管,规范仪器设备信息的记录,不仅对分析研究气候资料的非均一性具有重要意义,而且对建设气象史馆、展示气象事业发展成就和气象文化、开展气象科普教育也具有不可替代的重要价值。

4.5 气象记忆,迫切需要口述史料来补缺

LD 文件整编过程中,难点之一就在于散存于各种气象档案载体中的元数据信息存在不齐全、不准确、不规范、不一致(多种记录载体中的信息不统一)现象,给整编人员带来诸多困惑。这种问题通过查找相关文献资料,咨询台站发展相关参与人、知情人得到了最大程度的解决。一部分参与人、知情人在整编过程中通过回忆和讲述释疑、解惑、纠错,发挥了积极作用。不仅如此,他们还承载了当地气象事业发展史的其他丰富记忆,是一笔宝贵财富,但他们正在慢慢老去,其经历和记忆也会逐渐模糊甚至丧失,当下开展口述气象史料建设显得尤为必要和迫切。

4.6 测场保护,必须筑牢百年以上安定意识

据整编后对全省159 个地面台站LD 文件进行统计,自建站至2011 年台站位置实际变动768 次,其中有2 个站迁站次数最多均达7 次,5 个站迁站分别达6次;迁站距离≤2 000 米的163 次,2 000<距离≤10 000米的50 次,距离>10 000 米的22 次。近年来,随着四川省城镇化的加快发展,迁站次数有上升趋势,2011—2016 年,又发生台站迁移37 次,且迁移距离较远,新旧站址环境差异较大。台站的频繁迁移对气候资料均一性的影响显而易见。因此,气象部门要加大气象执法力度,加强各类气象台站长期保护,力保气象台站持续稳定运行,尤其是要全力保护好目前探测环境较好的气象台站,同时新迁站址要有百年以上的安定意识。档案部门亦应顺应时代需要积极开展百年气象站专题档案资源收集与整理,满足用户对档案信息资源的一站式利用需求。

5 结论

气象台站元数据是气象观测记录的重要背景信息,台站元数据的规范化建设既是一项重要的日常业务工作,而且还是气象档案工作的重要组成部分。四川省LD 文件整编工作扎实有效,但同时也存在一些难以避免的问题和不足,给气象业务工作和气象档案工作都带来了许多有益启示。在气象业务全面自动化和档案管理时代走向档案治理时代之际,我们应顺势而为,积极做好台站元数据的规范化建设和全过程管理,做到收齐、管好、用活,为了解、管理、应用气象数据提供可靠、可信的基础背景信息。

猜你喜欢
气象台站数据文件台站
中国科学院野外台站档案工作回顾
气象基层台站建设
数据文件恢复专题问答
数据文件安全管控技术的研究与实现
基于基层气象台站预报服务的几点探讨
SQL数据文件恢复工具
新形势下县级综合气象业务与人才培养管理工作初探
政府在基层气象台站保护气象探测环境中的作用分析
基层台站综合观测业务管理之我见
县级综合气象业务一体化发展的思路