对象存储下的溯源收集与存储分析

杨 柳

（国网上海市电力公司信息通信公司 上海 200072）

1 引言

随着我国科学技术水平的不断提升，对于数据和科学实验的发展速度也不断加快，虽然当下信息和数据的存储系统已经具备可靠性、可用性和高效性优势，但是随着数据总量的不断增大，其数据的复杂性也随之提升，引进溯源管理越发重要。

2 溯源收集应用环境

2.1 实验细节

在溯源对象产生的数据收集、储存以及分析过程中，技术人员经常要对产生的数据和信息进行处理与发布。由于在实际的实验过程中，数据总数产生规模较大，并且数据的整体结构相对来说比较复杂，加上可能没有全部记录其中的细节，因此极易出现数据产生所使用的版本或者数据来源以及运算过程缺失，导致其流程或者环节缺乏准确性。利用对象存储下的溯源收集技术，可以把最终结果作为运算的起源，并且精准地分辨数据在运算过程中产生的详细数据参数。即使数据大部分缺失，利用溯源系统也能够轻松地获取未知的依赖集，并且以此为基础，提供当前系统和数据依赖的注册信息文件、文件结构系统所描述的运行结构等。由此可以得出相关结论，在实际的科研实验或者数据计算过程中，依靠溯源收集系统，可以有效地保障数据的准确性。

2.2 数据验证

计算机的普及使科学研究以及数据的计算共享变得更加简便，在技术人员进行相关的数据实验以及操作之前，需要验证相关的数据集合，进行系统的分辨，验证所使用的数据集合在实际产生过程中的准确性[1]。溯源系统能够有效地在数据储存、整理以及分析方面协助技术人员，比如数据集合的版本信息、参数信息设置，以及数据集合过程中经过一些步骤，重新生成的数据集合体等。

2.3 系统安全

在数据进行运作和收集过程中，数据的安全至关重要。溯源系统可以精准地追溯数据系统攻击的主要来源。用户一旦对某些数据和系统操作识别出有害攻击，就可以利用相关的技术措施通过溯源表格中的总体进程，寻找出实验过程中攻击区域的来源。除此之外，用户还可以利用溯源系统表格，明确系统对于外部干涉可能面临的危险，或者数据模糊问题，最终检查出危险来源，从根本上保证科学实验数据的安全性[2]。

3 对象储存的特点

（1）非结构存储：对象存储适用于存储非结构化的数据，我们日常生活中见到的文档、文本、图片、XML、HTML、报表、音视频信息等都是非结构化数据。据统计，自社交网络发展以来，非结构化数据占总数据量的75%。

（2）多节点：以腾讯云对象存储COS为例，COS的存储机房遍布全球，简单来说，不管你身处何地，都可以选择将数据存储在就近的机房，加快数据的传输访问。

（3）扁平结构：对象存储中没有文件夹的概念，所有数据均存储在同一个层级中，如上述介绍提到，对于存在对象存储中的数据，你不需要知道它存在哪里，只需要通过“凭证”就可以快速获取数据。

（4）弹性扩容：对象存储的容量是EB级以上的，这个容量还在不断的上升，简单来说，不管你有多少数据，请放心的存，容量管够！

4 溯源收集与存储技术分析

4.1 溯源收集结构框架设计

对于溯源收集结构框架的设计需要利用科学、合理的方式，该系统主要由对象存储客户端和对象存储结构设备端共同组成。其中对象存储客户端包括文件状态技术分析、文件格式技术分析、文件应用程序audit等三个溯源模块，并且分别对设备系统状态、系统文件格式及系统普通应用程序执行等相关的溯源信息进行全面收集，然后将所收集到的数据和溯源信息进行传送，最终到达对象文件系统的终端。不影响溯源感知存储系统卷上文件状态的进程、管道以及非溯源感知存储系统卷上的文件是非永久性对象，这些对象的湖源都是没有利用价值的溯源。把有利用价值的洲源提取出来进行存储可以减少对存储空间的需求。本节研究了洲源存储格式并介绍了提取有价值的测源的方法、对非永久性对象的处理以及溯源的消环处理。数据在对象系统客户端中，主要的功能是将溯源相关数据信息存储到缓冲区域，并且通过对象的相关命令接口，将溯源产生的数据信息在此传送，最终到达对象文件系统的设备终端。而对象存储结构设备端在实际的运转和操作过程中，负责针对对象命令进行全面收集、管理以及解析，以此提取出内部相关的溯源信息，并且将所收集的溯源信息重新写入创建的对象数据信息文件中。对象存储结构设备端在日常的运转过程中，可以进一步读取数据文件相关数据，并且将相关数据逐步存储到BerkeleyDB的相应数据库中。随后通过溯源查询的相关模块，根据需要查询的关键字，对数据库进行相关区域检索，最后将所查询到的数据信息以文字报表的方式进行展示。

4.2 对象文件系统设置

4.2.1 对象概论

对象是系统中数据存储的基本单位，一个对象实际上就是文件的数据和一组属性信息（Meta Data）的组合，这些属性信息可以定义基于文件的RAID参数、数据分布和服务质量等，而传统的存储系统中用文件或块作为基本的存储单位，在块存储系统中还需要始终追踪系统中每个块的属性，对象通过与存储系统通信维护自己的属性。在存储设备中，所有对象都有一个对象标识，通过对象标识OSD命令访问该对象。通常有多种类型的对象，存储设备上的根对象标识存储设备和该设备的各种属性，组对象是存储设备上共享资源管理策略的对象集合等。对象文件系统在日常的操作和使用中，主要的功能是封装相关的溯源信息，对象的主要定义与其所在的相关系统以及数据文件溯源模型有关。对于数据库中已经存在的溯源信息相关系统来说，文字文件是数据的基础元组；对于现有的储存系统来说，所获取的溯源信息对象既可以是文件形式、文件形式中的某一部分、文件相关目录也可以是文件内部结构中，暂时存在的对象，比如文件管道或文件进程等。

4.2.2 对象操作流程

在溯源信息进行通道传输时，需要从对象数据文件存储的客户端传送到相关的设备终端，并且具有储存以及访问对象[3]，功能的实际命令流程如下。

第一，对象文件存储客户终端进行溯源信息的收集后，针对其收集的相关信息读取到数据文件的客户端缓冲区中。第二，一旦数据信息进入客户端缓冲区后，需要相关系统利用osd_create_and_write相关的函数，将设备文件溯源信息进行相关传输，最终传输到对象文件存储设备终端，并且利用文件收集系统的相关功能，重新写入到所建立全新的对象文件内部中。其中，对象文件内部结构的通道路径主要由无符号整数PID模式和 UID模式进行共同标识。PID模式和UID模式分别代表了系统结构中的分区标识符号，以及用户对象标识度，比如：在进行文件操作时，应针对设备终端端口的端目录路径文件进行相关的操作。

5 结语

由此可见，本文运用对象溯源数据处理技术，有效地提升了文件以及数据信息进行储存时的可靠性以及延展性。并且根据系统结构终端内核环节、文件结构属性以及各种应用相关程序，进行数据和信息的收集、分析以及储存功能的探索。