面向智慧决策的图书馆可视化分析系统研究

马晓亭

（兰州财经大学a.信息工程学院，b.电子商务综合实验室）

1 前言

随着高速移动互联网、物联网和云计算等技术的快速发展，以及这些技术在智慧图书馆中的广泛应用，图书馆建设重心已转变为大数据环境下以满足读者需求为中心的智慧图书馆构建与读者个性化智慧QoS（Quality of Service，服务质量）保障。

大数据环境下，图书馆数据中心的IT基础设施设备、读者阅读终端设备、传感器网络、视频监控器、网络传输设备、服务管理与监控器等不间断地产生海量数据，并具有海量（Volume）、多样（Variety）、快速 （Velocity）、真实 （Veracity） 和低价值密度（Value）的5V特征。［1］在复杂、多变的数据环境中，图书馆如何通过科学的大数据可视化分析方法，将海量、多类型、枯燥和潜逻辑的数据映射为图书馆员可感知的图形、颜色、符号等，是实现图书馆员人脑智能与计算机智能深度耦合，科学高效地构建智慧图书馆和提升图书馆个性化智慧服务能力，以及馆员智慧、个体实践经验和大数据价值有效融合的关键。

2 图书馆大数据可视化分析的需求与挑战

2.1 大数据可视化分析应具备较高的智能化水平

目前，图书馆服务保障的重点已从传统的以业务能力建设为中心，转移到以满足读者阅读需求为核心的QoS保证中。因此，如何从海量的大数据中挖掘数据价值，并将数据价值与图书馆员经验相结合，有效提升读者阅读服务的智慧性、实时性和个性化水平，关系着图书馆智慧服务质量与读者阅读活动的满意度。

首先，随着计算机存储与数据处理技术的快速发展，大数据的海量存储与实时高速计算已不再是影响图书馆大数据应用的关键问题，如何通过对图书馆海量、多维度、多类型和多来源的大数据进行可视化展示与分析，实现计算机高速计算性能和图书馆员知识感知能力的融合，实时、全面地洞悉隐匿在大数据中的信息、知识与智慧，是提升智慧图书馆构建与智慧服务能力的关键。［2］其次，读者的阅读需求、数据中心IT服务系统运行环境和QoS评估标准等是随着时间的推移而动态变化的，利用大数据可视化表现与分析展示，图书馆可构建出读者需求与IT服务系统运行仿真环境，能够支持图书馆决策层通过对可视化分析系统的动态浏览、交互与分析，有效提升大数据决策的科学性、可靠性和可执行性。

2.2 分析系统应具备自动化分析和安全管理的能力

如何在海量、多类型的复杂大数据环境中发现非结构化数据之间的相关性，并将数据之间的相关性、交互性和数据关系发展过程以可视化的方式自动呈现出来，是图书馆动态挖掘大数据中蕴藏的数据价值，并将数据价值转化为知识运用到图书馆的管理、服务中，有效提升图书馆的管理科学性、效率和运营经济性的关键。

在读者个性化阅读活动中，读者的阅读需求和满意度评估标准是随着图书馆服务环境、服务技术水平的变化而动态变化的，如果图书馆在大数据价值发现和服务决策中有较大的时间延迟，将会导致大数据决策结果的科学性、适用性和个性化服务水平下降。因此，只有提升大数据可视化分析的自动化水平，才能使图书馆决策科学性随着服务环境和读者阅读需求的变化而动态调整，才能确保决策过程智慧化、自动化和个性化。此外，在保证大数据可视化分析科学性、效率、准确性和实时性的前提下，通过和云服务商签署云服务租赁协议的方式将大数据可视化分析迁移到云端，可进一步提升图书馆可视化分析和决策活动的投资收益率，是关系图书馆可视化分析结果科学和广泛实践应用的重要因素。［3］同时，图书馆可视化分析具有涉及图书馆各业务部门、数据中心IT基础设施不同设备和敏感大数据广泛的特点，因此，在可视化分析过程中如何保证图书馆各项管理业务、IT设备和敏感数据安全，是保证图书馆IT系统安全性和服务可信度应重点关注的问题。

2.3 大数据环境下图书馆的数据总量与数据环境复杂度快速增长

图书馆大数据环境具有5V特征，且在采集、传输、存储、处理和分析大数据的过程中会融入一定数量的噪声信号。因此，如何构建高效、实时、经济和可控的大数据可视化分析系统，是确保图书馆在海量、复杂、高维度和动态变化的大数据信号中发现数据价值和知识的必要前提。而且，图书馆大数据的采集对象广泛，采集的数据总量呈指数级递增且主要以流式数据形式存在，传统的静态、平面图片展示方式不能表现出蕴藏在海量流式数据中的数据关系与价值，如何通过并行可视化算法将复杂的流式数据分解为多个简单问题，并将数据分析结果以动态和可视化方式展示出来，是保证图书馆海量流式大数据动态发现、可读和实时决策的关键。［4］此外，在多噪声环境中，人类大脑对数据的处理和分析能力不能完全应对大数据海量、复杂和快速增长的挑战。因此，如何通过可视化分析大幅提升图书馆员对复杂数据关系的可读性，是将图书馆员人脑智能分析能力与超级计算机数据处理性能关联起来的重要举措。

2.4 大数据多维度和持续性的特点提升了分析对象负载的强度

人类获取外界信息的方式有视觉、听觉、触觉、嗅觉、味觉等多种方法，但从信息获取的效率和数量上看，大约有80%以上来自于视觉系统。因此，可视化分析依然是图书馆员从大数据中发现价值和获取知识的最主要途径。［5］图书馆大数据采集具有数据来源广泛、结构复杂多样和总量以指数级增长的特点，多样化的数据采集方式必然导致海量数据物理信息空间构造的极度复杂性，这些数据除具有5V特征外，还具有数据动态产生、关系异构、多噪声和可用性易变等特点，增加了图书馆大数据可视化分析的复杂度和难度。［6］此外，随着图书馆业务类型和服务对象多样化的发展，大数据可视化分析需求呈现出从决策层向管理层、用户服务层快速延伸的趋势，如何实现图书馆各业务部门、服务系统和用户终端大数据的整合和共享，以及大数据在PC机、移动终端、物联网设备上的可视化分析与显示，是图书馆将大数据复杂关系和蕴藏价值以可视化方式展示，以及将数据可视化分析与决策结果运用于图书馆实时管理与读者个性化服务的重要途径。

2.5 大数据异构和低价值密度特点增加了分析流程的复杂度

图书馆大数据具有多类型和非结构化的特点，非结构化数据占据大数据总量的85%以上，且随着大数据总量的高速增长，非结构化数据在大数据总量中的占比将进一步提升。［7］图书馆非结构化数据由视频、音频、图像、表格、文本等组成，经大数据可视化分析系统的即时处理与分析，为图书馆决策提供动态的科学数据决策支持。因此，图书馆大数据可视化分析算法应具备将一个复杂难点问题分解为若干个可同时运行的独立简单问题的能力，支持将复杂分析结果以多维度方式显示，并完全表现出大数据隐匿的价值和相关性。［8］

图书馆的不同部门、系统和用户产生的大数据具有强相关特性，可视化分析系统必须寻找出这些数据间的关系并以可视化方式呈现，数据分析师在数据关系发现过程中难以剥离数据之间的关系而单独显示单一数据。此外，如果通过降低数据维度和相关性的方式来降低大数据可视化分析的复杂度，则会导致大数据中隐匿的部分信息、知识和数据价值丢失，最终影响图书馆大数据决策的科学性和可信度。

3 图书馆可视化分析系统的构建与管理策略

3.1 图书馆大数据可视化分析系统的构建目的

鉴于图书馆大数据的复杂特性和数据决策的实际需求，图书馆大数据可视化分析系统应坚持科学、实时、易用、可控、多种数据集成方式和多类型显示模式的原则，完成对大数据的处理、融合、分析和显示，并最终将数据特征转换为图形图像，实现人机的智慧交互。［9］

首先，在图书馆大数据可视化分析系统的功能设计中，应确保可视化分析系统能够实现对图书馆IT系统运行现状、系统资源使用效率和读者服务需求宏观实际的动态显示，支持以三维动画、图像、图表和语音等多媒体方式，实时展示图书馆的管理、运营与服务现状，有效地提升图书馆决策层和普通馆员决策、管理的科学性。［10］其次，大数据可视化分析系统运行应坚持科学、高效和全面的原则，对大数据进行融合分析，准确发现图书馆管理与服务的特点、规律和趋势，提升图书馆员的洞察力和系统资源管控能力，并能够依据读者阅读需求和IT服务系统资源使用现状完成系统资源的部署、调度。再次，可视化分析系统应支持图书馆决策层、管理层和业务层的科学决策与应用服务需求，满足图书馆不同部门的大数据查阅、分析、共享和人机交互操作需要，并将大数据分析结果以大屏、多屏等多模式操控方式显示。

3.2 图书馆大数据可视化分析系统的构建

大数据时代，图书馆数据环境除具有数据总量以指数级快速递增和数据相关性低的特点，传统的数据可视化工具已不能满足图书馆可视化决策对大数据库快速抽取、准确筛选、科学分析、系统归纳和清晰展示的需求。大数据商业应用第一人维克托·迈尔·舍恩伯格在其名著《大数据时代》中描述“随着大数据技术成为我们生活的一部分，我们应该开始从一个比以前更大、更全面的角度来理解事物”。［11］因此，图书馆在数据决策中应改变传统的从有限数据中攫取小量精准数据的做法，而采用从海量大数据中全面获取巨量相关数据的方式，全方面、多维度地解释和表现图书馆大数据关系，并以可视化的方式动态显示出来，不断提升图书馆大数据决策的科学性、准确性和可用性。

数据可视化是指图书馆有效发现大数据之间的关系和挖掘数据价值，并将其以图书馆员可理解、识别的图形、图像等形式显示，将其转换成知识来支持图书馆不同业务部门、人员进行科学决策、管理和服务的过程。在图书馆大数据可视化分析系统的构建中，应坚持以大数据价值发现完全性和图书馆决策科学性保证为目的，分析主题的数据相关性，实现多个相关视图的整合和多模式交互联动的显示，有效揭示海量多维度大数据之间蕴藏的复杂相关性，并以高分辨率的主从屏联动、多屏联动、自动翻屏等大屏模式显示出来。本文设计的图书馆大数据可视化分析系统的组织结构与运行管理流程见下图。

图 图书馆大数据可视化分析系统

依据系统功能划分，大数据可视化分析系统组织主要由源数据层、数据处理与质量管理、大数据计算、数据建模与挖掘、数据可视化分析、图像可视化显示、人类视觉与思维系统7部分组成。① 源数据层是初始大数据的采集层，主要实现对视频监控数据、传感器网络数据、图书馆运营数据、阅读终端数据、读者行为数据、服务器日志数据、监控服务器数据的采集、临时存储、一级过滤和远程传输等操作。② 数据处理与质量管理层通过大数据抽取、数据噪声过滤与清洗、数据标准化处理、大数据融合等操作，提升图书馆大数据的相关性、价值密度和决策可用性，为大数据计算提供高质量与标准化的数据质量支持。③ 大数据计算主要依据大数据类型和决策目的的差别，划分为流计算、批量计算、内存计算和查询计算等几部分，图书馆可依据大数据流的特点、数据决策对象和决策实时性需求等选择正确的计算方式，在保证大数据决策科学性、高效性、实时性和经济性的前提下，完成系统计算资源和效率的最优化配置。［12］④ 数据建模与挖掘层通过定义、分析数据的要求和信息系统，确定大数据库需要管辖的范围和数据的组织形式等，并对数据库里的有关数据项进行定义，在将数据库中的数据定义为明确的图书馆业务含义名称后，进行大数据的价值挖掘和深度知识发现。⑤ 大数据可视化分析层基于数据建模与挖掘层支持，依次开展数据分析对象的主题与内容选择、数据搜索与选择、可视化分析控件管理、可视化数据分析模型构建、大数据多维度分析、分析结果的输出与管理等操作，并将结果传输至可视化显示系统。⑥ 图像可视化显示系统对上一层的分析结果进行视频展示，展示过程必须具备直观、实时和与决策者交互的特点。⑦ 人类视觉与思维系统通过对可视化显示系统结果的识别、分析、判断与决策，将从大数据中挖掘的数据价值、馆员经验与知识、馆员智慧决策能力相融合，为图书馆的宏观战略决策、管理与运营、读者服务提供科学的大数据决策服务。此外，图书馆管理员还可依据可视化分析对象的变化、可视化分析流程与模式构造特点、可视化显示模式需求、可视化分析有效性等，对数据建模、数据价值挖掘、可视化分析流程、可视化显示方式等进行反馈控制，不断提升大数据可视化分析流程的科学性、知识发现效率和决策可用性。

3.3 关系大数据可视化分析系统科学性与可用性的关键问题

3.3.1 提升大数据的价值密度与可视化决策可用性

如何在大数据中发现价值，并将其中隐匿的数据关系和价值以可视化方式呈现出来，是图书馆员将大数据价值转换为知识，并与自身的经验和智慧思维科学结合的关键步骤。［13］因此，在大数据可视化分析中，针对图书馆大数据多源和非结构化特点，如何实现大数据的交互、融合和动态展示是可视化分析应重点关注的问题。

在大数据可视化分析中，图书馆应与云服务商签署云服务租赁协议，将大数据的存储和计算迁移到云端，既可确保图书馆可视化分析系统具有较强的系统资源使用率和功能扩展性，又能依据图书馆数据决策需要实时显示分析结果。此外，应由图书馆业务人员和大数据分析人员共同管理数据，根据图书馆可视化分析对大数据质量的要求而选择、过滤和整合数据，不断增强大数据的价值密度、可用性和可视化分析相关性，并降低大数据的维度，剔除数据离群值，提升数据可视化分析的精确性和决策实践相关性。

3.3.2 可视化分析显示系统应具备实时、动态和多屏显示的功能

如何从大数据中挖掘数据价值，并以实时、动态和多屏的方式显示出来，是有效提升图书馆员对数据知识的认知能力，并将数据知识与自身经验和智慧决策能力相结合，实现图书馆管理和运营实时可视化科学决策的关键。

实时性决策是图书馆即时发现读者阅读需求变化趋势，并通过制定动态的用户服务策略来提升读者阅读收益和满意度的有效措施，然而大数据环境大幅度增加了图书馆实时可视化分析的复杂度。因此，必须通过数据噪声过滤、非相关性数据删除、排序、压缩和融合等方法，在减少大数据总体量的前提下提升数据相关性和价值密度，实时、快捷地揭示出大数据之间的关联性和价值属性，以此增强图书馆员对大数据可视化分析视图知识获取的直观性和有效性。此外，大数据除具有空间和时间上的多维度特性外，还存在多变量、多模态、多类型和多模型的特点。因此，在大数据可视化分析中，图书馆除通过主屏显示数据全体价值和关系分布外，还必须利用多屏联动和自动翻屏等方式显示数据关系的具体细节，并支持用户对分析内容的自助查询、关联分析、切换和缩放，有效提升图书馆员数据知识的获取能力。

3.3.3 分析系统应具备强相关性数据选择和多视觉数据交互的能力

确保可视化决策结果与决策对象有较高的相关性，是增强图书馆大数据决策科学、可用的一个关键问题。首先，图书馆在可视化分析模型的构建中，应在海量、复杂和低相关性的数据中搜索和决策对象强相关性的数据。诸如在读者阅读需求预测和个性化服务内容的定制中，读者的阅读时间、内容、阅读评价反馈、行为路径、阅读社会关系等高相关数据，大数据分析师既要在读者的阅读总体时序中刻画出它们的数据关系网络结构，又要分析出单一类型数据在读者阅读需求趋势发展中的相关性，并为不同类型数据在可视化分析模型计算中动态分配影响因子，确保计算结果依据读者阅读兴趣的发展而实时动态变化，不断增强可视化分析结果的决策科学性和实践实时相关性。其次，将复杂的可视化多维视图降低维度和实现多视图整合，是有效降低可视化视图复杂度和增强知识发现效率的关键。大数据分析师应依据图书馆可视化分析目的和应用对象，将高维度海量数据划分为若干个可视化决策相关数据群，以及将可视化分析需求在多个角度下形成若干个可视化分析结果，依据可视化决策高相关性的原则，通过大数据决策需求与视图相关性完成若干个单一视图的整合，最终实现高维度复杂视图向多个低维度视图的转换，有效降低图书馆员在可视化视图中知识发现的复杂度。再次，高效的可视化分析视图的融合与关联分析，是图书馆员完全挖掘数据知识和实现1+1＞2的重要途径。因此，图书馆应以大数据科学决策为中心，支持高相关数据在不同维度视图和维度指标体系下的交流互动，从不同角度、层面清晰地发现大数据关系和蕴藏的知识，为图书馆决策提供可靠的可视化数据支持。

3.3.4 应依据大数据结构选择正确的可视化分析方法

图书馆大数据的采集来源、方式具有复杂多样性的特点，导致其数据在结构上具有异构和非结构化的特点，当前，非结构化数据占据图书馆大数据总量的85%以上，且随着图书馆数据结构类型和数据环境复杂性的增长，非结构化数据占据图书馆大数据总量将快速递增。［14］图书馆的非结构化数据主要由传感器采集数据、IT设备运行数据、监控服务器采集数据、视频监控数据、读者阅读行为数据、读者社会关系数据、阅读终端采集设备等组成，对非结构化数据噪声过滤和标准化处理后，可依据非结构化数据与可视化分析的相关性，在数据总体时间序列轴上对高相关性数据进行选择和抽取，并在可视化分析中重点关注大数据之间的时序行为趋势、关系网络结构、决策对象的相关性等关联信息。

对于强时效性流数据的可视化分析，应将重点放在对流数据空间、时间维度的变化趋势和相关性分析上，完全挖掘出流数据中隐匿的数据价值以及知识随着时间变化的趋势，实现流数据的实时处理和可视化分析结果的动态决策运用，防止流数据的价值总量随着时间的推移而减少或者消亡。此外，流数据产生的数量和顺序会随着图书馆服务在时间轴上的推移而动态变化，随机产生的流数据分析结果会导致图书馆服务决策对IT系统资源需求和使用量具有极强的不可预见性。因此，图书馆必须将大部分流数据存储于大数据库中，而将与图书馆实时决策相关性较强的流数据传输至可视化分析系统中，在确保可视化分析系统具有较低的IT系统资源使用量的前提下，大幅提升流数据决策的效率、速度、准确性和实时可用性。