表意性方法在三维流线可视化中的应用综述

邵绪强，程 雅，金佚钟

表意性方法在三维流线可视化中的应用综述

邵绪强1,2，程 雅1，金佚钟1

(1. 华北电力大学控制与计算机工程学院，河北 保定 071003；2. 复杂能源系统智能计算教育部工程研究中心，河北 保定 071003)

流线可视化是流场可视化的重要方法，其能直观地表达流场的结构和流动趋势。但在三维流场使用流线可视化时，不恰当地绘制方法、选择方法、呈现方式会导致可视化结果表达能力差，用户很难从中高效获取流动信息。重点对解决该类问题的表意性可视化方法进行了调研，为了全面反映表意性方法在三维流线可视化中的研究进展，对近十几年国内外具有代表性的论文进行了系统地阐述。首先介绍了表意性可视化方法的相关概念，然后将视觉感知增强类、可见性管理类和焦点+上下文等表意性方法在三维流线可视化中的应用进行分类阐述，并讨论了各种方法的优缺点。最后总结分析了表意性方法在三维流线可视化中面临的问题和挑战，并对未来的研究方向进行了展望。

三维流线可视化；视觉感知增强；可见性管理；焦点+上下文；三维流场可视化；表意性可视化

流场可视化是计算机图形学在科学可视化中的一个重要应用，具有较强的学科交叉性和应用性。其应用领域涉及航空航天、医学、气象、复杂地理地貌研究等，这些领域存在着各种各样的流场，如：血流场、风场等。流场可视化的主要任务是将数值模拟计算所得到的数据集，转换成图形图像的表达方式，为用户探索流动行为提供了更直观的视觉感知[1]。从数据维度出发可以将流场可视化分为二维和三维，而生活中大部分是三维流场，因此，三维流场可视化是流场可视化的主要研究方向[2]。

三维流线可视化是使用流线来描述三维流场的流动行为，流线因其自身的结构特性，可以直观、准确地反映出流场的流动趋势。三维流线的可视结果与流线的绘制方法、选择方法和呈现方式有着密不可分的关系，不恰当的方法会导致可视结果表达能力差，不利于用户理解流动信息。视觉感知增强、可见性管理、焦点+上下文等表意性方法着重于信息传递，即以清晰和可理解的方式可视化数据，增强可视结果的表达能力，从而提高用户对流动现象的认知[1]，并在一定程度上解决上述问题。表意性可视化已经广泛地应用在医学领域[3-6]、生物工程领域[7-8]。表意性方法在基于面的可视化[9]和二维数据可视化中[10]也有广泛地应用。

2012年，BRAMBILLA等[11]对流场的表意性方法进行了分析。并将可视化按照数据抽象金字塔的级别进行分类归总为：采集阶段产生的原始数据、积分结构、流动特征3个层次。其中，原始数据是感兴趣现象的初始表示，在每一步处理后，均对潜在的现象有一个更加抽象地描述，按此层次对表意性流场可视化方法进行了归纳总结。

本文以三维场的流线可视化为背景，将表意性可视化方法在三维流线可视化中的应用按图1的分类进行总结。其中，从形状、深度和不透明度3个角度总结了视觉感知增强类的方法在三维流线可视化中的应用；从相似度聚类、选择性可视化2个角度总结了可见性管理类方法；对魔法体积、魔法镜头等焦点+上下文方法的应用进行了总结。表1讨论了表意性方法的优缺点，表2分类汇总了使用每种方法的文献。

图1 表意性方法在三维流线可视化中的应用分类树

1 表意性可视化方法相关概念

表意性可视化是一类利用数据抽象和增强技术可视化表现形式，其借鉴了传统的艺术家绘画和插画的思想，侧重于交互式和表达性可视化，利用视觉抽象技术最大化、有效地传递一定数量的信息，拓展了非真实感渲染技术[1]。表意性可视化探索了低、高级视觉抽象。将与视觉样式相关的方法称为低级视觉抽象[12]，主要包括线描技术、手工着色技术，如：点画、阴影、卡通着色。在处理大量密集的数据时，使用富有表现力的技术来改变布局或使特征变形，以增加插图的交流意图；这些方法通常被称为高级视觉抽象[12]，有关视觉抽象的详细概念可查阅文献[12-13]。选择性可视化、剖切、特写或分解视图是表意性概念的例子。常见的表意性可视化方法有视觉感知增强、可见性管理、焦点+上下文。各类方法的优缺点见表1。

表1 表意性方法在三维流线可视化中的优缺点比较

表2 表意性方法在三维流线可视化中的应用汇总

1.1 低级视觉抽象

视觉感知增强类的表意性方法属于低级视觉抽象[12]，主要指人类在感知世界时，对所有视觉信息的充分利用。视觉感知增强类的表意性方法包括基于颜色、深度、艺术风格及形状等。其中，基于颜色的方法通过改变色调、饱和度、不透明度和亮度提高可视化结果的表达能力。基于深度的方法，通常用深度晕圈来传达不透明物体的深度信息，结合深度、透明度和忠实性度量来增强深度感知。基于艺术风格的方法包括线描、点画、阴影、字形等，这些方法在表意性可视化中很重要，因为其使用相对较少的像素从而减轻了遮挡内部结构的问题。基于形状的表意性方法如：箭头、方向提示以提高可视结果的表达能力。目前的视觉感知增强类可视化均是结合多种表意性技术，从而展现更加完整和有趣的可视化结果。

1.2 高级视觉抽象

可见性管理[14]和焦点+上下文[15]均属于高级视觉抽象。其中，可见性管理类是指通过聚类、选择性可视化等手段减少混乱和遮挡以优化视觉空间来提高数据的可见性。焦点+上下文将特别感兴趣的区域作为焦点并着重突出显示，对于不太重要的区域作为上下文来提供背景，焦点+上下文技术突出显示数据的特征而非整体结构，该类方法可以根据属性的重要性值使用完全不同的可视技术来呈现数据集的各个部分。为了实现富有表现力的可视化，每种方法需要不同数量的领域知识作为支撑，有关表意性可视化和相关技术回顾的更多详细信息，可参阅文献[11,15]。

2 视觉感知增强类

王松等[16]以VCIH (vision cognition interaction hardware)模型为指导，从视觉感知增强、流场物理过程增强、探索交互式增强以及硬件依赖性增强4个方面总结了感知增强类流场可视化方法。其中从展现方式优化、流场特征增强、减少混乱和遮挡3个方面介绍了流场可视化中视觉感知增强类方法的应用。本文从视觉呈现优化的角度将视觉感知增强类的方法在三维流线可视化中的应用分为：基于形状、深度和不透明度的方法。其中，基于形状的方法是指通过流线的形状增强，提高视觉感知，主要包括将流线渲染为流管、流带等几何图元以提高流线的表达能力。基于深度的方法是指，通过光晕、深度提示以及照明技术等方法增强流线的空间结构信息；基于不透明度的方法是指，通过将线的不透明度调整到恰当的大小，以减少遮挡。

2.1 基于形状的方法

ANGELELLI和HAUSER[17]将流管应用于流可视化的校正，主要思想是将流动边界管状结构的中心线与屏幕的一个轴对齐，对不同流使用不同的流可视化技术，或通过改变所选方法的参数，对同一流进行可视化，使用流管可视化流以增强用户的视觉感知。文献[15]通过切割平面字形设计，探索了可视结果的深度和方向线索，证明了将基于线字形的维度增加为管状结构可以增强其通过阴影传达方向的能力。STEVENS等[18]对穿过切割平面的短流线进行了方向感知实验，将流管和流线进行了比较。结果表明，环形流管和流锥能提供良好的3D方向信息。STOLL等[19]以广义圆柱面作为线基元将流线渲染为流管，并添加了额外的视觉属性：半径、颜色和法线的纹理来表示方向，通过添加光晕来进一步提高深度感知，可视化结果如图2所示。HAN等[20]提出的使用广义管渲染3D线图元的结合内表面不透明度，可以在一定程度上减少管可视结果之间的遮挡。该方法支持不同的半径、分叉和正确的透明度。通过基于曲线复杂性启发式的交叉点方法去除内部阴影来实现透明度表面。

除流管外，文献[21]将流线渲染成流带，该方法可以突出旋转和扭转，通过箭头指示流动方向，方便用户观察流动。该方法适用于简单数据集，对于大规模数据集会产生更严重的混乱和遮挡现象，不利于用户观察流动。图3是流线变形方法的应用。

图2 流管可视化[19]

图3 流线变形((a)流带[21]；(b)流锥[18])

综上，基于形状的方法已被证明可以提高用户对流场流动行为的认知。单独的流线或流线变体的可视化方法虽有一定的表达能力，但其流动结构复杂、规模较大的流场中，流线变形类的方法存在计算成本高、易造成视觉混乱、难以高效地呈现流场的流动行为等缺点。

2.2 基于深度的方法

光晕技术、深度提示、照明技术等方法应用于流线可视化能有效提高可视结果的深度感知。

首先介绍深度提示和光晕技术在三维流线可视化中的应用，MATTAUSCH等[22]使用等间距的流线绘制方法，在流线相交的部分使用晕圈、动画和深度提示等表意性方法来增强视觉感知。使用Phong阴影模型用于流线照明，改善了空间方向和深度顺序的感知，图4是深度晕圈的应用对比图。EVERTS等[23]以交互式帧速率进行3D线数据的表意性渲染，将深度晕圈与通过与线宽衰减的深度提示相结合增加深度感知，该方法可用于密集线数据的表意性可视化；图5是流线应用深度提示的对比图。EVERTS等[24]将线条划分为可独立控制基本视觉属性的平行带，用户可以交互地创建光晕、颜色、线宽等视觉样式，提高用户交互探索流场的能力。

图4 深度晕圈((a)无深度晕圈；(b)深度晕圈)[22]

图5 深度提示((a)无深度提示；(b)深度提示)[23]

其次是照明技术，深度信息与现实世界中的照明有关，当线条成束出现时，照明可以显著改善线条的空间感知。使用阴影、环境光遮挡等全局照明效果可以增强结构的深度感知。KANZLER等[25]使用基于体素的 GPU 光线投射方法，模拟具有透明度、阴影和环境光遮挡的线图元。该方法将线的方向编码为规则体素网格，并行GPU光线投射用来确定可见片段。图6是阴影和环境遮挡条件下的线条绘制结果。虽然局部照明和阴影可用来强调线的形状或简单的空间关系，但不能同时显示局部和全局细节以及空间关系；光线追踪技术能够提供逼真的照明模型，但不能满足实时、交互的要求。为解决上述问题，EICHELBAUM等[26]用一种实时的环境遮挡方法改善空间和结构感知，主要思想是，将全局环境照明与周围线条的散射光贡献相结合，实现同时描绘局部和全局线结构，与定向局部照明的结合增强了局部特征感知，如图7所示。

图6 阴影和环境光遮挡的线条((a)阴影线条；(b)环境光遮挡)[25]

图7 环境光((a)无环境光；(b)添加环境光)[26]

由于照明的计算需要表面法线来计算反射标准，故照明模型不能直接应用于流线。为解决此类问题，不少研究者使用基于面的基元渲染流线。MALLO等[27]根据Phong/Blinn模型提出了一个基于无限小圆柱面的平均照明流线模型，通过改进漫反射使用户更好地感知流场，结合抗锯齿、alpha混合解决流线深度感知的问题，但该方法计算开销较大。ZHANG等[28]使用依赖于视图的方法放置流线，基于流线是流面的样本理论，根据Phong/Blinn模型选择通过流线的视相关微曲面计算照明效果，该方法可以真实地呈现空间结构，性能较差。TAYLOR和HARTER[29]将流线渲染为流管，对流管应用随机逐元素亮度调制，当流结构重叠时，随机亮度调制可以使观察者能感知各个线段，可视化结果如图8所示。ROCHA等[30]使用流线型贴花结合照明、深度提示等方法可视化三维矢量场的洋流层，解决了深度问题。

图8 随机调制亮度((a)无调制亮度；(b)随机亮度调制)[29]

综上，深度提示、光晕、照明技术等的使用可以有效地提高流线的空间感知。但由于照明模型面向的是面元素，因此，在使用照明技术增强流线的空间感知时，通常将流线渲染为以面为单位的线基元，如，流管，方便法线的计算。此外，深度提示和光晕技术在密集线集上使用时，会产生光晕重叠的情况。

2.3 基于不透明度的方法

还有一部分研究者针对大规模线集，使用不透明度的方法解决密集线之间的遮挡问题。MISHCHENKO和CRAWFIS[31]使用半透明几何图元以提高对流可视化的感知效果。对于高遮挡的地方，执行流方向的逐像素过滤、不透明度标准化，该方法既能够清晰地现实流线流动方向，还在一定程度从视觉上减少了遮挡。GÜNTHER等[32]提出了一种解耦不透明度优化方法。将直线离散成段后，对片段链表、不透明度进行排序，将排序后的深度顺序与重要性值进行结合并计算最佳不透明度。最后，插值每个顶点的不透明度值，实现平滑效果。该方法减轻了元素之间的遮挡问题。但其实现过程是顺序相关的：确定前后重要几何图元的数量；按从前到后的顺序合成最终的透明片段。上述过程依赖于片段链表的构建和排序顺序，受限于内存。为了解决该问题，ROJO等[33]将解耦不透明度优化重新表达为一种顺序无关的算法。通过傅里叶级数沿视线近似累计每个像素的重要性，以确定前后重要几何图元的数量，使用光学深度获得前后合成的不透明度权重，并通过归一化正确组合片段。该框架可以实现在不遮挡重要特征的情况下对大型线集进行可视化，在交互探索数据的同时保留上下文信息。KERN等[34]引入替代排序算法，提出基于透明度的桶来改进多层Alpha混合技术：基本思想是将场景离散成k个不相交的桶，这些桶在相应的深度间隔内独立执行多层Alpha混合从而提高渲染质量。

无论使用何种绘制技术，透明线渲染无法传达空间关系。软阴影和环境遮挡等全局照明效果与不透明度结合可以显著改善用户的感知。GROß和GUMHOLD[35]提出了一种环境光遮蔽和不透明度渲染大规模线集的方法。该方法构建于GPU的圆锥体光线投射之上，将线段以截断圆锥体的形式绘制，并将环境遮挡效果添加到最终结果中。主要工作分为2部分：①透明度的设置。在对几何基元和线段进行排序后，将场景分成单独的深度切片，绘制切片并设置不透明度阈值，使用剔除方法去除透明渲染中的重叠内部结构；②通过生成网格密度的层次结构，实现体素锥跟踪的环境遮挡效果，图9是流数据集的可视化。

图9 环境光遮挡和不透明度[35]

综上，不透明度方法可以从视觉上有效缓解遮挡，提高流场特征的可见性，但是透明度的使用往往依赖于片段排序，性能消耗较大。此外，对于大规模线集，如果遮挡流线太透明，则重要区域周围的流动上下文会丢失，且由于透明度流线之间的深度关系会更加难以辨别。

3 可见性管理类

3.1 基于相似度聚类的方法

基于相似度聚类的方法是将流线按照一定的相似性度量划分为多个聚类簇。簇内流线的流动方向和流动趋势较为相似，簇与簇之间则差异较大。主要从基于传统相似度的方法和基于深度学习的方法两方面进行讨论。SHI等[36]对用于流可视化的几种曲线聚类和简化算法进行了深入地比较研究，为用户提供了选择特定方法的系统指南。

3.1.1 基于传统相似度的方法

首先是传统相似度的方法，此类方法进行视觉空间的简化可以通过层次查看流场的结构和从聚类簇中提取代表性流线以最大程度上减少混乱和遮挡。YU等[37]提出了层次流线束的流场绘制方式。通过分层流线束可视化实现在不同细节级别的探索。使用最近点距离平均值(mean of closest point，MCP)作为相似性度量，对不同集群中的流线使用层次聚类依次合并2条最相似的流线，直到达到停止标准。可以捕获源和汇，集群的边界流线与相邻集群的边界流线一起可以较好地显示鞍，该方法通过调节不同流线的透明度，实现焦点+上下文可视化。图10(a)展示了可视化结果。该聚类方法虽然能清晰地展示流场结构，但MCP仅限于接近的流线之间的相似性，而不同区域中存在的相似流线看起来不相似。LU等[38]使用基于分布的方法将流线上的特征度量作为描述符，并使用该描述符测量流线之间的相似性。首先对流线进行分段，使用1D直方图构造表示流线段的特征分布，并将其连接起来生成一个2D直方图来表示整个流线的特征。使用动态时间扭曲算法来计算直方图之间的距离，使用层次聚类算法查看流场结构。与基于距离的MCP算法相比具有旋转和平移不变性。文献[21]通过基于信息熵的播种生成流线，用两阶段k-means聚类方法对流线聚类分组。第一阶段使用聚类流线的起点，在中间点和终点计算流线间的空间距离；第二阶段考虑流线的形状属性，将第一阶段之后的每个簇进一步细分为簇。从每组聚类结果中选择一条或多条代表性流线，减少数量的同时保留每个束的方向和结构信息，使用streamtape对流线进行可视化，在可视化过程中结合光照、阴影、轮廓等表意性渲染方法，提高可视化结果的表达能力，但对于大规模数据集：①流带比流线更容易产生混乱和遮挡现象；②在第二个聚类阶段应用流线的形状属性作为相似性度量，虽然具有旋转、缩放和方向不变的优点，但仍存在特征提取不全面的问题。TAO等[39]将流线建模为字符串，使用FlowString将流线进行匹配。首先基于缠绕角对流线进行重采样，使用较小的阈值捕获相邻采样点之间的流线段，Procrustes距离作为成对样本点的相似性度量，在GPU上应用2次亲和力传播聚类，生成的簇作为数据集的局部形状并用字符表示，通过将字符串联在一起形成单词。这项工作是第一个对流线型段进行标签和分类的工作。FERSTL等[40]使用主成分分析方法，将高维空间的流线降为低维空间，并在降维后执行聚类，降维后流线的复杂度明显降低，但该方法更适合处理常规模拟气象数据集。

基于传统相似性度量的方法分为基于距离和形状特征的度量。基于距离的度量能够清晰地展示流线的空间分布，但该方法仅限于空间位置接近的流线之间的相似性，距离较远区域相似的流线不会归到同一个簇中。基于形状的相似性度量方法广泛地应用在流线查询和流线选择领域，该方法具有旋转和平移不变性，但在进行流线特征提取时存在特征提取不完全，不能完全捕获流动行为的缺点。

图10 基于聚类的方法((a)传统聚类[37]；(b)深度学习的方法[41])

3.1.2 基于深度学习的方法

深度学习在流线聚类方面的应用有：HAN等[41]介绍了一种用于流线和流面的聚类和选择的新方法：FlowNet。该方法基于自编码器和卷积神经网络，能够以无监督的方式在单个框架内学习流线和流表面的潜在特征，生成特征描述符，描述符被用来重建输入对象以进行误差估计和网络训练。对特征描述符采用t分布-随机邻近嵌入(t-distributed stochastic neighbor embedding，t-SNE)进行降维，并设计了可交互的可视化界面，通过聚类、过滤和选择代表来直观地探索流线或曲面的集合。这种方法仅选择簇中的代表，最大限度地减少冗余。尽管特征描述符的维度不具有可解释性，也不能直接对应流线的某种属性，但通过降维、聚类后其对应流线的分组符合流线的形状、位置等特征，图10(b)是FlowNet的应用。与文献[42]和文献[43]相比，文献[41]未明确使用任何流线属性，是第一个使用深度学习网络在聚类和选择之前计算流特征，从而降低了矢量场重建的误差，但训练网络的时间较长。XU等[44]将脑纤维束用矢量场表示，然后用流线简化算法进行压缩，在经过流线归一化和规则多面体投影后，计算每个纤维束的高维特征，通过t-SNE对特征进行降维，随后将特征输入自编码器中，进行训练，使用深度聚类将脑纤维束进行分组，用户可以单独查看每个聚类簇，这在最大程度上优化了视觉空间。但是该聚类算法受限于流线简化程度，且只适用于单个数据集，未对于其他数据集的效果进行验证。

基于深度学习的方法已被用来准确地捕获特征区域，但也存在着一定的不足，如：①需要对数据进行二次采样；②运行时间长；③特征的提取是针对特定数据集，需要对每个数据集进行处理。未来的努力目标是建立一个大型的数据库来训练神经网络以识别流特征。

3.2 选择性可视化

选择性可视化在三维流线中的应用，可以分为视图相关和视图无关的流线选择，旨在使用最少数量的流线来表达流场的流动特征。关于流线选择相关更详细地介绍参考文献[45]。

3.2.1 视图相关的流线选择方法

MARCHESIN等[46]提出了一种基于流线增删算法的三维矢量场流线选择技术，该方法通过定义重叠值，量化杂乱程度，然后移除其投影像素上具有高重叠值的流线；并向未覆盖区域添加流线，该流线选择方法在减少遮挡的同时也保留了上下文的信息。LEE等[47]使用基于信息论的方法，解决最小可视化中的遮挡问题。该方法用熵测量向量场中的局部复杂度；并使用帧缓冲区存储给定视图的最大熵值和相应的深度，根据流特征的可见性选择流线和视点。MA等[48]提出了一种重要性驱动的方法选择与视图相关的流线。通过考虑流线对大量样本视点的贡献来执行选择。从流线的随机池开始，创建一个矩阵，其中包含从所考虑的每个视点看到每个流线的概率。如果流线包含大量3D信息且给定视图的2D投影可以很好地保留信息，则流线的概率很高。流线按照累积的流线信息排列到优先队列中，使用MCP测量流线之间的相似性进行过滤，以避免重复的流线。MA等[49]提出了一个内部视点选择方法，根据熵场选择合适的内部视点，且便于从内部观察流动特征，但由于视点的快速变化，会产生眩晕的效果。与单独的视点相关的流线选择方法不同的是，文献[42]将流线选择和视点选择视为对称问题，并将其表述为统一的信息论框架，在候选流线池和一组样本视点之间建立2个相互关联的信息通道进行最佳视点和最佳流线的选择。该方法稳定性较好，但在数据集规模较大时，计算消耗大，图11是3个不同视点下流线选择的结果。LAWONN等[50]使用依赖于视图的流线可视化血流数据，对流的旋涡特征进行提取，结合轮廓提示，重点显示旋涡区域，该方法被证明能使用户快速理解整体流动行为。

GÜNTHER等[51]采用基于优化过程的全局线选择方法，对覆盖域中的每条流线均以不同的不透明度渲染，通过最小化二次误差函数来计算线的全局最优不透明度。该方法旨在平衡信息呈现和避免遮挡，可视化结果如图12(a)所示，但基于不透明度的方法会对上下文区域中线条间空间关系的感知产生负面影响。主要表现在：透明度的增加会导致对象颜色饱和度降低，而导致失真；在重要的前景中，不太重要的线条会完全淡出，从而丢失上下文信息；随着透明度的增加，线之间的空间关系变得难以理解。

图11 不同视点的流线选择[42]

图12 流线选择((a)不透明度[51]；(b)线密度控制[53])

视图相关的流线选择方法被证明能在一定程度上优化视觉空间，但是该方法对于视点的依赖性极强，当视点发生变化时，需要重新计算。

3.2.2 视图无关的流线选择方法

文献[43]使用基于信息论的流动可视化框架，向量场被建模为方向的分布，使用香农熵测量场中的信息含量。框架允许对输入流场中的信息含量进行定量测量，流线的分布由数据信息内容控制。因此，更多信息的区域将有更多的流线。MA等[52]提出了FlowGraph，将流场转换为图形表示，可以观察和探索流线簇、空间区域及其在转换空间中的互连之间的关系，实现选择可视化。KANZLER等[53]根据流线的重要性和屏幕空间占有率来调整线条密度。使用最小成本完美匹配算法稀疏出现明显遮挡的线。该算法需要计算完全平衡的线层次结构，以促进在域中均匀去除流线并在运行时获得所需的密度。图12(b)是该方法的可视化结果，尽管此方法改善了可视化的空间感知，但其需要较长的预处理时间来构建平衡的线层次结构。LU等[54]采用改进的KD树以减少流线之间的混乱和遮挡。首先，基于曲线复杂度构建一组直线段分别逼近每条输入3D曲线。采用曲线复杂性启发式方法来确定分裂平面并计算节点分裂成本，构建一个高效的KD树。该方法是基于邻域的线数据分析，包括交互式线条查询、不透明度优化和线条抽象。

4 焦点+上下文

焦点+上下文技术包括鱼眼视图[55]和放大镜[56]、魔镜[57]等通过改变物体的呈现方式以揭示隐藏的信息。在流动可视化中，3D镜头已经被用于显示具有更多细节的焦点区域[22]。

文献[22]使用魔法体积，确定焦点区域，在焦点区域中着重显示流的有趣部分，将标量特征映射到流线颜色密度上，聚光灯照射在焦点区域，以增强视觉感知，突出焦点区域，但该方法依赖于视点，当视点变化时，必须调整魔术镜头。TAO等[58]提出了一个焦点+上下文的流线变形框架。该框架是基于网格的空间变形方案，通过在域上应用粗网格，将域划分为块，并得出每个块的重要性。然后将块扩展和平滑为能量项，搜索最小化目标能量函数的变形网格，给通过重要区域的流线段分配更大的空间，流过不重要区域的流线段分配较少的空间，实现焦点+上下文可视化。该框架允许用户自动选择焦点区域，还允许用户通过点击感兴趣的点或流线来手动指定焦点区域，能够实时执行变形和恢复过程。图13(a)是球形焦点变形的流线；图13(b)是沙漏块焦点变形的流线。这种探索增强了用户与流线的互动能力。TONG等[59]提出了一个定制的流线变形算法和一个交互式可视化工具，来实现三维流线的焦点+上下文可视化。用户在屏幕空间定义了焦点区域后，基于点模型和线模型2个变形模型，使遮挡焦点区域的流线被变形。使用魔术镜头，允许用户自由地将流线从屏幕上的选定区域移开，以显示下面的结构，该变形可在GPU中实现实时探索。如图14所示，点模型将流线从焦点区域的中心移开，线模型沿着焦点区域的主轴切割流线并将流线移动至两侧。在该方法的基础上，又引入了2种新的镜头：分层镜头和折线镜头[60]，以探索不同深度和不同屏幕位置的特征，具有更高的灵活性和适应性。分层镜头是一组在屏幕空间中相互堆叠的镜头，每个镜头都在特定的层中使流线在其各自的范围内变形，通过对不同层进行变形，可以更清楚地显示不同层的特征和上下文。折线镜头使聚焦区域具有更一般的形状，主要方法是使用一系列相连的线段切割流线，并使周围的流线平滑地向一侧变形，将特征拟合到折线镜头的焦点区域。可视化结果表明分层镜头和折线镜头在交互式探索矢量场的过程中能有效保持上下文的信息，但当用户进行视点切换时，需要重新计算网格数据，不能实现实时可视化。

图13 魔法体积((a)球形焦点；(b)沙漏块焦点)[58]

图14 魔术镜头((a)点模型；(b)线模型)[59]

除了上述方法外，JONES和MA[61]还使用多维投影可视化技术来强调粒子路径和几何图形之间的局部关系，用户以焦点+上下文的形式查看流线。该可视化技术使用基于位置的可视化为单个轨迹提供邻近信息和焦点+上下文，用标准半透明渲染帮助科学家从空间和时间的角度观察流场，从而更好地理解在计算机房模拟气流和表面温度之间的关系、地下水模拟流体颗粒穿过半多孔介质时的行为等数据中的趋势和因果关系。

焦点+上下文技术也经常与光照、不透明度、形状变形等方法结合可视化流场以提高可视结果的表达能力，如：文献[35]，文献[33]和文献[41]。焦点+上下文方法在三维流线可视化中在捕捉重要特征的同时保留上下文信息，但随着数据规模的扩大，不可避免地会出现遮挡和混乱现象，并且随着用户需求的提高，对焦点+上下文的实时性研究也是一个重点问题。

5 总 结

经过几十年的研究，表意性方法在三维流线可视化中的应用已经有了很大地发展，但随着数据规模的不断扩大、用户需求方面的精细化和普适性越来越高，给表意性方法在三维流线可视化中的应用带来了新的机遇和挑战。

5.1 视觉感知增强类

(1) 在流动结构复杂、规模较大的流场中，流线变形类的方法存在计算成本高、若选择了不合适流线表达方法还容易加重视觉负担，难以高效地呈现流场的流动行为。

(2) 在密集线数据集中，当流动结构重叠时，使用深度提示和光晕技术会产生严重的光晕重叠情况，严重阻碍用户理解和探索流。此外，由于照明模型面向的是面元素，在使用照明技术增强流线的空间感知时，通常将流线渲染为以面为单位的线基元，方便法线的计算，这将大大增加计算量。

(3) 当使用不透明度的方法来减少流线之间的遮挡时，如果遮挡流线太透明，则重要区域周围的流动上下文会丢失，并且由于透明度、流线之间的深度关系会更加难以辨别。此外，透明度方法需要深度排序才能正确渲染对象，当可视化面临大而密集的线数据时，很难实现对大量线段进行实时排序。

因此，根据可视化需求选择合适的流线变形方法以及照明技术。此外，对于不透明度的研究，由于在可视化过程中该方法是顺序依赖，需要耗费大量的时间和内存来完成片段排序操作、且透明度的使用会导致流线之间空间关系的丢失。因此顺序无关的不透明度优化算法结合深度信息是未来的研究方向。

5.2 可见性管理类

(1) 传统的相似性度量方法从距离和特征2个方面出发，基于距离的度量仅限于空间位置接近的流线之间的相似性，在距离较远区域中相似的流线很难聚到同一簇中。基于形状的度量在进行流线特征提取时会出现特征提取不全面，不能完全捕获流场的流动行为。基于深度学习的方法需要对不同的数据集分别进行训练，且训练时间较长。

(2) 视图相关和无关的流线选择方法能在一定程度上减少流线之间的遮挡现象，但是视图相关的流线选择算法依赖于视点，当视点变换时需要重新计算。

因此，对于可见性管理类的方法，当使用传统相似度聚类方法时，如何全面捕获流线的特征、允许从流线空间位置和形状特征等不同维度探索流动是未来的研究方向。关于深度学习的聚类方法，未来的努力目标是建立一个大型数据库训练深度神经网络来识别流特征，关于深度学习在非定常流场可视化和整体计算改进中的应用，还有进一步研究的潜力。

5.3 焦点+上下文

焦点+上下文类的方法大多是视图相关的，当视点突然变化时，需要重新调整魔术镜头或重新计算流线变形，当流线数目较多时，每个视点下的计算量将会非常大、实时性差。

对于焦点+上下文可视化，如何有效地将交互和可视化同步，增强可视化的实时性和准确性，是魔法镜头、魔法体积类的方法在三维流线可视化中的难点。

[1] 李思昆, 蔡勋, 王文珂, 等. 大规模流场科学计算可视化[M]. 北京: 国防工业出版社, 2013: 19-49.

LI S K, CAI X, WANG W K, et al. Large-scale flow field scientific visualization[M]. Beijing: National Defense Industry Press, 2013: 19-49 (in Chinese).

[2] 宋汉戈, 刘世光. 三维流场可视化综述[J]. 系统仿真学报, 2016, 28(9): 1929-1936.

SONG H G, LIU S G. Review of 3D flow visualization[J]. Journal of System Simulation, 2016, 28(9): 1929-1936 (in Chinese).

[3] LAWONN K, GLAßER S, VILANOVA A, et al. Occlusion-free blood flow animation with wall thickness visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2016, 22(1): 728-737.

[4] MEUSCHKE M, OELTZE-JAFRA S, BEUING O, et al. Classification of blood flow patterns in cerebral aneurysms[J]. IEEE Transactions on Visualization and Computer Graphics, 2019, 25(7): 2404-2418.

[5] KREISER J, HERMOSILLA P, ROPINSKI T. Void space surfaces to convey depth in vessel visualizations[J]. IEEE Transactions on Visualization and Computer Graphics, 2021, 27(10): 3913-3925.

[6] KREISER J, MEUSCHKE M, MISTELBAUER G, et al. A survey of flattening-based medical visualization techniques[J]. Computer Graphics Forum, 2018, 37(3): 597-624.

[7] HALLADJIAN S, MIAO H C, KOURIL D, et al. Scale trotter: illustrative visual travels across negative scales[J]. IEEE Transactions on Visualization and Computer Graphics, 2020, 26(1): 654-664.

[8] KOUŘIL D, ISENBERG T, KOZLÍKOVÁ B, et al. HyperLabels: browsing of dense and hierarchical molecular 3D models[J]. IEEE Transactions on Visualization and Computer Graphics, 2021, 27(8): 3493-3504.

[9] LAWONN K, VIOLA I, PREIM B, et al. A survey of surface-based illustrative rendering for visualization[J]. Computer Graphics Forum, 2018, 37(6): 205-234.

[10] GÖRTLER J, SPICKER M, SCHULZ C, et al. Stippling of 2D scalar fields[J]. IEEE Transactions on Visualization and Computer Graphics, 2019, 25(6): 2193-2204.

[11] BRAMBILLA A, CARNECKY R, PEIKERT R, et al. Illustrative flow visualization: state of the art, trends and challenges [EB/OL]. [2022-03-27]. https://doi.org/10.2312/ conf/eg2012/stars/075-094.

[12] VIOLA I, ISENBERG T. Pondering the concept of abstraction in (illustrative) visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2018, 24(9): 2573-2588.

[13] VIOLA I, CHEN M, ISENBERG T. Visual abstraction[M]// Foundations of Data Visualization. Cham: Springer International Publishing, 2020: 15-37.

[14] ELMQVIST N, TSIGAS P. A taxonomy of 3D occlusion management for visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2008, 14(5): 1095-1109.

[15] ANDREW B, BRUCKNER S, CHEN W, et al. Interactive tools for scientific and medical illustration composition[EB/OL].[2022-03-27]. http://diglib.eg.org/handle/10.2312/egt.20081056.T8.

[16] 王松, 吴斌, 吴亚东. 感知增强类流场可视化方法研究与发展[J]. 计算机辅助设计与图形学学报, 2018, 30(1): 30-43.

WANG S, WU B, WU Y D. Survey on perception enhanced flow visualization[J]. Journal of Computer-Aided Design & Computer Graphics, 2018, 30(1): 30-43 (in Chinese).

[17] ANGELELLI P, HAUSER H. Straightening tubular flow for side-by-side visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2011, 17(12): 2063-2070.

[18] STEVENS A H, WARE C, BUTKIEWICZ T, et al. Hairy slices II: depth cues for visualizing 3D streamlines through cutting planes[J]. Computer Graphics Forum, 2020, 39(3): 25-35.

[19] STOLL C, GUMHOLD S, SEIDEL H P. Visualization with stylized line primitives[C]//VIS 05. IEEE Visualization. New York: IEEE Press, 2005: 695-702.

[20] HAN M J, WALD I, USHER W, et al. Ray tracing generalized tube primitives: method and applications[J]. Eurographics Workshop on Visual Computing for Biomedicine, 2019, 38(3): 467-478.

[21] CHEN C K, YAN S, YU H F, et al. An illustrative visualization framework for 3D vector fields[J]. Computer Graphics Forum, 2011, 30(7): 1941-1951.

[22] MATTAUSCH O, THEUßL T, HAUSER H, et al. Strategies for interactive exploration of 3D flow using evenly-spaced illuminated streamlines[C]//The 19th Spring Conference on Computer Graphics. Budmerice, Slovakia. New York: ACM Press, 2003: 213-222.

[23] EVERTS M H, BEKKER H, ROERDINK J B T M, et al. Depth-dependent halos: illustrative rendering of dense line data[J]. IEEE Transactions on Visualization and Computer Graphics, 2009, 15(6): 1299-1306.

[24] EVERTS M H, BEKKER H, ROERDINK J B T M, et al. Interactive illustrative line styles and line style transfer functions for flow visualization[EB/OL]. [2022-03-27]. https://arxiv.org/abs/1503.05787.

[25] KANZLER M, RAUTENHAUS M, WESTERMANN R. A voxel-based rendering pipeline for large 3D line sets[J]. IEEE Transactions on Visualization and Computer Graphics, 2019, 25(7): 2378-2391.

[26] EICHELBAUM S, HLAWITSCHKA M, SCHEUERMANN G. LineAO—improved three-dimensional line rendering[J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(3): 433-445.

[27] MALLO O, PEIKERT R, SIGG C, et al. Illuminated lines revisited[EB/OL]. [2022-03-27]. https://ieeexplore.ieee.org/ abstract/document/1532772.

[28] ZHANG W Y, PEI Y Z, LIU B C, et al. A streamline illumination method for 3D flow fields[C]//2013 7th International Conference on Image and Graphics. New York: IEEE Press, 2013: 252-257.

[29] TAYLOR R M 2nd, HARTER J. Random per-element luminance modulation for improved visual tracking[J]. IEEE Computer Graphics and Applications, 2014, 34(6): 83-87.

[30] ROCHA A, SILVA J D, ALIM U, et al. Multivariate visualization of oceanography data using decals[C]// Proceedings of the Workshop on Visualisation in Environmental Sciences. New York: ACM Press, 2017: 31-35.

[31] MISHCHENKO O, CRAWFIS R. On perception of semi-transparent streamlines for three-dimensional flow visualization[J]. Computer Graphics Forum, 2014, 33(1): 210-221.

[32] GÜNTHER T, THEISEL H, GROSS M. Decoupled opacity optimization for points, lines and surfaces[J]. Computer Graphics Forum, 2017, 36(2): 153-162.

[33] ROJO I B, GROSS M, GÜNTHER T. Fourier opacity optimization for scalable exploration[J]. IEEE Transactions on Visualization and Computer Graphics, 2020, 26(11): 3204-3216.

[34] KERN M, NEUHAUSER C, MAACK T, et al. A comparison of rendering techniques for 3D line sets with transparency[J]. IEEE Transactions on Visualization and Computer Graphics, 2021, 27(8): 3361-3376.

[35] GROß D, GUMHOLD S. Advanced rendering of line data with ambient occlusion and transparency[J]. IEEE Transactions on Visualization and Computer Graphics, 2021, 27(2): 614-624.

[36] SHI L Y, LARAMEE R S, CHEN G N. Integral curve clustering and simplification for flow visualization: a comparative evaluation[J]. IEEE Transactions on Visualization and Computer Graphics, 2021, 27(3): 1967-1985.

[37] YU H F, WANG C L, SHENE C K, et al. Hierarchical streamline bundles[J]. IEEE Transactions on Visualization and Computer Graphics, 2012, 18(8): 1353-1367.

[38] LU K W, CHAUDHURI A, LEE T Y, et al. Exploring vector fields with distribution-based streamline analysis[C]//2013 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2013: 257-264.

[39] TAO J, WANG C L, SHENE C K. FlowString: partial streamline matching using shape invariant similarity measure for exploratory flow visualization[C]//2014 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2014: 9-16.

[40] FERSTL F, BÜRGER K, WESTERMANN R. Streamline variability plots for characterizing the uncertainty in vector field ensembles[J]. IEEE Transactions on Visualization and Computer Graphics, 2016, 22(1): 767-776.

[41] HAN J, TAO J, WANG C L. FlowNet: a deep learning framework for clustering and selection of streamlines and stream surfaces[J]. IEEE Transactions on Visualization and Computer Graphics, 2020, 26(4): 1732-1744.

[42] TAO J, MA J, WANG C L, et al. A unified approach to streamline selection and viewpoint selection for 3D flow visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(3): 393-406.

[43] XU L J, LEE T Y, SHEN H W. An information-theoretic framework for flow visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2010, 16(6): 1216-1224.

[44] XU C Q, SUN G D, LIANG R H, et al. Vector field streamline clustering framework for brain fiber tract segmentation[EB/OL]. [2022-03-27].https://ieeexplore.ieee. org/abstract/document/9474448.

[45] SANE S, BUJACK R, GARTH C, et al. A survey of seed placement and streamline selection techniques[J]. Computer Graphics Forum, 2020, 39(3): 785-809.

[46] MARCHESIN S, CHEN C K, HO C, et al. View-dependent streamlines for 3D vector fields[J]. IEEE Transactions on Visualization and Computer Graphics, 2010, 16(6): 1578-1586.

[47] LEE T Y, MISHCHENKO O, SHEN H W, et al. View point evaluation and streamline filtering for flow visualization[C]//2011 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2011: 83-90.

[48] MA J, WANG C L, SHENE C K. Coherent view-dependent streamline selection for importance-driven flow visualization[EB/OJ]. (2013-02-04) [2022-03-27].https://www. spiedigitallibrary.org/conference-proceedings-of-spie/8654/865407/Coherent-view-dependent-streamline-selection-for-importance-driven-flow-visualization/10.1117/12.2001887.shor.t.

[49] MA J, WALKER J, WANG C L, et al. FlowTour: an automatic Guide for exploring internal flow features[C]//2014 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2014: 25-32.

[50] LAWONN K, GÜNTHER T, PREIM B. Coherent view-dependent streamlines for understanding blood flow[C]// Proceedings of the EuroVis (Short Papers). Aire-la-Ville: The Eurographics Association, 2014:19-23.

[51] GÜNTHER T, RÖSSL C, THEISEL H. Opacity optimization for 3D line fields[J]. ACM Transactions on Graphics, 2013, 32(4): 120.

[52] MA J, WANG C L, SHENE C K. FlowGraph: a compound hierarchical graph for flow field exploration[C]//2013 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2013: 233-240.

[53] KANZLER M, FERSTL F, WESTERMANN R. Line density control in screen-space via balanced line hierarchies[J]. Computers & Graphics, 2016, 61: 29-39.

[54] LU Y C, CHENG L Y, ISENBERG T, et al. Curve complexity heuristic KD-trees for neighborhood-based exploration of 3D curves[J]. Computer Graphics Forum, 2021, 40(2): 461-474.

[55] GANSNER E R, KOREN Y, NORTH S C. Topological fisheye views for visualizing large graphs[J]. IEEE Transactions on Visualization and Computer Graphics, 2005, 11(4): 457-468.

[56] ZHAO X, ZENG W, GU X D, et al. Conformal magnifier: a focus context technique with local shape preservation[J]. IEEE Transactions on Visualization and Computer Graphics, 2012, 18(11): 1928-1941.

[57] BIER E A, STONE M C, KEN P E, et al. Toolglass and magic lenses: the see-through interface[C]//The 20th Annual Conference on Computer Graphics and Interactive Techniques. New York: ACM Press, 1993: 73-80.

[58] TAO J, WANG C L, SHENE C K, et al. A deformation framework for focus context flow visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2014, 20(1): 42-55.

[59] TONG X, CHEN C M, SHEN H W, et al. Interactive streamline exploration and manipulation using deformation[C]//2015 IEEE Pacific Visualization Symposium . New York: IEEE Press, 2015: 1-8.

[60] TONG X, EDWARDS J, CHEN C M, et al. View-dependent streamline deformation and exploration[J]. IEEE Transactions on Visualization and Computer Graphics, 2016, 22(7): 1788-1801.

[61] JONES C, MA K L. Visualizing flow trajectories using locality-based rendering and warped curve plots[J]. IEEE Transactions on Visualization and Computer Graphics, 2010, 16(6): 1587-1594.

A review of the application of illustrative methods in 3D streamline visualization

SHAO Xu-qiang1,2, CHENG Ya1, JIN Yi-zhong1

(1. School of Control and Computer Engineering, North China Electric Power University, Baoding Hebei 071003, China; 2. Engineering Research Center of Intelligent Computing for Complex Energy Systems, Ministry of Education, Baoding Hebei 071003, China)

Streamline visualization is an important method of flow visualization. It can directly represent the structure and flow trend of the flow field. However, when streamline visualization is used in the three-dimensional flow field, inappropriate rendering methods, selection methods, and presentation methods will lead to poor expression ability of visual results, and it is difficult for users to efficiently obtain flow information. In order to fully reflect the research progress of illustrative methods in 3D streamline visualization, this paper systematically reviewed the representative papers at home and abroad over recent ten years ago. First, the related concepts of illustrative visualization methods were introduced, and then the applications of illustrative methods such as visual perception enhancement, visibility management, and focus + context in 3D streamline visualization were summarized and classified, and the advantages and disadvantages of each method are discussed.The illustrative method of visual perception enhancement refers to that when perceiving the world, human beings make full use of all the visual information.Visibility management refers to the improvement of the overall visibility of data by reducing confusion and occlusion through such means as clustering and selective visualization, thus optimizing the visual space.Focus + context emphasizes which part is the area of special interest, that is, focus, and highlights it. For less important areas, namely, context, it is utilized to provide background.Focus + context technology highlights the characteristics of the data rather than the overall structure. Finally, the application of illustrative methods in 3D streamline visualization is summarized and analyzed. The problems and challenges in streamline visualization were presented, and future research directions were prospected.

3D streamline visualization;visual perceptual enhancement;visibility management; focus + context;3D flow visualization; illustrative visualization

TP 391

10.11996/JG.j.2095-302X.2022050753

A

2095-302X(2022)05-0753-12

2022-03-21；

2022-05-26

21 March，2022；

26 May，2022

河北省自然科学基金项目(F2020502014)；中央高校基本科研业务费专项(2021MS095)；国家自然科学基金项目(61502168)

Natural Science Foundation of Hebei Province (F2020502014); Special Fund for Basic Scientific Research Business of Central Universities (2021MS095); National Natural Science Foundation of China (61502168)

邵绪强(1982-)，男，副教授，博士。主要研究方向为计算机图形学、虚拟现实。E-mail：shaoxuqiang@163.com

SHAO Xu-qiang (1982-), associate professor, Ph.D. His main research interests cover computer graphics and virtual reality.E-mail：shaoxuqiang@163.com