彭 博,罗娅茹,谢盛华,尹立雪
(1.西南石油大学计算机科学学院,成都 610500;2.四川省医学科学院·四川省人民医院心血管超声及心功能科,成都 610072;3.超声心脏电生理学与生物力学四川省重点实验室,成都 610072)
心血管疾病是日常生活中严重威胁人体健康的疾病,其发病率、致死率一直高居首位。根据世界卫生组织(World Health Organization,WHO)的统计,全世界每年大约有1700万人死于心血管疾病,占全世界死亡人数的31%。心血管疾病之所以有如此高的致死率,是因为在心血管患病早期通常不会出现明显的临床表现。所以心脏疾病的防治关键在于早发现、早治疗。其实,病人在患病早期心脏形态结构和血流模式已与正常人有所不同,可以通过观察心脏流体力学状态的变化及时有效反映心脏功能的异常[1]。因此,心脏流体力学运动状态的有效可视化观察和量化评价有助于心脏功能异常的早期筛查,为心血管疾病的早发现提供了一种新的技术手段。
超声具有无伤、无辐射、实时、价格低廉、操作简单等优点,因此在临床上已广泛使用超声成像技术进行血流可视化观察及测量,例如连续多普勒、脉冲多普勒、彩色多普勒等。但是,这些方法只能在一定程度上反映流场的部分信息,不能全面反映流体的运动状态。血流向量成像(Vector Flow Mapping,VFM)技术的出现,突破了常规多普勒超声的局限,实现了心脏全流场可视化描述,特别是在左心室运动的可视化观察和量化评价研究方面被广泛关注。VFM 技术由Ohtsuki 等[2]首次提出,是一种新颖的心功能检测技术。Uejima 等[3]使用三维数值模型进行验证,但是他们的流场速度估计方法存在理论缺陷。Garcia 等[4]提出将室壁运动信息结合多普勒速度的改进方法,得到了有效的左心室流场速度矢量。Itatani 等[5]在Garcia 等[4]研究的基础上进行权重划分的改进,并通过计算流体动力学(Computational Fluid Dynamics,CFD)得到验证。谢盛华等[6]通过扩展流函数来计算多普勒流量函数,最终实现了二维平面流体运动的可视化描述。Asami 等[7]通过将VFM 与粒子图像测速的血流测量值进行比较,定性且定量地评估了VFM 在三维左心室血流场中的准确性。Tanaka等[8]提出了一种称为后验VFM准确度估计的新方法,并提高了VFM 的临床有效性。Zhuang 等[9]将YOLO 深度学习模型与改进的块匹配算法相结合,对左心室壁进行定位和跟踪,并改进权重函数,提高了VFM 的准确性。但由于现有VFM 技术首先需要依赖于特定超声设备获得原始射频数据,然后再采用商用散斑跟踪软件进行流场可视化分析,并且在计算过程中需要对左心室壁进行手工勾勒,所以其通用性不足,有一定的局限性和不可移植性。
基于Garcia等[4]的研究,本文提出了一种联合深度学习的通用VFM方法。该方法充分利用彩色多普勒超声心动图像彩色血流信息,从数字图像处理的角度出发,联合深度学习网络模型,提取心脏左心室流场信息。相较于现有VFM方法,本文方法主要改进包括:1)不依赖特定超声设备导出原始射频信号提取多普勒速度信息,直接利用任意能够导出彩色多普勒超声心动图的超声设备,基于图像数据获取速度信息,打破了超声设备的局限性;2)采用U-Net 模型自动识别左心室壁轮廓,且采用经迁移学习重新训练的PWC-Net(convolutional neural Networks for optical flow using Pyramid,Warping,and Cost volume)模型[10]对所识别左心室壁进行位移估计,减少耗时,提高计算效率。本文方法作为一种完全基于图像信息的快速通用型VFM 方法,不需要任何供应商的技术支持和专有软件,可以进一步推进VFM在临床工作流程中的应用。
本文提出完全基于二维彩色多普勒超声心动图像信息的VFM 方法。该方法使用速度标尺提取沿声束方向的径向速度代替从特定设备的原始射频数据获取多普勒速度作为径向速度;利用两个深度学习网络识别左心室壁位置并获取室壁速度,根据左心室前后壁的运动模式与心脏流体运动的关联性,结合流体力学中的连续性方程,以左心室前后壁的切向速度分量作为边界条件,计算心脏流场各血液质点的切向速度分量,最终合成速度流场。本文主要使用速度矢量图和平面流线图对左心室流体运动进行可视化描述,反映流动趋势、速度分布特点,以及整体血液流动结构。
彩色多普勒血流信息包含血流运动的方向信息,即:朝向探头方向的血流以红色显示,背离探头方向的血流以蓝色显示。同时彩色多普勒血流信息包含了血流速度的变化信息,即:颜色亮度越大,沿超声声束方向的速度越大;颜色亮度越小,沿超声声束方向的速度越小。
本文方法中提取彩色血流信息中的多普勒速度是进一步研究左心室流体运动的至关重要的一个步骤。本文将彩色血流信息提取的速度作为径向速度,成为最终形成的流场中的第一个速度分量。为获得该速度信息,将彩色多普勒超声心动图上生成的速度标尺作为度量速度值的标准。通过彩色编码后每个血液质点对应的彩色血流信息,搜索彩色多普勒图像中的血液质点在速度标尺中的最佳匹配点,本文采用最小二乘法计算两者的相似程度:
其中:c表示血液质点与速度标尺中点的相似程度;Rb、Gb、Bb分别代表当前计算的血液质点的RGB 颜色三分量;Rs、Gs、Bs分别代表速度标尺上点的RGB 颜色三分量。这一步主要为了找到当前血液质点在速度标尺中的最优匹配点位置,获取该点在速度标尺上的距离参数。然后,得到径向速度与距离的分段线性函数[11](如图1):
图1 径向速度与距离的分段函数示意图Fig.1 Schematic diagram of piecewise function of radial velocity and distance
式中:d代表最优匹配点与速度标尺最底端的像素距离;d1代表速度标尺蓝色区域的像素高度;d2代表d1与标尺中黑色区域像素高度和;dmax代表整个速度标尺的像素高度;Vmax代表当前速度标尺测量范围内的最大速度。
通过速度标尺获得的径向速度值是不光滑的,无法满足后续的连续性方程的求解,为确保有比较稳定的积分环境,使用速度标尺求出原始径向速度后,对径向速度数据进行平滑处理。平滑处理的方法包括对径向速度数据进行中值滤波和高斯滤波。中值滤波的处理方法如图2(a)所示:对于当前所求血液质点的径向速度,以图2(a)中实线圈内值为例,沿着超声声束方向定位该点的前一血液质点和后一血液质点的径向速度值;以图2(a)中两个虚线圈内值为例,获取三个血液质点的中值作为当前血液质点的径向速度值。高斯滤波的处理方法如图2(b)所示:通过二维高斯函数(见式(3))生成窗口大小为5× 5高斯模板(如图2(b)中箭头所示),与当前血液质点(如图2(b)中实心方框)为中心的相同窗口大小范围的径向速度进行卷积计算,计算结果作为当前血液质点的径向速度值,重复该操作直到完成所有血液质点的计算。中值滤波方法可以消除异常的速度值,高斯滤波方法可以消除小规模的速度波动。
图2 平滑方法示意图Fig.2 Schematic diagram of smoothing method
其中:G表示高斯模板矩阵;σ表示标准差,本文设置为8;(x,y)表示模板的二维位置坐标,由于本文设置模板大小为5× 5,所以x,y∈[-2,-1,0,1,2]。
1.2.1 流体力学中连续性方程的应用
流体力学已成为心血管生物力学基础研究领域的重要研究方向,其中连续性方程是质量守恒定理在流体力学中的应用,即流进绝对坐标系中任何闭合曲面内的质量等于从这个曲面流出的质量。本文的研究中,将左心室血液看作一种不可压缩流体,基于二维平面流动假设下,建立起便于流场分析的极坐标系(r,θ),以超声虚拟探头O的位置作为极坐标的极点,以水平于超声探头的直线OX作为极轴,角度从极轴的左边线段出发,取逆时针方向为正方向,规定左心室前壁的角度为θ-,左心室后壁的角度为θ+,如图3所示。
图3 极坐标系建立示意图Fig.3 Schematic diagram of polar coordinate system construction
将彩色多普勒超声心动图像提供的沿着超声声束方向的单一速度作为流体的径向速度分量,结合连续性方程(式(4)),用于计算流体的切向速度分量。
其中:r表示距离探头的半径大小;θ表示极坐标下的角度;z表示垂直贯穿于采集的二维彩色多普勒超声图像平面的方向;Vr表示极坐标平面的径向速度;Vθ表示极坐标平面的切向速度;Vz表示垂直贯穿平面的速度。本文基于二维平面流动假设,使用长轴切面的超声心动图作流场分析,忽略垂直贯穿于极坐标平面速度带来的细微影响,因此可以将Vz设置为0,那么式(4)则可以化简为如下形式:
式(5)中将沿声束方向的径向速度(Vr)与切向速度(Vθ)联系起来,直观地表示了通过径向速度获得血液质点切向速度的计算方法。该公式在左心室区域内进行求解,本文中以左心室的前后壁的切向速度作为式(5)的边界条件参与切向速度的计算,得出方程的两个解:
其中,Vθ-和Vθ+分别是左心室前壁与左心室后壁的切向速度,积分部分的计算方法已经在式(5)中给出。第一个解(式(6))是从左心室前壁起沿第一条积分路径(图4 中的左心室前壁与所求血液质点虚线相交位置所示)到所求血液质点的切向速度积分结果,第二个解(式(7))是从左心室后壁起沿第二条积分路径(图4 中的左心室后壁与所求血液质点虚线相交位置所示)到所求血液质点的切向速度积分结果。
图4 连续性方程的两个解Fig.4 Two solutions of continuity equation
1.2.2 权重函数的计算
利用权重函数w和线性组合连续性方程的两个解,可以得到最终的切向速度,计算式如下:
考虑第一个解(式(6))和第二个解(式(7))对于最终血液质点的切向速度的贡献值大小,尽可能地使两个解在最终切向速度中所占计算比例均匀合理,减小结果的误差。采用角度距离比值来定义权重函数:
即在极坐标系中将血液质点与左心室前壁角度差和左心室后壁与左心室前壁角度差的比值作为权重值。
文献[12-14]研究表明,心室壁心肌运动状态与心脏疾病密切相关,室壁的异常运动将直接导致心腔内血液动力学特征的改变,所以,在研究血液动力学特征时结合心室壁的运动是非常有价值的。本文使用时间分辨率重建后的待分析彩色多普勒超声心动图像和其相邻的后一帧彩色多普勒超声心动图像,通过U-Net 深度学习框架自动识别左心室壁轮廓。再将识别后的左心室壁轮廓,采用重新训练的PWC-Net 模型估计像素位移。最终,使用超声设备设定的时间分辨率和心室壁的位置信息获得左心室壁的物理切向速度,用来作为连续性方程的边界条件。
1.3.1 左心室壁轮廓自动识别方法
现有的左心室血流向量成像技术研究中,绝大多数使用临床医生手动勾勒或者手动勾勒结合自动识别的半自动方法识别左心室壁轮廓[3-4,7-8],所以往往要依靠医生的临床经验进行判断,具有较强的主观性;而且这样的手动方法虽然精确,但是影响了计算效率,且不同医生勾勒的左心室壁位置也会存在差异,会对计算的流场结果造成影响。
本文利用深度学习方法实现左心室轮廓的自动分割识别。对于医学图像,U-Net 模型表现出较好的分割性能。UNet模型[15]是一种编解码器结构,编解码器结构的网络非常适用于分割。U-Net遵循特定的方法,其中每个下采样步骤和上采样步骤都要经过两个3× 3的卷积层,而每个下采样过程的特征数量增加一倍,上采样过程的特征数量减少一半。具体来说,该模型左半边为下采样过程,右半边为上采样过程。下采样过程主要连续地经过3× 3 的卷积层并使用ReLU 激活层,2 × 2 的最大池化层,不断提取图像特征直至最高维。上采样过程通过连续的2 × 2 的上卷积方式将高维特征向低维映射,并且在映射过程中连接来自下采样过程中相应裁剪的图像特征,最终得到对图像中每一个像素点的分类,输出分割图像。U-Net模型的训练过程如图5所示。
图5 U-Net模型的训练与应用过程Fig.5 Training and application process of U-Net model
本文使用用于二维超声心动图评估的最大并且公开的全注释CAMUS 数据集[16]。该数据集是带有完整标签注释的大型数据集,其中包含了10 个文件夹,每个文件夹中有50 个患者二维B 模式下的至少一个心动周期的超声采集序列,舒张末期和收缩末期的两腔心图、四腔心图,以及其对应的由三个心脏疾病专家在协定协议下标注的左心室内膜(即左心室壁)、左心室外膜、左心房和背景四种标签。
本文关注的区域是左心室壁的区域,需要识别左心室壁的位置作为连续性方程的边界条件。为了提高训练的速度,本文对原始数据集的标签进行预处理,只对左心室内膜和背景标签作保留,使用U-Net 模型对左心室进行二分类的训练。在实际的模型训练过程中,以Keras 为深度学习框架,使用8个文件夹下的总共400 个患者的数据作为训练集(共1600 张图像),1 个文件夹下的总共50 个患者的数据(共200 张图像)作为测试集。根据本文所提出的方法,针对左心室壁轮廓的识别需求,经过大量的实验训练,最终确定训练参数:为了获得更高维度的特征图,在下采样路径中使用卷积层和最大池化层,直至特征维数至16 × 16;使用批量归一化方法;设置批尺寸为2;学习率设置为1E-04;使用随机梯度下降方法作为最优化策略;损失函数为交叉熵和正则化。最终得到左心室壁的分割模型。
1.3.2 PWC-Net光流网络计算室壁运动
PWC-Net模型的思想与多尺度光流法非常接近。该模型的结构如图6 所示。在第i个尺度中,PWC-Net 模型首先通过输入的两张图像I1和I2提取出图像特征,可以记作fI1i和fI2i,使用先前尺度(即第i-1 尺度)的上采样位移估算值对fI2i进行卷绕,作为运动补偿特征,记为。然后,将和fI1i匹配成对后,使用多层卷积神经网络(Convolutional Neural Network,CNN)估算位移。在CNN 之后,再增加一个可选择使用的上下文网络层(额外的卷积层),用于进一步对位移估计值进行优化。重复第i尺度的整个训练过程,直到所有尺度均执行完该过程为止,最终输出位移数据。
图6 PWC-Net模型结构Fig.6 Structure of PWC-Net model
由于心脏运动是一个自由形变的非刚性运动过程,原来的PWC-Net 光流网络模型的训练是通过自然图像数据完成的,因此本文使用由有限元软件ANSYS和超声模拟器Field Ⅱ产生的超声非刚性运动数据集。首先,通过有限元软件构建组织模型并施加载荷模拟超声探头挤压组织的过程,保留产生的位移,并加到压缩前的组织模型内用于获得压缩后的图像;然后,通过Field Ⅱ平台对压缩前后的组织模型进行超声模拟成像,获得压缩前后的B 型超声图像对。模拟产生的超声数据集包括压缩前后的4 个小球仿体数据对和压缩前后的复杂乳腺结构数据对两种类型,数据集信息如表1所示。
表1 超声模拟数据集概要信息Tab.1 Summary information of ultrasound simulation datasets
使用模拟数据保留的位移作为标签,模拟的B 型超声图像对作为训练集,对原有的PWC-Net 模型进行迁移学习得到新的PWC-Net 模型[17]。模型的训练过程中,使用原始PWCNet 模型参数进行初始化,4 个小球仿体数据参与模型的第一阶段的迁移训练。模型收敛后,使用第一阶段获得的模型初始化PWC-Net,将复杂乳腺仿体数据用于模型的第二阶段的迁移训练。模型重要训练参数信息如表2 所示,其中Slong、Sfine与文献[18]描述一致:第一阶段为粗训练阶段,选择L2 loss作为损失函数,收敛速度快且具有稳定解,控制模型的复杂程度,一定程度避免过拟合现象;第二阶段为精训练阶段,选择L1 loss作为损失函数,具有更好鲁棒性,处理模拟数据中的异常值[19]。
表2 PWC-Net模型重要训练参数信息Tab.2 Important training parameter information of PWC-Net model
本文将裁剪后的当前图像帧的左心室区域和相邻的下一图像帧的对应区域作为输入图像,利用重新训练后的PWC-Net模型,最终获得整个左心室区域的位移,包括横向的像素位移值和纵向的像素位移值。然后,使用本文中训练的U-Net模型得到左心室壁位置信息,只保留左心室壁的位移数据,并且通过超声设备采集时设置的图像帧间的时间间隔和所求室壁点在极坐标系统上的角度位置,可以获得左心室壁的物理切向速度。
本文可视化描述方法的流程如图7所示,具体步骤如下:
图7 左心室血流场可视化方法流程Fig.7 Flow chart of visualization method of left ventricular blood flow field
输入 彩色多普勒超声心动图像;
输出 速度矢量图与流线图可视化结果。
步骤1 合理选择心动周期中的典型阶段的图像,本文选择两组实验图像,这两组图像均处于收缩期阶段。裁剪出左心室范围作为感兴趣区域。
步骤2 使用一维线性插值的方法补充感兴趣区域的空隙处彩色血流信息(见2.2.2节)。
步骤3 结合式(2),利用速度标尺提取出感兴趣区域的全部血流质点的径向速度分量并作平滑处理。平滑处理包括中值滤波和高斯滤波。
步骤4 使用训练的U-Net 模型自动识别左心室壁位置,并重建图像序列提高时间分辨率(见2.2.1节)。
步骤5 利用重新训练的PWC-Net 深度学习模型求解左心室壁的切向速度。
步骤6 通过式(5)~(9)的计算,得到左心室区域内所有血液质点的切向速度分量。
步骤7 得到径向速度分量和切向速度分量,即可合成血流速度场。绘制速度矢量图用来观察血液速度分布的特点和大小,并在速度矢量图的绘制基础上绘制流线图用以观察左心室腔内的流体的血液结构特征。
为了验证本文所提出的联合深度学习的通用血流向量成像方法,收集不同正常人的多个心动周期的心脏长轴切面的彩色多普勒超声心动图。本文的数据来源于四川省人民医院心血管超声及心功能科。为观察正常状态下左心室血液动力学的特征,本文研究一共选取了5 名正常人的超声心动图数据。超声数据采集设备为Hitachi Aloka Prosound F75 型彩色多普勒超声诊断仪,在图像采集的过程中均采用超声心动图标准切面进行图像数据的采集。最终导出彩色多普勒超声图像进行离线分析。
2.2.1 重建彩色多普勒超声心动图图像序列
通常情况下,彩色多普勒超声心动图时间分辨率不高,图像帧率大约为30 frame/s,在这种情况下,采集到的图像相邻帧之间时间间隔较长,直接导致相邻图像帧之间的相关性不强,最终形成的超声图像序列显然无法满足后续的心室壁运动跟踪计算分析要求。因此,为了获取心室壁运动信息,必须提高彩色多普勒超声心动图的时间分辨率。
本文基于时间超分辨率重建的思想,根据彩色多普勒超声心动图中的心电图时相位置信息,对多个心动周期图像按心电图时相先后顺序重新进行排序,搜索后续的心动周期中时相在第一心动周期中对应相邻帧之间的图像,将搜索到的图像插入对应相邻帧。直到第一心动周期所有相邻帧均被后续心动周期图像插入,即可将多个心动周期图像序列合成为时间分辨率提升后的一个心动周期图像序列,从而实现了提高时间分辨率。
本文利用3 个心动周期的彩色多普勒超声心动图图像序列信息,通过重建得到一个3 倍于原图像时间分辨率的彩色多普勒心动图新序列,保证心室壁运动位移估计的计算条件。
2.2.2 彩色血流信息补偿
临床诊断中常规彩色多普勒超声心动图成像技术基于脉冲多普勒原理,首先利用多普勒中频移的信号,获得取样面积内的血流平均速度信息和速度变化信息,然后进行彩色多普勒编码处理,形成的彩色血流信息叠加到二维B 模式的灰阶图像上,构成一幅完整的超声彩色多普勒图像[20]。在心脏多普勒图像的采集过程中,心脏左心室某些区域的血流速度过低会导致编码后的彩色血流信息暗淡甚至无彩色血流信息。使用速度标尺提取径向速度时,对这些低速区域不敏感,导致丢失部分的血流的径向速度细节,可能使得最终的流场结果不连续。所以,需要在原有的彩色血流信息的基础上补偿原始彩色多普勒心动图像中部分重要的彩色血流信息,从而获得更加丰富准确的流场信息。本文使用一维线性插值方法,利用原始图像数据中已有的彩色血流信息进行色彩补偿,主要补偿区域为两种不同颜色的彩色血流信息之间的空隙处。一维线性插值方法的计算式如下:
其中:y代表所求的部分无彩色血流信息或彩色血流信息暗淡的血液质点的颜色值;y0、y1分别代表当前所求血液质点的左右最邻近的含有彩色血流信息的血液质点的颜色值;k代表当前所求血液质点到左边邻近含有血流色彩的血液质点的距离与当前所求血液质点到右边邻近含有血流色彩的血液质点的距离的比值。
本文实验选择心功能分析的舒张期对本文所提方法进行验证。为评估本文方法的有效性,主要使用两种方法对本文实验结果进行评价。首先,Hitachi Aloka 提供的VFM 系统工作站作为业界首个血流向量成像系统,在心功能临床分析中被广泛关注并使用。对比Hitachi Aloka VFM 系统工作站离线分析的左心室血流速度矢量图和平面流线图结果与本文方法得到的结果的一致性,并将其作为直接评估参考。通过观察速度矢量图的速度分布特征、血液流动走向,以及平面流线图的涡流大小、位置等判断两者的一致性程度。其次,将由四川省人民医院的两名具有多年工作经验的超声医生的主观评价作为评估参考,根据左心室血液动力学的特征,判断本文实验结果的合理性和有效性。
图8 为一个正常心脏的超声心动图,处于心脏临床分析的典型时期——舒张期,每组测试图像的右上角给出了对应的彩色血流信息的补充结果。从两组测试图像结果可以看出,根据一维线性插值的方法,无颜色区域补偿的彩色血流信息中,越靠近有颜色区域的点颜色越亮,速度相较于远离有颜色区域的点大,能够合理有效地补偿出不同流向的血流之间空隙处的部分血流信息。这个补偿结果为后续的左心室腔内的血液流场分析提供了更加完整的信息。
图8 测试彩色多普勒图像与色彩补偿结果Fig.8 Test color-Doppler images and color compensation results
本文使用公开数据集中50 个患者组成的测试集对训练后的U-Net 模型进行性能评估。使用每一个患者两腔心图和四腔心图的左心室壁的标签(总共200 张)与训练的U-Net 模型预测的左心室壁位置基于度量指标计算平均值。通常针对医学图像分割模型,常用的度量指标包括戴斯相似性系数DICE、体积重叠误差(Volumetric Overlap Error,VOE)、相对体积差异(Relative Volume Difference,RVD)、精确性(Precision)和召回率(Recall)等。其中:DICE 表示两标签结果相交的面积占总面积的比值大小;VOE 与DICE 的原理类似,采用两标签结果相减的面积占总面积的比值来表示错误率;RVD 表示两标签之间的体积差异;Precision 表示判断为真的正例占所有判断为真的样例的比重;Recall 表示判断为真的正例占总正例的比率。以上评估值均在0~1。评估模型性能时,DICE、Precision、Recall的值越接近1,则模型性能越好;而VOE、RVD的值越接近0,模型的性能越好。
对200张图像的5个评估指标值进行平均值的计算,模型的度量指标结果如表3 所示。从表3 可以看出,DICE、Precision、Recall 值均处于0.9 以上,在较大值范围内;VOE、RVD 值均处于0.04 以下,在较小值范围内,表明本文训练的U-Net模型在左心室壁轮廓分割中性能较好。
表3 U-Net模型评估结果Tab.3 U-Net model evaluation results
使用训练好的U-Net 模型对图8 中的彩色多普勒超声心动图测试组进行左心室壁的分割预测,图9(a)对应图8(a)中的左心室壁轮廓,图9(b)对应图8(b)中的左心室壁轮廓。两组图像数据显示,左心室壁轮廓位置合理,分割的轮廓边缘连续光滑,并且通过了四川省医学科学院·四川省人民医院心血管超声及心功能科的医生对分割结果的主观认定。总体来说,本文训练的自动分割模型能够较好地对左心室壁轮廓进行识别。
图9 左心室轮廓自动识别结果Fig.9 Automatic recognition results of left ventricular contour
图10 为原始的PWC-Net 和重新训练的PWC-Net 模型对彩色多普勒超声心动图的左心室区域的心室壁运动追踪结果对比。通过图10(a)、(b)与图10(c)、(d)形成横向位移与纵向位移的对比可以看出,直接使用原始PWC-Net 模型的测试数据出现严重分层曲线与噪点,如图10(a)、(c)中小方框所示,重新训练的PWC-Net 模型的测试结果则表现得更加稳定平滑,预测结果具有连续性,表明重新训练的PWC-Net模型能够对左心室壁的运动进行准确估计。
图10(e)、(f)展示了两种模型分别由图10(a)、(c)和图10(b)、(d)所示位移合成的位移矢量图。由可视化的运动矢量图结果看出,图10(f)中左心室前壁与后壁均呈现向外扩张的运动趋势,符合舒张期心室壁的动力学特征。
图10 PWC-Net模型的左心室室壁位移估计结果Fig.10 Left ventricular wall displacement estimation results obtained by PWC-Net model
综上,位移估计结果验证了重新训练的PWC-Net 模型对于心脏的非刚性运动检测的有效性,并且相较于传统依赖迭代求解的非刚性配准运动估计[21],重新训练的PWC-Net 模型计算帧率可达到45 frame/s,满足实时成像的需求。
根据两组速度矢量图结果,可以有效地对左心室腔内的血液运动趋势以及血液流动速度大小的分布进行观察。图11(a)、(b)对应图8(a)中的速度矢量图结果,图11(c)、(d)对应图8(b)中的速度矢量图结果。从图11(a)的速度矢量图可以看出,左心室腔内的血流速度在流入道一侧较高,血液流向心尖位置碰及心尖段室壁,血液运动方向转向流出道位置。从图11(c)的速度矢量图可以看出,该组彩色多普勒心动图对应心动周期的阶段,稍晚于图11(a)的舒张期阶段,且相较于图11(a)的速度矢量,图11(c)的速度矢量经心尖位置后完成大量的血流转向,整体的血液流动速度分布更加远离心尖位置,朝着左心室基底段方向靠近,整体速度均匀,并在流入道一侧速度相较于图11(a)稍降低。
图11 速度矢量图结果对比图11 Velocity vector map result comparison
将本文提出的血流向量成像方法与Aloka VFM 工作站的后处理分析方法进行对比,结果显示两种方法的结果具有高度的一致性,进行实验的两组测试图像中,血流区域速度流场呈现出合理的血流运动趋势和血流速度大小分布,能够有效地观察到左心室速度分布情况与血流速度的运动走向。
在绘制速度矢量图的基础上绘制平面流线图,平面流线图的绘制结果有助于更加直观地观察左心室血液流动的运动结构模式。图12(a)、(b)和图12(c)、(d)分别为对应图8(a)、(b)的平面流线图结果。通过流线图的可视化可以看出,本文的方法能够清晰地观察到左心室中的涡流结构。涡流结构是血液动力学的重要指标之一,可以为心脏疾病的辅助诊断提供更加直接的证据。
从图12(a)中可以观察到,在这个心动周期阶段成像的血液的涡流状态,在靠近流入道一侧的室壁位置出现一个较小的涡流,并在靠近流出道的一侧形成一个较大的涡流结构(箭头所指处)。这种动力学特征符合人体心脏运动的特征。这个阶段,血流碰撞左心室心尖段的室壁转向,所以形成一个较大的涡流状态。
从图12(c)中可以观察到,肉眼可见一个大型的涡流充盈整个左心室腔(箭头所指处),同时在靠近流入道一侧的室壁位置出现一个较小的涡流。从图12(a)到图12(c),涡流未消失,并且保持旋转,左心室血液借助涡流的动能进行传递与转向,为收缩期的到来提供足够的动能支持。
图12 平面流线图结果对比Fig.12 Plane streamline map result comparison
将图12(a)与图12(b)进行比较可以看出,血液涡流运动状态相似,即本文方法和Aloka VFM 工作站提供的方法均能够检测到靠近流出道一侧的较大涡流与靠近流入道一侧的较小涡流。将图12(c)与图12(d)进行比较可以看出,在彩色区域都可以观察到充盈左心室的大型涡流与流入道一侧的小涡流,有相似的血流运动结构和相似的涡流结构。本文方法得到的流线结果与Aloka VFM 工作站得到的结果高度一致,并且选择的实验图像结果表明,本文方法得到的速度矢量图和平面流线图结果能够有效可视化主要血流区域的血流动力学模式的特征。
本文提出了一种心脏功能辅助评价的VFM 方法。本文方法完全基于彩色多普勒超声心动图像信息,结合心脏室壁运动信息和流体力学连续性方程,实现心脏流体运动信息的提取和分析计算,从而实现了左心室流体运动的可视化描述。实验结果表明,本文所提出的基于彩色多普勒超声心动图的分析通用方法,与Aloka VFM 工作站的结果呈现出一致性,摆脱了超声设备的限制,有效实现了左心室流体运动状态的可视化描述。该方法能够更加广泛地应用于临床诊断中,有较好的应用前景。但由于左心室血液流体是一个三维流动状态,而本文方法是基于二维平面假设的,忽略了垂直平面的血流运动影响,会存在一定的差异;同时,本文方法利用速度标尺提取速度信息,与原始射频数据获取速度信息的方法不同,导致了结果具有细微差异,未来可以在这些方面做进一步的研究。