耳道全自动三维重建技术研究

梁毅途 徐 立， 徐 刚

（1.天键医疗科技（广东）有限公司，广东 中山 528400；2.中山市武汉大学技术转移中心，广东 中山 528400）

目前，我国工业体系已逐渐完善，类别齐全，系统完备。与此同时，随着计算机技术快速进步，三维数字化技术也快速发展，但是在工业制造、医疗和文物保护等领域中，该技术还存在很多问题，例如在工业生产制造过程中，零部件品种繁多，结构复杂，这些复杂、不规则形体的三维重建需要耗费巨大的时间和人力，但是效率很低，因此有必要研究制定一套快速、全自动化三维建模方案。在这些场景中，复杂、不规则形体三维重建的关键技术是精细、完整地获取三维准结构数据。本文以人耳为例探讨了复杂结构的三维建模问题。人耳形态各异且耳道无法直接观察，因此，对耳朵这种不规则形体的建模来说，精准构建耳朵三维模型具有重要的理论意义和实际价值。

1 方案总体设计

1.1 总体方案

针对人耳的三维模型重建问题，本文提出软硬件结合的不规则形体全自动三维扫描重建方案。本文设计了一套硬件系统，包括空间位置传感器、计算机、机械臂、扫描仪、控制器、显示器、电源和底座，通过获取人耳三维点云数据，进行快速、全自动的耳道建模。在软件部分，通过获取各扫描路径的点云数据，进行一系列配准处理，例如噪声滤波、点云简化和点云三维重构等，重构耳朵的数据模型。在此基础上，通过耳道数据库和特征库，对采集的耳道数据进行匹配算法，找到最佳的耳道模型，完成耳廓三维重建。

1.2 硬件系统构成以及选型

本研究基于硬件系统三维扫描人耳，获得数据，快速、全自动采集三维点云数据。扫描仪获取的线轮廓二维数据经过六自由度机械臂处理后拓展成空间的三维数据。硬件系统由空间位置传感器、计算机、机械臂、扫描仪、控制器、显示器、电源和基座组成。“扫描仪+机械臂+空间位置传感器”构成数据采集的核心；“计算机”控制机械臂运动，采集并处理扫描仪的数据；“基座+固定装置”保证当处于不同机械臂姿态时，硬件系统扫描的平稳性和可靠性。硬件系统各部分如图1所示。

图1 硬件系统各部分示意图

1.2.1 六自由度机械臂

本研究使用的机械臂是国产六自由度机械臂安诺5（AR5）。机械臂由机器人本体、控制箱和示教器3个部分组成，如图2所示。调整控制机械臂姿态，一方面利用控制箱的网线与计算机建立连接，计算机发送控制指令给控制箱，控制箱执行指令来控制机械臂；另一方面可以使用示教盒编程直接控制机器人本体。

图2 六自由度机械臂

本研究选取的线激光轮廓扫描仪是深视智能线激光扫描仪SR6260。扫描仪传感头由激光发射LED单元、传感头激光发射窗口、传感头感光窗口和高柔性连接线等组成，并搭配控制器SR7001和供电直流电源采集被测物体轮廓信息。

1.2.2 空间位置传感器

当多姿态扫描人耳时，要求人耳空间位置不变，此时得到的扫描数据是真实有效的。因此，当扫描时，为保证人耳空间位置相对不变，须在硬件平台中采用1套固定装置。为判别人耳固定状态下扫描效果的优劣，采用空间位置传感器来记录人头的晃动量，判断单次人耳扫描姿态，剔除不稳定扫描结果，并修正稳定扫描结果。

1.2.3 其他硬件模块

为实现空间位置传感器、机械臂和扫描仪与计算机、供电设备和控制设备之间的相对固定配合，采用艾顿（iOptron）重型立柱三脚架作为基座，用于支撑和固定各硬件模块。在扫描过程中，当扫描真人人耳时，为了减少人体晃动造成人耳偏移的情况，降低因晃动带来的误差，使用侧立板、小平板和左右支撑板等零部件固定人体头部，这些零部件可缩进头盔，组成1套人体头部固定装置。

2 系统软件设计

本文的软件系统主要包括点云数据采集模组、空间位置传感器定位模组和点云数据处理模组3个模组。采集模组通过硬件平台和线激光轮廓扫描仪获取二维激光轮廓信息，结合机械臂参数计算得到三维耳廓数据。定位模组利用空间位置传感器实时追踪头部固定模块的靶标，通过数字图像处理进行靶标跟踪。处理模组则通过点云配准、点云提取、点云去噪、点云精简、第二道建模和三维建模来处理不同姿态下的三维点云数据[1]，系统软件流程如图3所示。

图3 系统软件流程

在扫描前需要设定扫描参数，可以选择左耳扫描、右耳扫描和双耳扫描3种扫描姿态，搭载空间位置传感器，实时记录在扫描过程中的晃动量，同时显示相机的帧率、分辨率等信息。处理模组解算二维线轮部扫描仪的三维数据并得到耳朵数据处理软件所需的二进制文件。在解算完成后，根据空间位置传感器记录的晃动信息得到各扫描姿态的扫描稳定性，如果某姿态的扫描稳定性很差（稳定性很好：σ＜0.05 mm；稳定性很差：σ＞0.10 mm），则该次扫描数据不可信，须重新扫描。

为了高效、全自动获取三维耳廓信息，需要设定扫描仪的姿态和运行速度，并采用多方向、多角度的扫描策略以完成三维数据覆盖。设扫描速度为15 mm/s，决定相邻轮廓线间距，并与二维激光线轮廓扫描仪的X轴分辨率相适应。当实际运行时，要保证扫描仪平稳且尽量缩短运动时间。选择尽可能少但是覆盖范围广的扫描方向，为获取双耳模型，左、右耳分别设计7个扫描方向。以单耳（左耳）扫描姿态为例，具体扫描方向说明见表1。

表1 扫描方向说明

在得到粗筛的耳朵模型后，下一步需要从中选择1个三维耳朵模型作为扫描的人耳耳道数据的补充，这里用的是迭代最近点算法——ICP配准的精确配准方法。

采用本方案扫描得到的耳朵点云集设为P={p1，p2，...pm}，由初筛得到的耳朵模型点云集设为Q={q1，q2，...qm}，其中m、n为点云集中点的数量。精配准须寻找1组R、T，使P中的每个点经过变换后与Q中的最近点的误差之和最小，即最小化该目标函数，如公式（1）所示。

式中：f（R，T）为点云集合经过旋转和平移之后的最小平方和；N为点云集合中点的数量；qi为数据点的旋转角；T为平移向量；R为最优旋转角；Rpi为原始点云的质心旋转角。

设最大迭代次数为kmax，单次迭代的均方误差阈值为ξ，2次迭代的均方误差之间的差值上限为ε。此时相似度最高，与耳朵建模效果最佳。

3 耳朵三维建模

在不同方向上得到耳道数据后，融合数据，就可以得到包括耳道信息的三维数据，进行数据建模。本文采用目前点云重建效果比较好的泊松曲面重建算法，流程如图4所示。

图4 泊松曲面重建算法流程

点云数据通过泊松曲面算法进行曲面重构，设内部指示函数的梯度为1，设外部指示函数的梯度为0，从而替代输入的源点云数据，完成曲面模型构建[1]。

3.1 八叉树分割点云

重建泊松曲面的第一步是对融合后的点云构建空间三维关系。节点函数F0为记录点云数据的八叉树的每个节点，如公式（2）所示。

式中：b为八叉树节点的中心；q为目标点云；w为节点宽度；F为基函数。F0满足以下2个条件。1）对F0线性求和可以准确表达向量场V。2）F0代表的泊松方程应当有解。

3.2 计算向量场

描述F0与向量场V的对应关系，设D为八叉树深度，如公式（3）所示。

式中：F（q）为八叉树分割点云节点函数。

3.3 解算泊松方程

将曲面重建转化为求解高维泊松方程，如公式（4）所示。

式中：c为八叉树节点中心；B（x）为点云在x方向的均方差（距离系数）函数；B（y）为点云在y方向的均方差（距离系数）函数；B（z）为点云在z方向的均方差（距离系数）函数；F（x，y，z）为三维节点函数。*n为n个一样的函数连续卷积操作；B（s）为均方差（距离系数）函数，x、y、z分别为该轴方向矩阵上的点云数据，如公式（5）所示。

将当前临近的8个节点以线性插值的方式分配，N（t）为当前节点p的8个临近节点，根据指示函数中表面梯度函数向量场进行模型的表面估计，如公式（6）所示。

式中：（q）为表面梯度函数向量场模型的表面；λ为节点函数的权重；t为点云数据某点的K领域；FO（q）为点云的旋转曲度；为该节点顶点的法向量。于是问题转为求解最小函数x，如公式（7）所示。

式中：为向量场V的微分算子。

利用在函数所在空间的拉普拉斯算子投影与F0组成的向量|ϑ|，向维向量v逼近，求解函数x，如公式（8）所示。

矩阵L的特点是兼具稀疏与对称性，求解该矩阵可以利用多重网格法。

3.4 求取等值面

求取等值面是整个泊松重建的最后一步，目的是重建模型表面，为了获取点云的待建曲面，先选定一个针对求取等值面的最优阈值，完成三角面片拼接，重建表面模型[2]。

扫描前，可以选择左耳扫描、右耳扫描和双耳扫描3种扫描方式，扫描仪在运动过程中计算晃动量，实时显示相机的分辨率信息。进入数据处理阶段后，会融合计算各方向的数据，得到耳朵数据处理软件需要的二进制文件。对耳朵数据进行提取、去噪和简化等预处理，得到三维模型[2]，如图5所示。

图5 耳朵三维模型

4 模型匹配与建模

模型匹配分为粗匹配和精匹配。通过计算特征点构成的特征矩阵间的汉明距离，粗匹配得到一系列粗筛的耳朵模型，但是具体应当选择哪一个作为最终扫描人耳的耳道数据补充是未定的。精匹配是在粗匹配划定的粗筛模型中进行ICP配准，得到相似度最高的10个耳朵模型，用相似度最高的耳朵模型来拟合扫描点云的耳道数据，如图6所示。

图6 模型拟合

利用本研究硬件系统和耳朵数据获取软件得到外耳廓三维点云数据。通过建立耳朵数据库以及耳模匹配，补充外耳廓点云数据，得到完整的右耳泊松重建改进参数，重建效果如图7所示。

图7 右耳泊松重建改进参数重建效果

5 结论

复杂形体能够利用全自动耳道三维重建技术进行三维建模，该技术究价值很高，应用前景广阔。本研究通过硬件系统和软件系统的配合，得到了人耳的精确三维模型。研究结果表明，该技术在精确度和自动化程度上都表现出较高水平，实用价值高。未来研究可以利用优化算法提高重建精度，扩大应用领域，为医疗、制造等领域提供更强大的技术支持。该技术在定制助听器和诊断耳朵疾病等医疗领域的应用，以及结合现有三维打印技术，为患者提供个性化治疗方案等方面也具有巨大的潜力。

本研究结合硬件系统和软件系统，构建了全自动耳道三维重建技术。研究结果表明，该技术在精确度和自动化程度上都表现出较高水平。未来研究可以从以下4个方面进行优化。1）算法优化。进一步优化现有算法，提高重建精度和速度，为人耳和其他复杂形体的三维建模提供更强大的技术支持。2）应用领域扩大。将该技术应用于更多领域，例如医疗、制造和艺术等，为相关行业提供高效的三维建模解决方案。3）个性化治疗方案。结合现有三维打印技术，为患者提供个性化治疗方案，例如定制助听器和诊断耳朵疾病等。4）疾病诊断与预防。大量分析耳道三维模型的数据有助于发现耳道形状与疾病之间的关联，为疾病诊断和预防提供新思路。