面向扩展现实的通信感知计算一体化视频传输及QoE评价*

王文博，侯跃峰，田峰，杨震

（南京邮电大学宽带无线通信与传感网技术教育部重点实验室，江苏 南京 210003）

0 引言

未来信息网络的新应用和新场景带来的新需求以及当前5G 网络面临的问题和挑战，驱动着6G 网络的发展。6G 网络的技术要素加速创新融合，信息技术、通信技术和大数据技术之间的深度耦合和关联，以及数字化、网络化、智能化不断催生新的技术方向和发展空间，带来感知、存储、计算、传输等环节的多维功能扩展和群体性突破。同时，6G 网络的业务要素从人向智能体、物理空间和虚拟空间要素扩展，信息处理功能需求从信息传递向信息采集、信息计算扩展，深入融合业务不断增强，沉浸式扩展现实等新业务不断涌现，正广泛渗透到个人应用以及智能制造、智能交通、智慧能源、智慧医疗等垂直应用领域。沉浸式业务考虑XR（Extended Reality，扩展现实）技术及全息通信技术等实现通信感知计算新体验与远程智能控制，其信息处理需求重点是感知、传输、渲染、计算与显示。因此，沉浸式扩展现实业务对6G 网络提出了端到端信息处理能力的更高诉求，使得通信感知计算（通感算）一体化成为6G 技术与业务的主导趋势之一。

1 通感算一体化和扩展现实技术及其融合应用

1.1 通感算一体化技术

ICSC（Integrated Communication,Sensing and Computation，通信感知计算一体化）是指通过无线空口协议等联合设计、空时频资源复用、软硬件共享等方法，实现通信、感知和计算功能的一体化融合设计，使无线网络实现高精度、精细化感知和大带宽、低时延、高质量通信交互的同时，实现智能化云边端协同计算，从而实现网络整体性、业务能力和QoE（Quality of Experience，用户体验质量)的提升[1-3]。感知是端到端信息处理的必要前提，通常是指通过分析无线电波的直射、反射、散射信号，获得对目标对象或环境信息（如属性和状态等）的无线信号感知，完成定位、测距、测速、成像、检测、识别和环境重构等功能，实现对物理世界的感知探索；通信是端到端信息传输的基本功能，通常是指通过一定的方式和媒介传递信息的行为；计算是端到端信息处理的关键技术，通常是指通过特定或通用的软硬件对特定任务的计算行为。

通感算一体化的核心设计理念是使得无线通信、泛在感知和智能计算三个独立的功能在同一系统中实现且互惠互利。如图1 所示[3]，通感算一体化网络是指同时具备物理-数字空间感知、泛在智能通信与计算能力的网络。该网络内的各网元设备通过通信感知计算软硬件资源的协同与共享，实现多维感知、协作通信、智能计算功能的深度融合和互惠增强，从而使网络具备新型闭环信息流智能交互与处理及广域智能协作的能力，不仅可以实现高精度定位、高分辨率成像、虚拟环境重构和辅助通信调度，而且能够为6G 的智慧城市、智慧交通、智能家居等典型应用场景提供支持，极大地提升网络服务质量和用户体验质量[1-3]。

图1 通感算一体化网络架构图

1.2 扩展现实技术

扩展现实是指通过智能人机界面（计算机技术和可穿戴设备构成的可感知部分）提供真实与虚拟相结合、人类与机器相交互的空间和环境，是一系列沉浸式和交互式技术的统称[4]。如图2 所示，扩展现实XR 包括VR（Virtual Reality，虚拟现实）、AR（Augmented Reality，增强现实）和MR（Mixed Reality，混合现实）等可能的新型沉浸式技术。VR 具体是指通过计算机模拟三维空间，实现感官模拟立体空间的沉浸感和临场感，将人置身于虚拟的仿真世界。AR 具体是指在真实空间中植入虚拟的内容和信息，如物体、图片、视频、声音等，把虚拟对象映射到人的现实三维立体空间世界中。MR 可以看作是VR/AR 的结合体，具体是指合并现实和虚拟世界后产生的新可视化环境。

图2 XR、VR、AR和MR关系示意图

如图3 所示，扩展现实技术框架主要由终端、网络、平台、应用四个部分组成，当前主要以终端运行为主。扩展现实关键技术的实现，主要通过三维高清显示技术实现沉浸式的视觉体验，通过精准追踪定位技术实现拟人式的操作体验，通过精准识别技术搭建现实与虚拟之间无缝衔接的桥梁[4]。XR 可广泛应用于工业制造和智能电网、广告及零售、电影和电视、教育和医疗等社会生产、文体娱乐和健康教育众多领域，使人们不受物理时空限制，打通虚拟场景与真实场景的界限，为用户带来沉浸式的极致业务体验。

图3 基于6G的扩展现实示意图

1.3 通感算一体化技术支撑扩展现实业务实现

因此，通感算一体化技术的高精度精细化感知、大带宽低时延高质量通信和智能化云边端协同计算等功能，完全可以支撑沉浸式扩展现实及全息通信实现所需的三维高清显示、精准追踪定位和精准识别技术，有能力提供扩展现实和全息通信等深度沉浸式交互场景，从而搭建人机物智慧互联、智能体高效互通的桥梁，实现虚拟与现实之间的无缝衔接，助力人类社会走向虚拟与现实深度融合的全新时代。由于本文侧重于考虑扩展现实中最重要的可视部分及其海量数据、高码率、低时延的信息处理需求，因此下一节重点探讨基于通感算一体化的扩展现实视频传输的关键技术及实现方案。

2 基于通感算一体化的扩展现实视频传输关键技术

2.1 通感算一体化波形设计

一体化波形设计是实现通感算一体化技术的基础和核心。新型通感算一体化波形目前还处在研究初期，为同时保证通信传输和感知探测的有效性和可靠性，当前研究主要从通信和感知的互信息最大化进行设计，其中使用通信和感知信号的互信息加权的波形生成方法是目前较为前沿的技术[5]。如下分别考虑基于OFDM（Orthogonal Frequency Division Multiplexing，正交频分复用）的波形设计、基于MIMO（Multiple-Input Multiple-Output，多输入多输出）的波形设计和基于MIMO-OFDM 的波形设计方案。

（1）基于OFDM 的一体化波形设计：主要考虑利用模糊函数将待发送的通信信号与感知探测信号进行组合，使得发射波形具有恒包络特性，在目的接收机进行解调解码获取通信信息的同时，源发射机将待测目标反射的回波信号接收进行处理实现目标探测感知。

（2）基于MIMO 的一体化波形设计：主要考虑利用MIMO 阵列波形分集和波束形成，实现正交发射和相关发射等方式。对于在正交波形设计的基础上调制插入通信信息符号的一体化实现方式，既可以采用常用的雷达探测钢制信号，譬如线性调频信号和相位编码信号作为一体化共享信号，也可以采用常用的通信信号作为一体化共享信号，在正交波形设计的基础上进一步在时域或者频域上插入通信信息。进一步地，为克服毫米波信号较高的路径损耗，可利用具有高自由度的mMIMO（Massive MIMO，大规模多天线）来进行波束成形实现毫米波频段的通感算一体化波形设计。

（3）基于MIMO-OFDM 的一体化波形设计：结合了MIMO 和OFDM 二者的优点，MIMO 阵列发送不同编码的OFDM 波形以获取更优的自相关函数性能，可实现具有大时宽带宽积、低互相关旁瓣与低峰均比的一体化信号。其中，一体化系统参数的选取影响着系统整体的性能，因此，基于MIMOOFDM 一体化波形的参数要同时满足通信和感知性能要求。

2.2 联合信源信道编码设计

传统信源与信道分离设计、独立编码的方式，难以解决沉浸式和交互式的扩展现实超高清视频的海量数据传输所带来的高时延等问题，而信源信道联合编码技术是解决上述问题的有效途径[6]。信源编码可考虑优化灵活的视频编码如SVC（Scalable Video Coding，可伸缩视频编码），可根据网络感知的信道状态信息等，动态优化地调整可伸缩视频比特流中增强层的层数而保持基本层不变；信道编码可考虑编码效率高的信道编码如LDPC（Low Density Parity-check Code，低密度奇偶校验码），其作为公认性能最优异的码字可逼近香农容量极限；而二者的联合信源信道编码，实现可用的比特数在信源视频数据和信道保护数据之间进行合理的分配，找到最适合的高码率最小化系统失真，优化扩展现实视频传输的质量，提高视频传输的性能。

2.3 干扰管理和智能调度

无线通信由于传输信号非正交，往往导致了不可避免的用户间干扰。同时尽管传统的频分多址、时分多址、空分多址、码分多址等接入方式可实现用户从频率、时间、空间、码字上正交，但由于正交化设计存在固有的非理想特性，传输干扰始终存在而不可避免。干扰管理的目的是消除干扰并完成接收信号解码。干扰管理旨在抑制或消除干扰，传统的干扰管理技术主要有：干扰噪声化、干扰解码和干扰正交化。这三种传统干扰管理技术难以扩展至多用户干扰网络，或在多用户干扰网络中难以达到最优系统容量[7]。因此，需要考虑研究如MIMO 及mMIMO、IA（Interference Alignment，干扰对齐）、IN（Interference Neutralization，干扰中和）和SIC（Successive Interference Cancellation，串行干扰取消）等先进的干扰管理手段，与视频流空时频智能调度相结合，在减少用户间干扰的同时，实现无线资源的合理分配，扩展通感算一体化可达速率区域的新边界，提升扩展现实视频传输性能。

2.4 边缘计算赋能的多径路由选择

针对扩展现实视频流传输，用户需要更高的网络带宽以及更低的端到端传输时延。MEC（Mobile Edge Computing，移动边缘计算）的核心是将计算和存储能力置于网络的边缘，不仅考虑接近用户提供实时服务从而满足严格的低延迟需求，同时考虑业务负载均衡和服务时间及质量的任务卸载技术。而MPT（Multipath Transmission，多路径传输技术）旨在同时利用终端上多种接入能力进行数据的并发传输，从而提高总的传输带宽和数据传输对信道和网络动态变化的适应能力[8]。考虑利用通感算一体化中的网络感知和边缘计算赋能任务卸载和多径路由选择，在实现负载均衡的同时提升传输传输容量和可靠性，优化用户终端的视频传输质量，且保证网络资源利用率和公平性。

3 基于通感算一体化的扩展现实QoE评价

3.1 扩展现实QoE评价方法

根据国际电信联盟的建议，QoE 定义为终端视频用户在主观上对当前视频应用或服务的总体可接受程度[9]，同时它也是视频用户对在线实时视频服务的主观感知评价的测度方式。随着网络信息技术和视频终端设备的发展，QoE 的评价预测不仅成为学术界研究的热点，而且也成为视频提供商的重要参考指标之一。因此，如何从扩展现实终端用户的角度出发，建立一个合理完善的QoE评价模型，成为了一项具有挑战性的任务。

QoE 作为衡量视频通信服务能力的根本，其客观度量手段在于视频感知质量的评价。因此，研究视频感知质量评价方法是需要解决的核心问题。当前评价QoE 主要有两种方式：客观评价和主观评价。影响视频感知质量的客观因素种类各异且数量繁多，例如视频质量和码率、启动延迟、卡顿次数和时间、码率波动、缓冲时延、缓冲次数和视频内容等可测参数，这些因素反映了视频的清晰度、流畅度和关注度。同时，QoE 评价最好是用户直接反馈体验，即QoE 的主观评价方法，但这种主观体验会因人而异且实用性一般。为了评价视频传输体验的主观QoE，一方面可以选择用户观看视频并进行打分，得到主观的QoE 分数；另一方面，也可以考虑通过机器学习或经验法建立模型来估计评价主观QoE。基于学习法的QoE 主观评价方法是根据客观QoE 指标和主观MOS（Mean Opinion Score，平均主观意见分）数据，通过机器学习或深度学习建立映射模型，如图4 所示。基于经验法的QoE 主观评价方法是根据经验确定不同QoE 客观指标的影响权重，设计主观QoE 模型。

图4 基于深度学习的视频传输QoE评价

3.2 基于通感算一体化的扩展现实QoE设计

传统视频QoE 模型大多是侧重于利用不同的QoS 参数完成对QoE 的映射。而在扩展现实业务中，用户在观看360°全息视频时，对于不同类型的视频，通常会有不同的观看体验行为，如观看自然风景纪录片时，用户常转移自己的视角从而获得更好的沉浸感；而在观看人物对话为主的视频时，用户视角通常聚焦于对话场景。因此本文考虑上述观看行为作为经验依据，确定不同QoE 客观指标的影响权重，设计一种面向扩展现实的QoE 模型。

首先，由于视频分辨率对QoE 的影响遵循对数规律[10]，考虑基于视频分辨率的QoE 模型如下：

其中，ri,j表示当前视频块的分辨率，ωi,j∈{0,1}表示视频块是否落在当前用户的视角中，如果第ith个视频块中的ith被用户的视角覆盖，wi,j=1，否则wi,j=0。

其次，用户QoE 的另一个度量指标是质量变化率，可通过当前分辨率和前一时刻分辨率的差值得到。通过质量变化率取绝对值保持其值恒为正值[11]，因此考虑基于平均质量变化率的QoE 模型如下。

其中，ω i,jωi−1,j表示只有当图像块落在视场中时，用户才会感知到图像块的质量变化。

再次，为了近似地估计用户对失速的影响，可参考文献[12]中的失速率参数，因此可得失速杠杆的简化QoE 模型如下：

其中，SR为失速率。

最后，根据整体画面质量、视角内画面质量和失速率三个指标进行综合考虑，通过不同的影响权重进行加权组合，设计得到基于视频类型区分的QoE 评价模型如下：

其中，α，β，γ是分别代表这三个不同度量的重要性的权重因子。

针对不同类型的视频设定不同的阈值参数θ，同时将每一帧画面中需要接收的数据包的重要性参数值相加[13]，二者进行比较。当接收数据包的重要性之和大于等于阈值θ时，判断使用者的视角可能移动，因此适当降低失速率的权重，优先保持整体画面的质量。假如用户观看自然风景纪录片时，极有可能“环顾四周”，此时适当降低失速率的权值，提高画面质量的权值，虽然会有延迟中断的影响，但是整体画面的提升能给用户带来更好的沉浸式体验。当接收数据包的重要性之和小于阈值θ时，判断使用者的视角可能不会移动，适当降低画面质量的权重，保证视频能够持续播放。假如用户在观看话剧表演时，可以给予失速率较大的权值，降低整体画面质量的权值，在满足视角内画面质量的情况下，优先保证视频不会中断播放，保证用户的使用体验。综上所述，可根据视频的不同类型，动态调整各项指标参数的权重，最终达到优化QoE 模型的目的。

4 结束语

本文首先介绍了通信感知计算一体化技术和扩展现实技术以及通信感知计算一体化支撑的扩展现实技术业务，随后探讨了基于通信感知计算一体化的扩展现实视频传输实现的关键技术，最后分析并提出了一种新的扩展现实用户体验质量模型。