虚拟现实(VR)和增强现实(AR)技术在渔业上的应用

王钟泽 马晓飞 段金荣，

(1 南京农业大学无锡渔业学院，江苏无锡 214081；2 中国水产科学研究院淡水渔业研究中心，江苏无锡 214081)

渔业是经济的重要组成部分，不仅为人类提供鱼、虾、贝、藻等食品，同时也具有重要的休闲、娱乐功能，例如垂钓、观赏捕鱼、旅游度假等一体的生产经营形式，众多知识性教育形式的水族馆、海洋博物馆等。我国“十四五”规划中提出，渔业应该进入加快推进高质量发展、争取尽早实现现代化的关键阶段。近年来，三维(3D)建模、游戏引擎、编程等技术的发展和头戴显示器(简称“头显”)等设备成本的降低，推动了虚拟现实(virtual reality，VR)技术和增强现实(augmented reality，AR)技术的快速发展和应用。VR和AR技术在水产养殖、休闲渔业、水产新设备的开发、水产教育与培训等方面都具有较大的应用前景。

1 VR和AR技术

1.1 VR技术简介

VR技术即虚拟现实技术，是通过计算机仿真技术、传感技术、三维图像技术等构建的虚拟环境以增强用户虚拟体验的新技术[1]。虚拟现实系统可以分为非沉浸式虚拟现实系统、沉浸式虚拟现实系统、分布式虚拟现实系统和增强现实系统。非沉浸式系统技术简单只用3D建模和编程技术就可以完成制作，使用鼠标或者数据手套在显示器上进行操作。沉浸式虚拟现实系统利用头显、触觉手套等设备把用户的视觉、听觉、触觉等封闭起来，目前主要使用Unity 3D或者虚幻引擎制作相应的软件产品。其中，头显和触觉手套等设备的制作需要用到传感器技术，视觉跟踪技术，语音输入输出技术，听觉、力觉和触觉感知等技术[2]。目前VR技术已被用于很多方面，如虚拟访问水下场所[3]、研究背痛康复[4]、使用全景视频作为街景质量审查方法等[5]。我国于2016年发布的《国家创新驱动发展战略纲要》将此技术列为战略任务之一[6]。

1.2 AR技术简介

AR技术即增强现实技术，是一种实时通过相机影像的位置和角度精算，并加上图像分析技术，将真实世界信息与虚拟世界信息无缝集成的新技术，并且可以将屏幕上的虚拟场景与现实世界进行互动[7]。由于AR能增强对真实环境的输出、设备更便捷、专家可通过共享视图远程指导现场工作人员，因此在教育、远程操作、建筑、工业等领域具有明显的优势。

2 VR和AR技术在水产养殖中的应用

近年来，VR和AR技术不断进入到农业和养殖领域，如在景观设计中观察植物生长[8]、VR农场项目游览[9]、可视化农产品设计、VR养殖[10]、VR农产品广告、AR养殖等[11]。AR技术在农业上可作为信息收集器，手机AR软件或者AR眼镜可以通过相机不断地收集碎片化信息，经过分析后综合呈现出来。

2.1 AR技术在水产养殖中的应用

AR技术有助于提高水产养殖行业的生产力。如通过AR与水下机器人的结合，养殖者可以便捷地分析水产品的健康情况、池塘水质和存活率等。Laranjeira等[12]的论文阐述了混合现实在利用遥控潜水器探索深海环境方面的优势和挑战，介绍了法国海洋科学研究所开展的一项开发方案，并用技术专题和使用案例举例说明来自相机的视觉3D感知被证明能够实现AR概念。He等[13]使用增强现实可视化算法自主研发了用于水质检测的轻型水下机器人。2019年，Anders[14]探讨了水产养殖中水下无人机的增强现实技术。该论文讨论了水产养殖与增强现实相关的问题，介绍了一些行业案例，认为增强现实技术在未来的鱼类养殖中将发挥重要作用。他还测试了一种叫做ORB-SLAM的SLAM方法来实现水下增强现实应用的鲁棒(Robust Control)跟踪和定位。ORB-SLAM有一个AR演示，可在机器人操作系统中运行，AR内容的创作在Unity 3D中使用Vuforia的AR库完成，通过VSLAM对水下目标进行定位和跟踪。随着图像识别技术的日趋成熟，许多国家开始使用摄像头监控渔船的捕捞，对捕获的鱼类进行识别，从而避免非法捕捞[15]。对鱼类健康的分析也可使用相似的技术，即首先对鱼群、鱼类体表特征、水质照片进行采集，通过深度卷积网络架构建立学习模型，采用图像数据集进行训练，接着进行模型迁移以匹配识别任务，使用TensorFlow作为后端框架，当水下机器人进入水中拍摄照片或视频时可通过显示器实时看到水中场景，并分析鱼类的健康信息。

全球鱼类健康服务服务供应商STIM将欧瑞威尔AR头戴计算机和远程协作方案引入水产养殖行业，对全球孤立的渔场实现每年数次的鱼类健康检查。渔场可以与STIM的健康人员及时取得联系，上传采样测试结果，并能远程得到鱼类专家的评估。欧瑞威尔的头戴计算机采用安卓系统，以AR、AI和loT物联网技术捕捉数据，使用语音操作视线下方的微型高清显示屏，其AR远程养殖技术可解决鱼类养殖中的健康管理和远程协作问题，对我国渔业有着很好的借鉴意义。Rahman等[16]设计了一个针对虾类养殖管理的传感、机器学习和增强现实的集成框架，并开发了一个可视化交互页面，可使用Microsoft HoloLens 2 AR头戴显示器访问水质数据，对水中溶解氧、pH和温度实现最佳预测。Xi等[17]的论文中以水产养殖为例，展示了3个增强现实在农业管理的案例。鱼类的喂食需要考虑水质和池塘生物等复杂决策，使用AR技术可优化饲料管理；AR技术可以帮助农场主有效地分析农场信息，调整换水计划，使池塘溶解氧保持在合适的范围；使用增强现实协作技术可以与专家分享鱼塘视图信息，在工作时得到精确的指导。AR技术在水产养殖上的应用可提高综合生产力和管理效率，做到规模化养殖。

2.2 VR技术在水产养殖中的应用

VR技术在水产养殖中可用于渔场的三维可视化管理、渔业设备的可视化设计。三维可视化平台具有方便管理信息内容、运行便捷、功能丰富等优点，还可以对人员和设备实现智能监控及一些其他功能。通过AI智能监控的分析功能，可及时发现池塘中鱼类的不良状态或者对闯入的人员进行警告处理等。其主要使用Three.js或者Cesium.js框架加载三维模型并制作一些特效，通过Echart或Chart.js及其他可视化平台设计图表。

借助三维建模技术设计渔业设备，可以将模具和组装过程输入计算机进行处理，在组装过程中出现的差错可及时通过计算机进行修改，还可以在虚拟环境中对产品进行检测，观察各部分性能是否正常。通过虚拟现实技术可以将产品更好地表达出来，确保产品的可靠性，降低制造成本，缩短产品生产时间[18]。

虚拟现实技术还可用于饲料和鱼药销售统计网站的建立和作为水产养殖培训的工具。在网页中可运用VRML技术来展示三维产品及服务，给消费者以自由操作空间来全方位多角度地了解产品功能[19]。挪威科技大学的Kawan等[20]建立了鱼类3D模型，在Unity3D游戏引擎中制作3D虚拟世界来模拟鱼类的生态系统、种群动态等行为，并设置一些参数研究鱼类行为随时间的变化。该项目的研究主要是为了教育和培训，在虚拟世界中用户可以通过设置一些参数，直观地看到模拟的效果，这样经过短时间的培训就可以获得专业技能，帮助他们从事渔业工作。

3 VR和AR在休闲渔业中的应用

休闲渔业是利用渔业设备、渔村空间、渔具、渔业产品、渔业生产场地、渔业自然资源和人文资源等，经过合理规划发挥渔业的休闲旅游功能[21]。休闲渔业为渔业经济转型提供了基础，拓宽了渔业发展的道路。休闲渔业主要包括以钓鱼和捕鱼为标志的经营形式，以海洋、江河、湖泊等自然环境开发的渔业景点，以科普教育形态的海洋博物馆、水族馆等几类方向，其中许多方面都可以运用到VR和AR技术。

3.1 VR在垂钓和捕鱼中的应用

在垂钓和捕鱼中使用VR技术可以极大地增加人们的乐趣，克服感知的局限性，改善探索未知自然界的能力。在2017年美国消费电子展览会(CES)上，臻迪科技有限公司发布了首款具有寻鱼和诱鱼两大功能的水下小海鳐钓鱼机器人，给用户带来了沉浸式和可视化钓鱼新体验。VR钓鱼机器人将VR技术与无人机技术结合起来，面向垂钓、捕鱼、水下拍摄、沉浸式游览等场景[22]。水下VR垂钓机器人搭载声呐技术可以探测鱼群位置、水下地貌等信息，内置诱鱼灯及LED灯光配置钓鱼线，可以自动将鱼钩送到鱼群最多的位置。通过VR相机和手机APP，操纵者可以实时查看水下场景及鱼类上钩的瞬间，增加钓鱼乐趣，还可以开阔钓鱼者水下世界的视野。钓鱼机器人搭载的声呐探测可四处移动寻找鱼群踪迹，把探测器移动到水中更好地识别鱼类所在位置的地貌和坐标。VR相机可以直接查看鱼群大小和种类，通过VR钓鱼机器人可实现在大中型水库中更加高效地进行鱼类捕捞和减少渔船的油耗。

3.2 VR在渔业景点交互式漫游系统研发的应用

虚拟漫游系统已经成为景点对外宣传最直观的表现形式，可为景点树立良好的形象，还可以让来访者便捷地浏览景点的风光和相关介绍。由于全景交互式漫游不需要进行三维建模，只需要全景图或者全景视频就可以制作，因此广泛应用在楼盘展示、景区宣传、校园漫游等领域中[23]。我国具有众多的渔业自然资源，这些地区可制作全景虚拟漫游系统来提高自己的知名度。Pano2VR是一款专业的全景图转化软件，可以轻易把全景图转化为超文本5.0(HTML5)格式，实现720度查看场景内容，并可以增加视频、音频、文字等交互性信息，全景图可以轻易通过市面各种全景相机拍摄获取，目前1台全景相机的价格也仅仅几百元。使用Pano2VR可快速简单低成本地针对渔业场所开发出相应的虚拟漫游场景介绍，也可以将全景图放在720云VR平台上进行编辑和在线访问，Mozilla开发的A-Frame WebVR框架也可对全景图或全景视频实现720度的查看内容。沉浸式的VR漫游系统可以使用Blender建模软件和Unity3D软件开发并配合沉浸式VR头盔进行使用。福建省海洋与渔业局共同研发了综合“海、陆、空”海洋观测设备的VR体验平台、海洋印象馆VR和全息浴缸互动体验系统。该项目在第二届数字中国建设峰会展览中吸引了众多的观众排队体验，受到了好评。Jung[24]使用Blender建模和Three.js技术构建了Web端的VR/AR应用程序，向游客介绍韩国济州岛的文化遗产，提供了一种直观的方式来体验岛上的文化遗址。

3.3 VR和AR在水族馆和海洋馆中的应用

水族馆和海洋馆不仅是展示水生动植物的场所，更具有科普教育功能，但其造价比较昂贵，受限条件比较多，在城市中普及率不高。使用虚拟现实技术构建水族馆可以克服时间和空间的限制。刘箴[25]使用VRML和3DS max实现某虚拟水族馆的场景。虚拟水族馆为观察鱼类提供了新的技术手段，在一定程度上也可以增加场景与人之间的互动。在虚拟水族馆和海洋馆中不仅可以模拟真实环境中的鱼类生活场景，还可以保护珍贵生物，避免了因地理位置等因素对生物生存的不良影响。马来西亚大学的伊斯梅尔在移动设备上创建了1个VR水族馆，可以帮助人们学习和了解鱼类[26]。恒润集团西湾海洋VR馆将创意与虚拟体验相融合，设计了“720VR海啸体验”“潜水艇VR海底探险”和“飞跃西湾”3个项目，可使用户真实地体验海洋世界。笔者团队使用Blender软件构建鱼类模型，并制作鱼类游动的动画效果，把模型导入Unity3D中并加载谷歌的Cardboard VR插件，最后打包成apk软件，用户可使用Cardboard VR眼镜在手机端看到鱼类游动的逼真场景(见图1)。

图1 使用VR眼镜在手机端看到的鱼类游动场景

水族馆和海洋馆经营者也可以使用AR技术来增强游客的体验，吸引游客的兴趣。如新加坡的艺术科学博物馆配备了带有云台的手机作为虚拟世界的窗口，乘客可以在特定地点看到一些濒危动物，实现了与真实世界的互动。2020年开幕的Xpark水族馆策划了一系列以企鹅为主题的AR体验，用户通过下载手机APP扫描馆内的隐藏版符号，可欣赏到AR动画，游客还可与企鹅、白鲸等拍照留念。丹戎巴劳渔民博物馆中的一个画廊用增强现实技术来增加与游客的互动[27]。此类AR产品通常使用Unity3D中的Vuforia Engibe AR插件开发。

4 VR和AR技术在水产教学中应用

使用AR和VR技术组织教学，可以把知识以三维形式表现出来，有利于学生对知识的理解，加强学生记忆，增加学习兴趣[28]。Putri[29]以40名学生为样本，进行了光与光学主题的探究式虚拟实验活动，实验数据表明，虚拟实验室活动可提高学生的科学素养。水产是一个应用性较强的学科，水产类课程应以提高学生解决问题的能力、培养实用型人才为导向[30]。把VR和AR技术应用在水产课堂教学、构建仿真实验室、水产养殖和实习平台可以有效地提高学生的动手能力。挪威科技大学使用虚拟现实AR设计水产养殖模拟器，结合头显设备，为学生讲解水产养殖中的技术，包括鱼类疾病预防和逃逸预防等[31]。挪威科技大学还开发了一款虚拟渔场应用软件，该应用可以使学生通过计算机或者VR设备参观渔场，用来增加学生对水产养殖的兴趣。挪威弗雷亚当地的养殖场与NTNU、SINTEF和Sar-Trandelag县合作,联合开发了一个虚拟现实水产养殖模拟器[32]，用于向公众传播鲑鱼养殖知识，还可为学生和员工提供培训机会。VR技术可以在水产养殖教学课堂为学生提供逼真、生动的环境。在《鱼类学》课堂上为学生讲解鱼类时，查看通过计算机建立的虚拟鱼类模型，可以根据需要任意放大、旋转、平移鱼类虚拟模型。图2是笔者团队上线的一个3D鱼类虚拟标本产品，可在任何能访问网络的设备查看。该产品使用Three.js技术加载了Blender软件导出的鱼类glb模型，可实现秒级加载数据，访问地址为https://ringstar.top。

图2 3D鱼类虚拟标本展示

自2013年起，教育相关部门通过建立国家级虚拟实验教学中心和设立国家级虚拟仿真实验室等项目积极引导高效开展相关工作[33]。虚拟仿真教学使学生在虚拟环境中进行高效的学习，可以实现良好效果，是对传统实验教学的革新[34]。中国海洋大学依托专门的团队搭建了虚拟仿真实验平台，实现了实验、实习、实训等教学任务，取得了较为明显的教学效果。水产实习受养殖周期、季节等条件限制，学生在实习时往往只能参与部分生产活动，实习效果得不到保障。利用虚拟现实技术开发的虚拟水产实习项目，可以模拟工厂化水产养殖，解决实习受养殖周期、季节、地域等条件的限制，学生可以在项目中反复练习，强化水产实践技能。如广州世峰数字科技企业开发了针对水产养殖生产实习的VR仿真项目。虚拟仿真实验室还可以解决传统实验教学的高成本、高消耗等问题。目前大连海洋大学水产学院已建立了3D水产养殖虚拟仿真实验室，开发出接近真实的实验环境，学生在实验中的每个步骤都会生成实验报告[35]。3D水产虚拟实验室可以降低教师的负担，改变传统的实验模式，使实验更加规范合理。使用VR和AR技术为学生建立良好的学习环境，不仅可以调动学生的积极性，给学生留下深刻印象，还可以提升教学质量，降低教学成本，弥补教学中条件的不足，对学生技能的提升起到积极的作用[36]。

5 展望

如今VR和AR所需的技术已经日渐成熟，各种应用正在快速增长。VR和AR技术在渔业上的应用有利于推动水产行业人才的快速发展、鱼类产量的提高以及渔业的可持续发展，其巨大的潜力也将推动水产养殖和水产捕捞的巨大变革。然而，VR和AR的在渔业上应用也存在一些困难，例如需要配置高质量的头显设备，资金投入量大，维护费用较高等[37]。此外，虚拟现实核心技术的触觉反馈系统与真实感觉仍有很多差距，增强现实设备的研发仍面临很多问题[38]。虽然VR和AR在渔业上的很多应用仍处于初级阶段，但是，随着技术的发展，VR和AR技术必将在不久的将来对渔业产生更多更深远的影响。