计算机Kinect 辅助烹饪训练系统设计基本思路研究

袁咏平，袁 航

（1.黄冈职业技术学院 商学院，湖北 黄冈 438002；2.湖北民族大学 智能科学与工程学院，湖北 恩施 445015）

计算机Kinect 辅助烹饪训练系统是在Kinect所研发的相关系统的基础上，结合人工智能和计算机视觉技术，提供用户交互界面、实时反馈和针对性的烹饪建议，以帮助用户提高烹饪技能。该系统能利用采集数据、数据预处理、动作识别、烹饪建议、实时反馈、用户交互界面等方法，捕捉用户在烹饪过程中的动作和姿态，将用户的烹饪动作进行分类和识别，分析用户烹饪操作中存在的问题，向用户展示实时的烹饪过程和姿态数据，及时纠正用户的做法，根据用户烹饪动作分类和识别结果，提供针对性的烹饪建议和调整方案，达到帮助用户改进烹饪技能的目的。

1 Kinect 辅助烹饪训练系统与其他系统功能比较研究

1.1 Kinect 识别手语

Kinect 识别手语是由用户、计算机、Kinect 传感器、屏幕及Kinect 手语识别程序所组成。识别手语功能是当用户站在Kinect 传感器前，通过Kinect传感器的追踪与计算的Kinect 手语识别程序辨别用户的手部动作，再对应成手语达成识别手语的功能。系统的运作方式是以使用者以手势输入，让Kinect传感器接收到此信息，并传送给计算机内的Kinect手语识别程序分析手语信息，最后该程序将响应分析结果并传送至屏幕。但此“Kinect 识别手语”仅会使用一种手语识别程序，而Kinect 辅助烹饪系统的设计，除了要通过虚拟对象仿真的方式达成训练的功能需要识别多种不同手语外，又同时具有得分计算与错误步骤回顾的功能。

1.2 Kinect 化妆魔镜系统

化妆魔镜功能是通过触控笔轻触屏幕，消费者可以在50 种眼影，50 种唇彩以及12 种粉扑选择，该系统能实时捕捉面部特征进行虚拟试妆，一定程度上可帮助用户学习化妆技巧、提升化妆水平，但化妆魔镜未提供化妆师训练的功能。

1.3 Kinect 银行账户管理系统

Kinect 银行账户管理系统是由显示器、Kinect、计算机主机组成、账户服务程式组成。银行账户管理功能是以手势管理系统让用户通过Kinect 传感器确认身分，授权的用户通过手势控制账户服务程序管理银行账户，而系统运作方式是通过Kinect 传感器接收用户影像信息和声音来进行身份验证，确保有授权用户可以访问他们的账户。其存在的主要问题有技术限制、使用门槛和数据隐私等，特别是对于一些年长或技术不熟悉的用户来说，使用手势和语音交互可能存在一定的学习和适应难度。

1.4 Kinect 试衣魔镜系统

Kinect 试衣魔镜系统是由显示器、Kinect 传感器、计算机主机、试衣程序组合而成。试衣魔镜功能具有试衣功能，并通过Kinect 传感器与显示器等组件建立一个高科技镜子，使用者通过显示器挑选同时观察不同服饰试的效果直到满意为止。而仿真试衣功能可降低新衣弄脏的机会，也可减少衣服运送支出成本，让衣服更新速度快速。但该系统对每一衣物商品均须制作对应的图像，后续维护成本偏高。

上述各种不同的系统功能整理如下表1 所示，由比较表得知许多功都以达到服务使用者需求而建置，而不是为了训练的目的所建立。而Kinect 辅助烹饪系统，除了通过虚拟对象仿真的方式达成训练的功能，又同时具有得分计算与错误步骤回顾的功能，这样的规划设计是目前其他Kinect 系统少见的设计。

表1 辅助烹饪训练系统设计功能与其他Kinect 系统运用功能比较

2 Kinect 辅助烹饪训练系统设计思路

与传统烹饪训练系统相比，Kinect 辅助烹饪训练系统需要改善的问题包括:一是训练问题；二是得分点计算问题；三是错误步骤回顾问题。解决各种问题的软件流程设计思路如下。

2.1 训练问题设计思路

传统的烹饪训练通常无法以系统化的方式进行，容易因训练方向不同导致学习成绩打折。为克服此问题，本系统对“训练功能”进行了如下图1 所示设计规划，通过设计清洗、解冻、切割、烹调、盘饰等五个子流程达成。其中清洗子流程用于烹饪训练中需清洗的食材、解冻子流程用于烹饪训练中需解冻的食材、切割子流程用于烹饪训练中需切割的食材、烹调子流程用于烹饪训练中需烹调的食材、盘饰子流程用于烹饪训练中需盘饰的食材。

图1 训练功能设计模块

2.2 得分点计算问题设计思路

传统的Kinect 系统少有训练功能并且缺少得分计算功能，当受训者在进行Kinect 烹饪训练时无得分点的功能，无法得知训练成效。为克服此问题，本系统设计规划了得分点计算子流程，其设计思路是通过一个得分点统计子流程达成。该得分点统计子流程用于记录 Kinect 烹饪训练过程的错误(正确)步骤。

2.3 错误步骤回顾问题设计思路

传统的Kinect 系统缺少训练功能也缺少错误步骤回顾功能，因此受训者进行Kinect 烹饪训练，便可能发生受训者无法得知错误的步骤问题，也无法提醒自己下次训练或测验必须注意的步骤。为克服此问题，设计规划错误步骤回顾功能子流程，如图2 所示。该功能可通过一个记录错误步骤子流程达成，用于记录受训者进行Kinect 烹饪训练错误步骤，并可于训练结束后列出所有发生错误的步骤。

图2 错误步骤记录流程图

3 Kinect 辅助烹饪训练系统运作流程设计思路

Kinect 辅助烹饪训练功能运作流程设计思路如图3 所示，当进入训练系统并开始进行烹饪训练，用户依序或按顺序执行五个子流程：清洗子流程、解冻子流程、切割子流程、烹饪子流程及盘饰子流程。本系统允许受训者持续挑选不同子流程进行训练，或进入任一子流程后就离开训练功能。

3.1 清洗子流程运作流程设计思路

该子流程设计思路是：先初始化清洗得分点，显示待清洗食材列，并进行挑选要清洗的食材，当挑选食材1，则记对检查点变数Caf1 得分；当挑选食材2，则记对Caf2；当挑选食材3，则记对Caf3。当挑选完毕，点选择“是”按钮，即清洗子流程结束；反之，点选择“否”按钮，则回到挑选要清洗的食材。本子流程可重复进行挑选要清洗的食材步骤，直到挑选完毕。

3.2 解冻子流程运作流程设计思路

该子流程设计思路是：先初始化解冻得分点，显示待解冻食材列，并进行挑选要解冻的食材，当挑选食材1，则记对检查点变数Cbf1 得分；当挑选食材2，则记对Cbf2；当挑选食材3，则记对Cbf3。当挑选完毕，点选“是”按钮则解冻子流程结束。反之，点选“否”按钮，即回到挑选要清解冻的食材。本子流程可重复进行挑选要解冻的食材步骤，直到解冻完毕。若不需解冻无需选择食材。

3.3 切割子流程运作流程设计思路

该子流程设计思路是：先初始化切割得分点，显示刀具列，提示待切割食材，并挑选刀具列，当挑选刀具1，则记对检查点变数为Cck1；当挑选刀具2，则记对检查点变数为Cck2。当刀具是否挑选完毕，点选“是”即切割子流程结束；反之，点选“否”即回到挑选刀具列。本子流程可重复进行切割食材的步骤，直到切割完毕。

3.4 烹饪子流程运作流程设计思路

该子流程设计思路是：先初始化清洗烹调得分点与时间，显示调味料列、厨具列及火候控制列，并进行挑选调味料。当挑选调味料1，则记对检查点变数Cds1 得分；当挑选调味料2，则记对Cds2；当挑选调味料3，则记对Cds3；当挑调味料4，则记对Cds4；当挑选调味料5，则记对Cds5。当挑选完毕，点选“是”按钮，即挑选调味料结束。反之，点选“否”按钮则返回到挑选调味料。点选“是”即进行选定火候，当挑选火候1，则记对检查点变数Cdh1 得分；当挑选火候2，则记对Cdh2；当挑选火候3，则记对Cdh3。当挑选完毕，点选“是”按钮即火候选定结束。反之，点选“否”按钮则回到选定火候。点选“是”按钮即记录火候计时tf=tf+1，并选取锅铲，点选“是”按钮即记对 Cdk3=0，并计算烹饪时间，烹调子流程结束。反之，点选“否”按钮则返回到选定火候。本子流程可重复进行挑选调味料及火候选定的步骤，直到挑选完毕。

3.5 盘饰子流程运作流程设计思路

该子流程设计思路是：先初始化盘饰得分点，显示完成烹煮食材列，并进行挑选摆盘食材列，当挑选食材1，则记对检查点变数Cef1 得分；当挑选食材2，则记对Cef2；当挑选食材3，则记对Cef3。当挑选完毕，点选“是”按钮即挑选完毕，盘饰子流程结束。反之，点选“否”按钮则返回到挑选摆盘食材。本子流程可重复进行挑选摆盘食材列，直到挑选完毕。

再运行得分点运作流程，先判断步骤是否正确，正确记对变数为 1，反之错误记对变数为0，并计算出分数。本系统执行虚拟对象训练系统流程完成去判断得分分数。因此通过本系统依据得分点判别学习的成效。

3.6 错误步骤计算流程设计思路

错误步骤计算流程设计思路是：此流程先判断步骤是否正确，若是，记对变数为 1；反之，记对变数为0，并列出记对变数为0 之所有步骤。本系统判断虚拟烹饪训练完成变数是否正确并依据错误步骤判别学习的成效。记对变数的标示方式：C 表变数值，a 表模式值，例如:清洗模式Ca,解冻模式Cb,切割模式Cc,烹饪模式Cd,盘饰模式 Ce。

4 Kinect 辅助烹饪训练系统实验结果

分别为本系统所设计的三个功能进行实验，以评估Kinect 辅助烹饪训练系统设计规划的有效性。待验证的三个功能分别为训练功能、得分点计算功能及错误步骤回顾功能，验证的结果如下。

4.1 训练功能的验证

首先进行训练功能的验证。先选择训练菜色，进入训练系统先选择菜色；选择完菜色再点选“主画面”按钮，进入主画面，选择“洗涤”按钮，进入洗涤模式；进入洗涤模式选择“待清洗食材”按钮，全部清洗完点选“送出”按钮，进入解冻模式，进入解冻模式选择“待解冻食材”按钮，全部解冻完点选“送出”按钮，进入切割模式。进入切割模式选择“待切割食材”按钮，全部切割完点选“送出”按钮，进入烹调模式，进入烹调模式先选择“火侯”，再选择“待烹调食材”按钮、“调味料”按钮，全部选择完点选“送出”按钮，进入盘饰模式，进入盘饰模式选择“待盘饰食材”按钮，全部盘饰完点选“送出”按钮，即完成烹饪训练。该训练功能能让受训者进行烹饪训练。

4.2 得分点计算功能的验证

在得分点功能验证中，当受训者进行完训练功能，点选“送出”按钮，会进入得分点模式。系统会显示受训者在训练过程中所有步骤的得分，该系统会通过得分点功能能判别受训者训练成效。

4.3 错误步骤回顾功能的验证

最后进行错误步骤功能的验证，当受训者看完得分点后，会列出受训者在此训练中所有错误步骤，如可以看出洗涤模式中有关食材是否清洗，切割模式中相关食材是否切割完成等。很明显地，错误步骤功能能判别受训者训练成效。

5 结论

设计Kinect 辅助烹饪训练系统是以受训者的角度进行开发，让受训者能不需花食材的费用及道具，也能通过虚拟计算机训练熟记烹饪步骤，进行一连串的烹饪训练。而为了克服烹饪训练容易造成资源浪费、受训者无法了解训练的成效以及错误步骤发生在哪个环节的问题，分别提出了训练功能、得分点计算功能及错误步骤回顾功能，以解决传统烹饪训练中容易产生的问题。烹饪训练虚拟化的优点包括:可避免实际烹饪结果不理想造成食材的浪费，以及虚拟化的训练不受时间与场地限制。同时，系统会自动记住并呈现错误步骤，就如同操作者在烹饪后可以听到师傅提出的建议。为了让系统顺利感应用户肢体动作并与训练所需的步骤进行对应，采用结构化设计的由上而下步骤（Top-down approach）,将人机接口中设计五个模式:清洗、解冻、切割、烹饪与盘饰，并在每个模式中设计模式中所需的对象。例如烹饪模式中提供大、中、小火的对象选择，使用者须依据菜色择某适当的火候烹煮。然而，应用到不同的领域便需有不同的对应关系设计。由虚拟与真实关系的关系对应，系统可以得知用户执行或未执行的步骤。在Kinect辅助烹饪训练系统设计中未来希望能将火候、时间控制及训练模式中提示功能加入，让受训者能更加完整的进行烹饪训练。