基于“人工智能+物联网”的智能家居实验实训平台设计

宋晨静 高 浩

（江苏知途教育科技有限公司，江苏 南京 211899）

0 引言

由互联网深度发展出来的物联网技术已经广泛应用到许多领域，智能家居就是物联网技术的典型应用。智能家居主要依托于物联网技术，将家电、照明、门窗、监控和安防系统等联系到一起。随着人工智能技术的不断发展，智能化的家居设备不断推陈出新，结合图像识别、语音识别等人工智能技术，不但可以实现远程控制家居设备，还可以通过语音等方式进行交互，或者通过视频监控发现异常，及时自动预警等。人工智能技术推动智能家居系统化发展，人机交互模式将由传统的人工控制，向智能家居产品自励感应方向、自励反馈方向发展。

利用人工智能技术与物联网技术相结合的智能家居平台，设计一款智能家居实验实训系统，可以方便学生掌握最新的技术实践，实现跨专业的实验实训教学，加强学生实践能力，激发学生学习兴趣，具有非常重要的价值。本文主要介绍通过结合具有推理能力的开发板和物联网平台，搭建可以实现多种应用的智能家居实验实训平台。

1 实验实训系统设计需求

智能家居系统首先需要实现一部分物联网平台的基本功能，通过智能网关接入各类传感器和智能设备，并通过物联网平台进行管理和远程控制。另外一部分则利用人工智能技术，通过端侧设备采集语音和图像数据，并通过云端模型和端侧推理等AI任务，实现语音、图像识别和解析，进而控制智能设备。

本智能家居实验实训平台需要适应多种智能应用场景，融合编程语言、语音、视觉和深度学习等技术，具备通用性、智能性与完成复杂任务的能力，实现在家庭环境中控制家居设备的智能化功能，从而充分锻炼学生基于物联网和人工智能的应用开发能力。智能家居平台设计的主要应用场景如下：

人脸开锁：用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别，进行身份验证，实现刷脸开锁。

电子围栏监控：该项智能化功能是通过十字标尺或矩形标尺摄像头监控半夜车库、房屋、卧室等场所，检测可疑人员入侵，如到达十字标尺划定的警戒线，即自动预警或报警，以便采取相应措施。

智能语音：本功能模块主要是离线语音识别、在线语音识别和App远程控制三个功能相结合。对于离线、在线语音识别功能，系统不仅需要正确识别控制指令，改变相应智能设备的运行状态，还需对用户非控制指令的语音做出正确互动。为了实现使用App远程控制家居设备，系统不仅要能识别文本消息，还需支持语音消息。

2 系统总体设计

基于整体设计需求，平台架构由AI（包括音频，视频、大数据服务）智能和智能家居两部分构成，如图1所示，AI智能完成各种数据采集、数据清洗、数据模型，数据推理等AI相关任务；智能家居系统由物联网接入平台，如阿里云物联网平台或者涂鸦物联网平台等物联网SaaS系统，智能网关、传感器和智能设备，用户控制终端构成，为AI智能提供终端执行环境。

图1 实验平台系统架构

平台系统的智能设备部分主要由温湿度传感器模块、智能照明模块、摄像头模块、USB免驱模块、有线门铃、涂鸦智能窗帘电机和窗帘杆、WiFi无线传输模块、门禁电源控制器以及控制器与处理器模块构成。实现人脸开锁案例时，以Jetson Nano开发板作为核心控制器，通过摄像头模块对家居环境参数进行采集，然后通过Nano开发板的AD模块对传感器采集的模拟量数据进行数据转换，最后通过处理模块进行数据处理，模型推理从而实现人脸识别，进行控制电控门禁完成开锁。

终端设备通过物联网接入平台连接物联网SaaS系统，同时通过Wi Fi模块将采集到的传感器数据上报至云端服务器，服务器再将传感器所采集到的相关数据转发给手机App客户端，将设备状态信息在手机App平台进行显示。实现电子围栏案例中，当摄像头捕获到闯入人员进入电子围栏区域，通过Nano开发板已部署的模型推理能力能够做出判断，并发送信息到App，从而实现预警。

当用户入户后，对着Nano开发板外接语音设备对话，发出打开窗帘或者打开客厅灯等指令，开发板会调用百度云语音识别API进行解析，然后通过WiFi模块传输信息到窗帘和灯泡以控制其开关。当温湿度传感器检测到的数据低于所设定阈值时，语音播放模块将会播放异常信息。同时Nano开发板通过WiFi模块发送指令到红外控制器，实现远程开关空调。

该智能家居实验技术平台能够实现各类智能设备的操作控制，还能实现图像识别和语音设备等AI交互模式，便于实验室教师开展相关的AI+物联网实验教学，实用性价值比较高。

3 平台系统的硬件设计

智能家居控制系统硬件系统主要以Nano开发板为核心处理器，通过各个传感器对环境参数进行检测。将传感器输出的电信号接入开发板的A/D转换模块，转换成开发板能够处理的数字信号，通过Wi Fi网关对接电控窗帘，可调照明、传感器组件等智能设备，同时对接麦克风、摄像头、音箱、显示器等人机交互设备。然后通过WiFi模块发送至云服务器，并将部分重要参数值发送至手机App进行显示。核心的硬件模块包括如下。

3.1 开发板选择

Jetson Nano是英伟达（NVIDIA）提供的一款功能强大的小型计算机，可以支持入门级的边缘AI应用程序和设备。具有5W低功耗，并可以外接HDMI和网线，64G内存卡以及多种IO接口，能够满足作为本系统核心处理器的要求。

3.2 摄像头

采用海康网络摄像机DS-IPC-B12V2-I，具备200万像素，8mm焦距，并支持红外摄像，满足电子围栏案例的摄像头要求。

3.3 语音系统

可以采用麦克风阵列或者更加便宜的USB免驱启动麦克风，都可以满足要求。

3.4 门禁系统

采用型号KT-P101的门禁电源控制器，支持充电过载保护。以及型号KT-L606的电插锁，启动电流110mA，采用磁感应上锁方式，支持通电上锁，断电开锁的开门方式。

3.5 其他传感器和智能家居设备

采用型号为MIR-TE200-WF的温度与湿度传感器,涂鸦智能窗帘电机和窗帘杆，还有型号为Smart WIFI LED Bulb的灯泡，带WiFi和RGB色彩控制。

4 系统软件设计

实验平台中，使用网关实现各种设备与物联网平台的通信链接，物联网平台集成了设备管理、数据通信和消息订阅等功能。向下支持连接智能终端设备，采集设备数据上云；向上提供云端API，手机端App可通过调用云端API将指令下发至设备端，实现远程控制。如图2所示。

图2 App管理界面

设备接入物联网平台后，可上报设备数据至云端。通过物联网平台集成关联的其他云产品，实现设备与服务器的消息通信，以及设备数据的处理和存储。还可以通过云端的AI服务实现语音识别或者图像识别的AI功能，也可以直接把模型部署到Jetson Nano开发板，完成本地的语音识别或者图像识别的AI模型推理。

5 基于平台的实训案例

基于上述软硬件搭建智能家居平台后，可以依据不同场景开发不同的实验实训，让学生完成不同场景下的应用开发。

5.1 电子围栏实验

使用摄像机设备和通信网络，实时监控采集家居周围的视频，并完成预警。传感器设备可通过总线连接网关，再通过网关将其连接到物联网平台，实现在云端展示和管理。在监控过程中，具有推理能力的Nano开发板依据采集到的视频进行人体识别，预测视频中是否有闲杂人员出现，如果有人员靠近设定的禁区，则会通过开发板触发信息到报警器，并同时上传到云端进行预警。实际效果如图3所示。

图3 电子围栏监控效果

5.2 语音控制设备实验

语音模块主要是实现离线语音识别和在线语音识别。当用户对着麦克风对话时，Nano开发板会调用硬件设备上的麦克风采集声音，通过其内置的音频处理算法对语音信号进行预加重、分帧加窗、端点检测、特征向量提取，最后进行模式匹配实现本地的语音识别，直接控制智能设备。或者，通过百度云的语音识别的服务，开发板检测用户的语音指令输入上传到云端，云端完成指令解析，并远程控制设备，自动完成窗帘开关、加湿器开关，照明调节等功能。

5.3 人脸开锁

在Nano开发板上进行人脸录入操作，用户正对摄像头，由摄像头通过特征检测采集并录入人脸，对每一个人拍摄100张照片，对拍摄到的人脸图像进行特征提取与特性选择，在服务器上基于TensorFlow进行人脸识别模型训练。完成训练模型后，利用TensorRT将模型部署到开发板上，用户就可通过开发板进行本地的人脸推理辨别。对人脸验证成功后，开发板发送信息到门禁电插锁进行开锁，验证失败则由蜂鸣器发出警报。

6 结语

本智能家居实验平台通过将Jetson Nano开发板和物联网平台、以及人工智能服务结合起来，设计了一个能够通过语音控制智能家电的开关，并通过摄像头完成智能门锁，和电子围栏智能报警的系统。本实验平台充分实现了人机交互和设备的智能化，基于场景化的应用案例的学习与体验，满足物联网和人工智能相关专业的教学和实验实训场景。