智能可视化信息提示镜子设计

奚杏杏 张传杰 王欣

摘 要：随着科技的进步和人们生活水平的提高，人们对家庭生活的舒适度、安全度的要求越来越高，智能家居应运而生。智能家居是未来家庭生活的发展趋势，在创造安全舒适便利的生活环境，改善人们的生活质量上起到极大的作用，随着人们生活水平的提高，人们不断对居住环境提出来更高的要求，越来越注重家庭生活空间的舒适、安全和便利，因此智能家具的市场前景非常广阔，从发展趋势上来看，智能家居的日益普及将会是一种必然。

关键词：安全度;智能家居;便利舒适

1、引言

随智能物联网发展迅猛，要把万物连接进互联网的理念扩展到生活的方方面面，智能家居的兴起推动社会的发展，智能家居作为一个新生产业，处于一个导入期与成长期的临界点，市场消费观念还未形成，但随着智能家居市场推广普及的进一步落实，培育起消费者的使用习惯，智能家居市场的消费潜力必然是巨大的，产业前景光明。智能家居在中国的发展经历的四个阶段，分别是萌芽期、开创期、徘徊期、融合演变期

目前国内外产品没有像智能可视化信息提示镜子这样混合集成多种系统的先例，没有有效地将人脸识别[1]、语言助手和推荐系统有效结合。智能可视化镜子是一款融入人脸识别和互联网技术的智能物联网镜子，当用户在使用镜子的时候，通过自身集成的超声波传感器、摄像头和高性能的处理器自动感知并检测出用户的身份，然后根据用户的身份ID推送预先定制的备忘信息和收到的其他用户向使用者推送的信息，这些信息可以文本、图片信息，也可以是生动的自拍或者其他视频信息，可以在用户早上出门前提醒用户一些重要的事情和天气情况。

智能镜子是一个较新的产品概念，是智能系统的衍生产物。智能镜子，以镜面显示将屏幕和镜子的界限打破，让承载信息的屏幕更好更无缝地融合进人们的生活。家用智能镜子的硬件组成分为输入和输出两大块。用户所有的操作，对产品本身进行的所有输入指令反应可落实为：触控屏、按键、摄像头捕捉[2]、麦克...乃至一些外接的传感器设备，诸如体脂测量、体重计、红外光谱等，而智能镜子给用户所有的输出信息媒介，则可以通过屏幕显示、扬声器、灯光等等，也可以通过Wi-Fi或蓝牙模块，连接至用户的移动设备和云端。

2、主要内容

2.1产品介绍

在没有人站在镜子前时，镜子的LCD屏处于自动熄灭的低功耗状态，核心主控处于深度休眠状态（以便节省功耗）。

当超声波传感器检测到人靠近到一定距离时候，开始工作模式：摄像头啟动，采用Github上现成的人脸识别系统，识别家庭成员根据不同成员显示不同信息目前人脸识别系统的准确率达到99.8%以上，可以通过人脸有效地识别不同用户。通过集成现成的人脸识别技术，提高整个系统的可用性，在多种技术[3]（嵌入式开发、信息显示开发等等）融合的情况下，增加了系统的容错能力、交互方式以及使用方式，同时兼顾系统的开发难易程度，使得人脸识别功能在尽量提高精度的同时，不耽误整个系统的开发，增加了可行性。

用户数据采集分析处理系统。针对用户的使用情况，构建用户模型[4]，采用个性化推荐方式。使用基于Python的Crab开源推荐软件实现主题和用户的协同过滤，语言交互系统集成，采用谷歌的Assistant语音助手系统，提供和用户的交互。

利用双面镜显示开启时候，内容可以透过镜子显示内容通过给嵌入式系统匹配合适系统的方式，来尽量将硬件的驱动式的开发方式转化成软件的开发。极大的提高了已有的软件开发成果，降低了硬件开发的不确定性，方便调试和功能的改善，为项目的进展提供了坚实的技术条件。

硬件采用的核心主控为树莓派3代B+[5]，作为目前使用最广泛的单片机核心主控，资源广泛，可以通过加载多种嵌入式系统，包括Linux（Debian、ArchLinux）、Windows 10 物联网核心版、Snappy Ubuntu Core或RaspBMC等。

液晶屏幕采用14寸LED显示屏，具有亮度高，色域广，反应快，可独立开关并且不含有害物质汞等诸多优势，寿命更长，耗电更低，还更环保。

Python[7]所拥有的完整的生态环境十分有利于进行数据分析处理，比如，"大数据"分析所需要的分布式计算、数据可视化、数据库操作等，都可以通过Python中的十分成熟的模块完成。

软件的开发核心功能是人脸识别，可以采用现成的人脸识别算法和训练模板文件，可以加速项目开发，更好的保证本项目产品的质量。

人脸识别是本产品最重要的一个环节，智能可视化镜子是一款融入人脸识别和互联网技术的智能物联网镜子，人脸识别的算法[7]有：基于人脸特征点的识别算法、基于整幅人脸图像的识别算法、基于模板的识别算法、利用神经网络进行识别的算法，这些算法都体现在二维空间的基础上进行识别，而我们的使用的是三维人脸识别。

2.2人脸识别的过程：

第一阶段是非自动识别阶段：主要研究如何提取人脸识别所需的特征，通过简单的语句描述人脸数据库成为待识别人脸设计逼真的摹写来提高面部识别率，第二阶段人机交互阶段：这一阶段虽然实现了一定的自动化，但仍然不是一个完全自动的识别系统。第三阶段自动识别阶段：这一阶段真正实现了机器自动识别，产生了众多人脸识别方法，出现了多种机器全自动识别系统。近些年来，随着高速度、 高性能计算机的发展，人脸识别方法有了较大的突破，提出了多种机器全自动识别系统。

但识别过程中光照环境、面部[8]形体变化、年龄改变等会影响到识别的精确度，相似人脸、发型变化、背景以及是否佩戴眼镜或口罩都会给人脸识别带来困难。

3.3本产品主要人脸识别特殊之处体现在：

1采用主动成像技术，使得到的成像具有在固定照明条或不受照明变化影响条件下获得图像的特点。

2从图像中估计出人脸的不同姿态，再设法将其变换回人脸的标准姿态，用标准的人脸识别方法进行识别，对不同的人脸姿态进行有效识别。

3、实验：

当前持续蔓延的新型冠状病毒肺炎疫情，出门戴口罩已经成了人们的习惯，而带有人脸识别功能的设备如手机、门禁等，竟然检测不出是否是本人，尤其在密集人群的场所，这就给人脸识别带来很大的困难。

3.1通常二维人脸识别的做法是：

根据二维图片上的人脸关键点，将二维的口罩贴图和二维图片中的人脸做一个对齐，然后根据口罩的mask图来完成填加口罩操作，戴上口罩让设备检测不出的主要原因是人脸关键点检测的精度受影响，人像信息减少，导致学习到的特征判别性随之较少，这就导致局部遮挡的二维人脸识别准确率就会极具下降，无法正确的识别出是不是本人。

3.2三位识别的优点：

三维识别是先重建三维人脸模型，再将口罩的三维模板模型与三维人脸模型做非刚性对齐，从技术上来讲，数据端通过各种途径生成大量二维、三维遮挡数据，用于優化网络，算法端则是增大眼睛部分特征，通过局部特征与全局特征相结合的方式，提升模型在遮挡情[z1]况下的识别率从而完成模拟加口罩的操作，可以有效地识别戴口罩人群。

3.3二维、三维识别的对比：

对于戴口罩人脸识别这件事，“戴口罩识别”与“戴口罩身份识别”有着本质上的区别，前者只需检测有无戴口罩，后者需要识别的那么毒变得非常巨大，而加入深度信息的三维人脸识别，其采用基于人脸全局特征及局部特征相结合的方法，同时充分利用人脸未遮挡部位的三维几何信息进行三维人脸识别研究，相对于普通的二维人脸识别一般会有20%-30%的准确率提升，在测试中三维戴口罩人脸身份识别的准确率可以达到97%，标准底库可做到三万人，加上轻网络模型支持达到十万人级别，重网络可达到百万级以上，能够有效应对戴口罩等遮挡场景的人脸识别。

4、总结

5G网络的到来，智能物联网发展迅猛，要把万物连接进互联网的理念扩展到生活的方方面面。智能可视化信息提示镜子把日常用的镜子连接进网络，具备会话交流功能并且能够通过和用户的交互，理解用户需求，实时推送各种推荐信息，智能可视化信息提示镜子是基于社交理念的产品，主要的设想是增加人们之间沟通交互方式，使人们在互联网交流的今天，能更多的通过镜子视频的方式进行面对面的沟通交流，提高人们的社交能力和互动性。

参考文献：

[1]陈雅茜，雷开彬.人脸识别技术综述[J].西南民族大学学报（自然科学版），2007，

[2]龚雯.陈丽华，沈建国.基于几何特征的人脸正面图像特征提取，现代计算机.

[3]刘晓宁.基于三维模型的人脸识别技术研究.西北大学博士学位论文.2006，05：1.

[4]赵丽红.人脸检测和识别算法的研究与实现.东北大学博士学位论文2006，01.

[5]树莓派3代B+.树莓派3B+是在2018年pi日（3月14日）发售的目前为止树莓派家族当中最新，性能最强，也是功耗最高的一款产品。

[6]Python：一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。

[7] 刘学胜.基于PCA和SVM算法的人脸识别，计算机与数字工程.

[8] 山世光.面部特征检测与识别的研究与实现.哈尔滨工业大学，1999年7月

[9] 倪世贵，白宝钢.基于PCA的人脸识别研究.现代计算机2011.02

国家级大学生创新创业训练计划项目：201910453025

（泰山学院-物理与电子工程学院    271000）