唇语
- HSKDLR：同类自知识蒸馏的轻量化唇语识别方法
川 750021唇语识别（lip reading，LR），是一种在没有声音时通过分析唇部图像序列，依靠口型特征向量和特定语音之间的对应关系，判断语言内容的技术[1]，是人工智能的新方向。唇语识别涉及模式识别[2-3]、计算机视觉[4]、图像处理和自然语言处理等技术，多应用于信息安全[5-6]、语音识别[7-8]、驾驶辅助[9]等领域。早期的唇语识别大多基于隐马尔可夫模型（hidden Markov model，HMM）[10]、离散余弦变换（discret
计算机与生活 2023年11期2023-11-16
- “动动嘴皮子”AI就能知道你在说什么
蒲阳伯AI读唇语并非只能被用于破译“隐藏剧情”。据统计，我国听力残障人口超过2 054万，除了主要的手语交流外，读唇语也是他们重要的沟通方式。但人工解读唇语容易受到个人经验、视觉感受能力、语言理解能力等因素影响，在正确率方面差强人意，于是人们开始尝试利用AI技术来解读唇语。比唇语专家更懂唇语“所谓AI读唇语，即人工智能唇语识别，其核心技术框架为视觉识别和自然语言处理。”北京理工大学计算机学院副教授、网络与安全研究所所长闫怀志介绍道，具体而言，就是利用机器视
计算机与网络 2023年5期2023-04-25
- “动动嘴皮子”，AI就能知道你在说啥
久的将来，AI读唇语有望实现快速推广与深度普及，产业前景十分可期。——闫怀志 北京理工大学计算机学院副教授、网络与安全研究所所长虽然电视剧《狂飙》已经迎来了大结局，但热度仍然没有丝毫减弱，有的网友利用剧中人物创作娱乐视频，也有的网友剪辑其中精彩片段。不过，还有一些“较真”的网友，发现《狂飙》中的一些人物对话，配音和嘴型对不上，于是便想通过人工智能进行唇语识别，还原最初的剧本情节。然而，AI读唇语并非只能被用于破译“隐藏剧情”。据统计，我国听力残障人口超过2
科学导报 2023年13期2023-03-08
- 基于Vision Transformer的中文唇语识别
李 雨 谢胤岑唇语识别主要任务是基于说话人的视觉图像序列预测说话文本，可应用在公共场所的无声听写、嘈杂环境下的语音识别、辅助听力和公共安全视频中的关键词识别等场景，具有较高的应用价值[1].人类通过听觉可轻易识别并理解说话人的话语，然而仅通过观察说话人的唇部动作很难理解说话人的意图.人在说话时嘴唇运动幅度不大，一个嘴唇动作不仅可对应多个不同的词，而且每个人说同一个词的嘴唇动作也存在差异，因此不管对于人类还是计算机，唇语识别任务都面临较大挑战[2].按照识
模式识别与人工智能 2022年12期2023-01-31
- 江梦南，唇语中有声有色
定教她学习发音和唇语，而不是手语。谈到学习唇语，江梦南诚恳地说：“练习唇语相比练习手语要困难得多。因为听不到声音，我就坐在镜子面前，仔细观察父母说话时的口型，并模仿父母的发音。一遍读不准就来第二遍，第五遍、十遍、一千遍、一万遍……在日复一日、年复一年的无数次重复练习中，我也曾想放弃，是父母的爱和执着鼓励着我，感动着我，我才咬牙坚持了下来。我终于学会了唇语，能和正常的孩子坐在一起学习。唇语为我的生活打开了一扇窗，让我看到了世界的可爱与美丽。现在仔细想想，我当
做人与处世 2022年10期2022-05-30
- 活着（组诗）
言消隐之处，仍有唇语呢喃不已由嫣红到殷红玫瑰从不曾贫血，而我却为刺所伤月光的抚摸，带来更多星际疼痛的消息我失眠时数过的一盏灯，始终亮在我数过的羊眼中活 着天空仍是活着的半个理由虽然还有大雪在药一样下毒虽然大地已將我们掩埋了半截泥土下彼此可相认的部分似乎还在发芽魔鬼称它魔鬼，春天唤它春天而它一向羞于说——我也是诗啊……今晨阳台上的栀子花又活过来了昨晚，我再次扶它起来给它喂了水，顺便还喂了你留在我唇上的月色月光落在雪身上月光落在雪身上哪一个先融化呢哪一个融化了
安徽文学 2022年9期2022-05-30
- 基于中文发音视觉特点的唇语识别方法研究
一定的语言特征。唇语识别是融合了计算机视觉、语音识别和自然语言识别等多种技术的一个课题，目的是解码说话者嘴唇运动生成的文本。唇语识别具有广阔的应用空间，例如嘈杂环境中的语音识别、公共场所的静默听写、无声影视资料处理等。由于计算机视觉任务的进步，这种自动化应用是极具前景的。近年来，至少在数据集定义的词汇量有限的情况下，利用深度学习架构训练得到的唇读模型在很大程度上已经超过了专业读唇者。几十年来，仅根据视觉特征来识别说话者所说的内容一直是一项挑战，难点之一就是
计算机工程与应用 2022年4期2022-03-02
- 唇语识别的深度学习方法综述
算机算力的增强，唇语识别逐渐成为研究热点。唇语识别是一种通过视觉特征解释唇部、面部和舌头的运动来理解语音的技术，最初由Sumby等[1]在1954年提出，1984年，Illinois大学[2]建立了第一个唇语识别系统。与其他识别系统（包括人脸识别、指纹识别和手势识别）相比，唇语识别具有时效性、方便性和直接性的特点。唇语识别涉及模式识别[3-4]、计算机视觉[5]和图像处理等研究领域。由于其在信息安全[6-7]、语音识别[8-9]和辅助驾驶[10]方面具有应
计算机工程与应用 2021年24期2021-12-21
- 唇语识别的视觉特征提取方法综述
川 750021唇语识别是通过分析一系列唇部运动信息来推断说话者所说内容，涉及模式识别、语音处理、图像分类和自然语言处理等多个领域[1]，具有广阔的应用前景。早期的唇语识别系统采用人工标注特征作为唇部视觉特征，一系列图像序列作为模型输入，此类方法仅保证了下游任务能进行分类识别，而不考虑获取特征的有效性，因此下游任务识别精度通常较低。近年来，随着人类需求的增加，仅采用图像序列作为模型输入的唇语系统获取的视觉效果远不能达到人类的期望值，人们开始寻求有效的视觉特
计算机与生活 2021年12期2021-12-13
- 基于自注意力序列模型的唇语识别研究
210096)唇语识别是一项通过唇部视觉信息来推断视频中语音内容的任务。其在实践中具有许多关键应用，例如辅助提升语音识别性能[1]，活体检测[2]，改进助听器等。唇语识别任务的关键在于如何有效地捕捉唇部运动信息，同时减小由光照条件、头部姿态、说话人外表等因素而产生的噪声。唇语识别任务存在很多难点和挑战。首先，不同语句的唇部运动差异极其微小，细粒度特征难以捕捉；其次，不同说话人的语速不同，同一段语句的时长也可能不同，需要解决长短时依赖问题；此外，上下文的冗
电子器件 2021年3期2021-07-16
- 基于唇语识别的身份认证研究及系统设计①
脸识别系统中引入唇语识别技术,打造高安全性的身份认证系统,以防不法分子的攻击.1 身份认证相关研究随着技术的发展,国内外出现了大量关于身份认证方法的研究.广义上的身份认证在日常生活中十分常见,包括在车站内查身份证等其实都是属于身份认证.计算机领域的身份认证常见的包括基于口令的身份认证和基于生物特征的身份认证等[1,2].文献[3]中提到了一种基于口令的身份认证方案.该方案提到口令加盐的方法增强安全性,盐就是一个字母数字组合的字符串.数据库中存储用户标识us
计算机系统应用 2021年5期2021-05-21
- 注意力机制的唇动序列数字验证码识别方法
有更高的准确率。唇语识别技术能通过唇动视频序列来理解人说话内容的一种技术。当处于噪声环境之下时，语音识别的准确率会有很大的下降，唇动序列能够帮助我们理解人的说话内容。所以唇语识别技术结合基于声学模型的语音识别技术，能够解决噪声的问题。同时对于人脸活体检测的问题，我们也能够通过人脸识别技术和唇语识别技术相结合来解决。人脸识别技术用于识别进行视频中人的身份认证，唇语识别技术用于进行视频中人的真实性验证，所以一个高效并且高精度的唇语识别算法是至关重要的。最先进的
电子世界 2021年6期2021-04-11
- 基于监督信号增强的唇语识别模型
学习的快速发展，唇语识别任务越来越成为当前学术界的研究重点。由于唇语识别任务的困难性，当前学界对于唇语识别的研究普遍集中于单词级别的唇语识别，该任务是通过一个讲话者的一系列嘴唇图片，来识别出他/她所讲的对应词语。当前基于深度学习的唇语识别算法大部分以独热编码作为监督信号，通过最小化模型输出与监督信号之间的交叉熵来完成训练。这导致唇语识别算法在推理时会遇到如下挑战：（1）嘴唇运动的多样性以及讲话者不同的发音习惯和语速，都会给识别带来困难，尤其是对于两个发音相
科学技术创新 2021年3期2021-01-22
- 寂静藏着一场雪
及一些窃窃私语的唇语，就像毛毛虫彼此轻吻的嘴唇一般，细碎通常是这样的：寂静总在雪之后到来而雪扑灭灰烬，及慢慢冷下来的热闹正以一场喧闹的寂静来代替，倘若远方，黎明，和默不作声的皮肤所忍受的寂静是相似的那么簌簌掉落，碰触指尖的雪花带来的喧闹也是寂静的这不同于以往的寂静，更类似于声音线条的熔炼所导致的耳聋听觉细胞的疼痛更类似于这种寂静而这种疼痛更倾向于手指筋腱的撕裂以及钙离子缺失导致的骨骼轻颤而骨骼中积蓄的空隙，便是一场雪喧闹的典当，雪与雪轻吻，簇拥，同样保持沉
湛江文学 2019年12期2019-11-13
- 碰撞：“唇语”应对媒体vs志愿者自责哭泣
2019年3月，河南省鹿邑县鹿邑志成寄读学校扩建宿舍楼时，发现买到的来自山东省枣庄市的25吨水泥存在质量问题。面对政府权威部门出具的水泥“不合格”质检报告，涉事企业却不愿赔偿。此事经媒体曝光后，受到社会广泛关注。2019年7月26日，中央电视台《经济半小时》节目对此事进行报道。在节目播出画面中，当记者采访问题水泥所在地的市场监督管理局干部王涛时，对方先是表态“不会回答记者的任何问题”，然后面对记者的追问，竟然使出杀手锏———只张嘴不出声。监管人员面对镜头“
作文通讯·高中版 2019年11期2019-09-10
- 答案
么她可能就有读懂唇语的能力，便会知道约根斯先生要去银行存钱的事。第二天，布朗局长去探访了那两位顾客，果然，其中奥布莱恩夫人是聋子，她承认了自己的罪行。她说她读懂了约根斯先生的唇语。恰好那天着火了，她知道所有人都会去围观火灾，旁边的巷子会空无一人，所以她躲在一堆箱子后面等着约根斯先生经过。约根斯先生走过来的时候，她用一根木棍打晕了他，把钱抢走了。《谁是那个化装的接头者》银发看報者年纪很大了，要看清报纸上这么小的字，一般得戴上老花镜才行。此人没戴眼镜，要么是在
小福尔摩斯 2019年3期2019-09-10
- 答案
么她可能就有读懂唇语的能力，便会知道约根斯先生要去银行存钱的事。第二天，布朗局长去探访了那两位顾客，果然，其中奥布莱恩夫人是聋子，她承认了自己的罪行。她说她读懂了约根斯先生的唇语。恰好那天着火了，她知道所有人都会去围观火灾，旁边的巷子会空无一人，所以她躲在一堆箱子后面等着约根斯先生经过。约根斯先生走过来的时候，她用一根木棍打晕了他，把钱抢走了。《谁是那个化装的接头者》银发看報者年纪很大了，要看清报纸上这么小的字，一般得戴上老花镜才行。此人没戴眼镜，要么是在
小福尔摩斯 2019年3期2019-09-10
- 在无声的世界里，做英雄梦的女孩
父母决定让她学习唇语和发音。小女孩在她无声的世界里，乐观生活，坚持学习。她说：“我从小就是通过摸父母的喉咙感受声带振动学习发音的。如果一个音重复一千次学会了，那已经算非常快了。”她的名字叫江梦南，2018年的夏天，她通过了清华大学生命科学学院的博士研究生面试。江梦南学会唇语后，就从特殊学校转到普通学校就学，可是，平日上课时，她不可能看清老师所有的嘴型，更多的时候，她只能靠看板书和自学来跟上进度。就这样，江梦南五年级自学跳级到六年级，接着又以全市第二的成绩考
家教世界·创新阅读 2018年10期2018-12-15
- 在无声的世界里，做英雄梦的女孩
父母决定让她学习唇语和发音。小女孩在她无声的世界里，乐观生活，坚持学习。她说：“我从小就是通过摸父母的喉咙感受声带振动学习发音的。如果一个音重复一千次学会了，那已经算非常快了。”她的名字叫江梦南，2018年的夏天，她通过了清华大学生命科学学院的博士研究生面试。江梦南学会唇语后，就从特殊学校转到普通学校就学，可是，平日上课时，她不可能看清老师所有的嘴型，更多的时候，她只能靠看板书和自学来跟上进度。就这样，江梦南五年级自学跳级到六年级，接着又以全市第二的成绩考
家教世界 2018年28期2018-10-25
- 与众不同的学霸
小梦南学习发声和唇语。父母说话时江梦南会把手放在他们的喉咙处，感受声带的振动学习说话，而念拼音的时候，她会认真看他人发音的唇形，从而辨读记忆每个音节的唇形，逐渐再学习字词和语句。虽然生活给予了她许多挑战，但她却把这些看成是命运的馈赠。这个优秀的女孩说：“上帝虽然给我关上了门，但是一定会为我在其他的地方打开一扇窗。”靠学习唇语、看老师板书和自学，她不仅高考时以615分的成绩考入吉林大学药学院，还多次获得奖学金，之后继续在吉林大学攻读完硕士研究生学位，并且通过
作文评点报·作文素材初中版 2018年37期2018-10-25
- 说出你的秘密
教授会一种独特的唇语，就是通过肢体语言、面部表情和口型进行交流。老教授把这种唇语传给了大牛的父亲，父亲又传给了大牛。大牛就是靠唇语，读懂了李大福的话。警察恍然大悟。没多久，大牛身怀“绝技”的事传遍了全厂，这天，大牛正在干活儿，一个工友跑来说：“又有警察找你。”那位警察姓赵，是刑警队的队长。赵队长说：“大牛先生，听说你能读懂唇语，我手里有一个案子，需要你的帮助。”这是一件盗抢案：一家金店被三名匪徒洗劫，价值上百万的黄金被抢。匪徒十分狡猾，作案时戴着面具，看不
民间故事选刊·上 2018年4期2018-04-19
- 行业动态(新技术)
湃新闻）搜狗推出唇语识别技术日前，搜狗公司推出了一项人机交互新技术——唇语识别，该技术通过机器视觉来识别说话人的唇部动作，从而解读说话者所说的内容。据悉，唇语识别是一项基于机器视觉与自然语言处理于一体的技术，研究人员通过复杂端到端深度神经网络技术进行中文唇语序列建模，经过真实唇语数据训练，最终取得唇语识别效果。在非特定人开放口语测试集上，该项唇语识别系统准确率达到60%以上，超过谷歌发布的英文唇语系统的50%以上，在垂直场景如车载、智能家居等场景下准确率甚
机器人技术与应用 2018年1期2018-03-08
- 搜狗推出“唇语识别”技术
机交互新技术——唇语识别，这也是业内首个公开演示的唇语识别系统。通过机器视觉识别，不用听声音，仅靠识别说话人唇部动作，就能解读说话者所说的内容。唇语识别是一项基于机器视觉与自然语言处理于一体的技术，因此在研发难度上比语音识别大得多。搜狗首创了复杂端到端深度神经网络技术进行中文唇语序列建模，通过数千小时的真实唇语数据训练而成。在非特定人开放口语测试集上，搜狗唇语识别系统已经达到60%以上的准确率，超过Google发布的英文唇语系统50%以上的準确率。在垂直场
中国信息化周报 2018年3期2018-01-31
- 2017数博会黑科技盘点
实的“中国造”。唇语识别技术不用出声，就知道你在说啥！这就是唇语识别技术的先进之处，唇语识别技术能从图像中连续识别出人脸，判断并提取正在说话的人口型变化特征，将连续变化的特征输入到唇语识别模型中，计算出可能性最大的自然语言语句。在未来万物互联的时代，身份识别将由指纹，人脸等生物识别技术替代，从而将人们与机器的信任关系提升一个安全系数。而唇语识别技术将在公共安全，军事情报，身份识别和社会公益等领域中起到重要的作用。柔性显示屏你能否想象把平时工作用的电脑或手机
大众科学 2017年6期2017-07-19
- 说出你的秘密
教授会一种独特的唇语，就是通过肢体语言、面部表情和口型进行交流。老教授把这种唇语传给了大牛的父亲，父亲又传给了大牛。大牛就是靠唇语，读懂了李大福的话。警察恍然大悟。没多久，大牛身怀“绝技”的事传遍了全厂。这天，大牛正在干活儿，一个工友跑来说：“又有警察找你。”那位警察姓赵，是刑警队的队长。赵队长说：“大牛先生，听说你能读懂唇语，我手里有一个案子，需要你的帮助。”这是一件盗抢案：一家金店被三名匪徒洗劫，价值上百万的黄金被抢。匪徒十分狡猾，作案时戴着面具，看不
今古传奇·故事版 2017年9期2017-06-06
- 读懂“黄鼠狼给鸡拜年”环保“唇语”
给鸡拜年”环保“唇语”文/杜才云背景：朋友圈热传“黄鼠狼给鸡拜年”专家称主角并非黄鼠狼，而是“无辜躺枪”的伶鼬。(2017年2月2日中国网)在中国传统文化中，鸡是一种身世不凡的灵禽，例如凤的形象就来源于鸡。鸡不仅能够给人类提供汤鲜味美的食品，也是人类忠实的朋友之一，故早期中国祖先将鸡作为生肖，排在第十名。在大众的印象中，鸡有一位宿敌，即黄鼠狼，此公因“黄鼠狼给鸡拜年，没安好心”这一句民间谚语得了千古恶名，于是人们看到黄鼠狼就气不打一处来，有“见黄鼠狼不打三
21世纪 2017年2期2017-02-12
- 水的唇语（组诗）
张润所不敢叫你水你透明得让我不敢叫你水水里盛不下这个世界也盛不下这么多纯净你透明得让我不敢叫你水水会把我沉下去你却把我浮上来把我浮上来让我看什么看你明看你灭看你身旁云与雾雨水从枝叶上滴下的雨水都是些私语秘言和我一起倾听的有泥土、庄稼、石头和野草如果这雨滴入水中它断然不会化解雨的本意不是用来灌溉江河雨不知有多少技巧它热爱的方式更是与众不同如果你三番五次与它相遇总能感到每场都有每场的主题四面八方都是你有你在 世界就存在我只重复我自己 重复日夜都自以为是的心情有
山西文学 2012年8期2012-12-18
- 唇语
同学,听说你是‘唇语方面的专家,今天特意约你来,请你把这段‘唇语帮忙给我‘翻译一下,我就能从这段唇语中了解小雯的心了。”说着,马飞打开电视,画面是截取的小雯在生日晚宴上“许愿”的那一段场景。何文不眨眼地盯着小雯的嘴唇,反复看了几次,这才对马飞说:“这位女士是这么说的:早日离开黑蛋这个狗东西,回到大伟身边,是我最大的心愿!愿我心想事成吧。”马飞顿时脸色惨白,身体摇摇晃晃地要倒下了,何文急忙伸手搀住他:“老同学,你这是怎么了,要紧不?”马飞喘着粗气,哆哆嗦嗦地
故事林 2010年20期2010-05-14