无声胜有声!清华团队推出新颖唇语解读系统( 二 )


这项研究将在哪些领域应用 , 发挥作用?“该研究通过自供电传感器采集唇动微动信号 , 并使用深度学习模型将信号识别为有含义的语音信号或文字信号 , 比较适合服务失声人群 , 在日常生活交流中可恢复失声人群的基本语音交流能力 , 并保留失声前的说话习惯 。”路益嘉表示 。
无声胜有声!清华团队推出新颖唇语解读系统
文章图片

文章图片

唇动应用展示:a唇动用于个人身份验证和b唇动控制模型车的运动方向
此外 , 其还可应用于个人身份识别 。研究人员制作出一个唇动指令开门的应用演示 。由于该方法融合特定密码口令的静态特征和个人特殊的唇部动态特征 , 可以实现双重特征验证 , 特别是戴口罩不发声说密码的方式可进一步提升系统安全性 , 适用于安全验证要求较高的场合 。
该研究成果还可用于人机交互的研究 。研究人员制作出一个唇动信号控制模型车运动方向的应用演示 , 通过检测唇动发出的方向指令 , 机器模型车可改变行进方向 。这为现有人机交互方案提供了新的可能性 。