三、学校提供条件:
本项目选题合理,紧跟前沿技术,是可行的。本人会在各方面给予指导。
四、预期成果:
手语是听障人之间沟通的主要方式。不同于手势,手语是由手型、动作、表情及姿势等方面所构成的一套手语交流的体系。然而,现有的手语翻译器对面部表情及嘴唇运动对手势描述的补充研究和关注甚少,其翻译转换准确性亟待提升。对此,本项目提出将深度学习在表情识别、唇语识别领域的前沿成果应用于手语翻译,提供实时、准确、规范且能被广泛应用的手语翻译模型。
五、经费预算:
本项目主要的研究方向是基于深度学习进行多特征提取的手语翻译系统,研究内容包括:
(1)手语表达语料库创建;
(2)对表情、唇语、手势的特征提取;
(3)深度学习架构设计;
(4)手语和文本、语音的相互转换。