王娜娜,北京航空航天大学毕业生,“手音”App创始人。
演示者用手指向前方,又做出点赞的手势,“你好”的文字快速地反应在App“手音”的界面上。捕捉手部运动的肌电信号的是演示者手臂上的黑色臂环,看上去像跑步时用的护腕。
“手音”是一款针对失语者的小众产品,是失语者彼此沟通的桥梁。“手音”的创始人王娜娜和联合创始人黄爽原是北京航空航天大学2012级的学生。
在2015年的一次活动上,王娜娜认识了北京联合大学特殊教育学院毕业的失语者张权,并成了好朋友。因为王娜娜不会手语,这两位现实中的朋友相处更像网友,即便见面也往往会求助微信沟通。回到宿舍,王娜娜把张权的故事告诉了黄爽。她们此后认识了更多的失语者,也愈发感到沟通困难。两个善良的姑娘想:老板开会听不见,点外卖没办法和店家沟通,别人怎么能接纳他们?《新闻联播》有手语同步翻译,可其他直播节目如果没有字幕,失语者就永远无法享受它。
两人想起了参加“冯如杯”北航校内学生学术科技作品竞赛时的图像识别项目,当时这个项目获得了一等奖,或许可以用这种技术帮助失语者。王娜娜回忆:“我们感觉发现了一个没有人发现的需求,想成为第一个实现它的人,也让我们所学的知识有价值。”于是,她俩着手研究手语翻译的可行性,开始查论文、做实验、写代码,用冯如杯一等奖奖金5万元作为启动资金行动起来。
但很快,图像识别被否决了,因为不能随时携带摄像头;手套被否决了,因为太引人注意。“后来我看家里的小朋友学弹钢琴,老师说手指该用力的时候,小朋友没用力。我就问老师这怎么能看出来的,老师说看肌肉的用力情况,肌肉没有动指法肯定不对。这点提醒了我,我就上网查,有一种研究是戴着一个臂环来判断小朋友的指法正确不正确,我立马就想到了手语。”王娜娜说。
不同的手指动作,会触动不同区域的小臂肌肉,发出( )的肌肉电信号。受益于钢琴臂环的启发,王娜娜和黄爽打算也应用这项技术:将每个手语词汇的肌肉电信号录入系统,让人工智能深度学习,再次遇见时,识别和转化成语音,应该并不难。在运动手环、智能手表普及的今天,佩戴臂环,也不会让失语者显得突兀。
点击猜猜看,下文更精彩。欢迎注册家庭山的小故事猜猜看,家庭教育开心辞典,家长充电分分钟,孩子受益助一生,教师教学更轻松。有咨询、入群和投稿等需求,请联系小编家教故事猜猜看(微信号:jjgscck888)。