语音识别技术已经在智能手机、智能家居、以及一些新奇的小工具上得到了普遍的使用,但是对于那些无法正常通过语音进行交互的残障人士来说,难道就没有办法与之交互了吗? 好消息是,软件开发者 Abhishek Singh,刚刚演示了一款能够理解手语手势的 MOD —— 通过摄像头的捕捉和深度学习,让亚马逊 Alexa 也能够对手语手势作出反馈。 这套系统的组成很是简单,充分利用了笔记本电脑上的网络摄像头、现成的亚马逊 Echo 智能扬声器、以及一些深度学习技术。它能够解码 Singh 的手势,然后用语音 + 屏幕文本来回答查询。 Singh 在接受 TheVerge 采访时表示,后端用到了谷歌的 FensorFlow(特别是 TensorFlow.js)来提升实际使用体验。由于无法找到线上手语数据集,他必须自建一组基本信号,并对软件展开训练。 Making Amazon Alexa respond to Sign Language using AI( via ) 几天前,亚马逊推出了新版 Echo Show,可以利用设备上集成的触屏进行命令输入,以便失声者与之交互。其建立在一个名为 Alexa Captioning 的现有功能基础上,可在兼容设备的屏幕上显示响应。 尽管 Singh 的演示只是一个概念验证,但他已计划将代码开源、并发表一篇博客文章来概述自己的工作。Singh 表示,任何其它配备了摄像头和屏幕的智能设备厂商,都该立即着手这方面的工作。