许多人日常在用的智能手表它的文本输入要么靠语音要么靠打字或手写

许多人日常在用的智能手表，它的文本输入要么靠语音，要么靠打字或手写。

但有时你可能不方便说话，或者在那么小的屏幕上戳键盘实在有点局促。

那咋办。

也许可以试试隔空打字法。

浙江大学就开发了这样一个名叫 AirText 的应用，只需你动动手指和手腕，手表就确识别空中字符，错误率低至 3.9%。

还配备联想和推荐功能，让拼写速度更快。以最近发布的OPPOWatch2为例。

给智能手表配上隔空打字功能

开发 AirText 的一个主要挑战在于如何让它理解手腕运动和指尖拼写动作的对应关系。

就像下面这张图所展示的，拼写时手腕呈现出来的轨迹和正常字母差得还挺多的。

为此，研究团队先借助了一个现成工具 Leap Motion，它可以用红外传感器跟踪手势。

然后八名志愿者使用五种不同的智能手表拼出超过 25000 个字符，用 Leap Motion 收集相关的手腕和手指运动数据。

再将数据输入神经网络模型，进行训练，最终 AirText 可以根据用户手腕微小的动作变化推断指尖的轨迹。

然后，仅通过智能手表就可以高效，准确地将推断出的轨迹识别为相应的字符。

为了加快拼写速度，他们还给系统配上了单词预测和推荐功能。虽然有足够的功能，能够满足大众的需求，但还是不足以帮助其破圈，也不会掀起太多属于OPPO生态的波澜。

预测单词会显示在手表屏幕的四个方向，我们可以将手表向上下左右倾斜就能进行选择。

词错误率为 3.9%

首先来看 AirText 的准确性测试。

衡量指标为 WER，计算方法就是将错误字 / 识别正确的字。

其中错误字涉及三种类型:漏字，多字，错字。

将 AirText 与俩基线方法相比，最终 AirText 得分最低，也就是准确性最高。

三者平均分分别为 3.9%，30.9% 和 57.1%。

以上是单用户在单设备上的测评结果。

为了更准确，他们还测试了多用户和多设备，结果如下:

左图中，同一个用户使用 5 种不同智能手表测试 AirText 获得的准确率得分分别为:8.3%，7.5%，6.5%，7.7% 和 3.9%。

研究人员表示，7% 的 WER 意味着平均每 15 个单词中有一个识别错误，这对于隔空手写来说还是可以接受的。

右图中，8 位不同用户使用同一手表获得了 11.2%，5.9%，4.3%，4.0%，3.6%，5.9%，4.7% 和 3.9% 的 WER。

从中我们可以看出，与不同的设备相比，不同的用户对准确性的影响更大。

不过研究人员表示，借助模型更新组件，AirTex 仍然可以针对不同用户实现较高的准确率。

然后是速度测试。

由于 BLSTM 基线的 WER 约为 57%，错误率太高，研究人员只比较了 AirText 和 IMU—CNN 两者的速度。

衡量指标是 WPM，其计算方式为用总体输入字数—错误字数 / 时间。。

结果 AirText 的平均 WPM 为 8.1，而 IMU—CNN 基线的 WPM 仅为 4.6。

研究人员指出，此输入速度与一些基于双手触摸屏的文本输入方法相当。

总体来看，AirText 的准确率不错，但速度还需要进步。

慢的主要原因还是因为它每拼写一个字符就需停顿一会儿。

研究人员正在研究破解办法，并表示最终有兴趣将 AirText 商业化。

一作为浙江大学计算机学院助理教授高艺，浙江大学博士毕业，研究方向包括嵌入式软件，无线和移动计算，传感器网络和信息物理系统。

其谷歌学术引用次数总计 3000+。

论文地址:

参考链接: