人机交互（人机交互实现智能关键一步）

人机交互（人机交互实现智能关键一步）

随着智能硬件和移动计算的快速发展，物联网在多个领域得到广泛应用，例如车载自组织网络（VANET）、边缘计算、智能家居或智能设备交互和控制等。智能家居系统控制照明、室温、娱乐设施和电器等，像智能空调、冰箱和电视机等。如何以自然的方式控制它们或与它们交互成为了一个悬而未决的问题，关乎用户体验。

目前智能家居场景中的人机交互主要有三种解决方案。第一种是结合手机触发控制，例如在手机上安装相关APP控制家电。这种交互方式只是将手机作为一个遥控器，延长控制距离。第二种是利用语音识别，将人类语言转化为机器指令，提供人机交互体验。但是在一些特殊安静的场景语音识别并不适用，或者有语言障碍的人无法使用这项功能。最后一种方法是使用基于相机或非基于相机的动作识别。基于摄像头的动作识别是一种相对成熟的方式，但是隐私泄露的风险极大地限制了其应用。非基于相机的动作识别利用从商用MEMS传感器（例如加速度计、陀螺仪和磁感应器）收集的多个传感信号来帮助智能设备了解用户的行为意图。

近年来，随着科技的发展，智能设备层出不穷。一系列智能设备开始进入人们的生活，比如智能手机、智能腕带、智能手表和智能眼镜等。

本文提到的智能手表预先嵌入了MEMS以外的多种传感器，并使用了RFID相关技术。手腕的姿势通过手表内置的传感器进行识别，手指的识别主要通过柔性机械传感器来实现，这些传感器可用于检测肌腱的运动和手腕形状的变化。

智能手表是一种常见的可穿戴设备，通常配备陀螺仪、加速度计和磁力计等MEMS传感器。这些传感器可以收集与手腕和手臂运动相关的大量数据。这种交互方式具有成本低、使用方便、适用范围广等优点。但是，该解决方案面临许多困难。首先，低精度和高噪声是智能手表内置MEMS传感器的共同特点。这对动作识别的准确性非常不利。其次，智能手表内置的MEMS传感器数量有限，通常不到3种，让一个用户佩戴多个智能手表显然是不现实的。最后，手表佩戴者的手臂动作复杂多样，即使采用各种方法对传感器进行标定，采用各种算法对数据进行去噪，动作识别的解空间仍然很大。因此，仅使用有限数量、精度较差的内置 MEMS 传感器很难在相对较大的空间内准确识别结果。

本文解决方案的主要思想是通过智能手表记录用户与设备的最新交互，然后猜测目标的位置和轨迹。该方法主要包括两步：手臂姿态估计和轨迹识别。

基于摄像头的交互动作识别

比较常用的基于相机的商业体感交互解决方案可能是 Kinect 系统，它利用红外投影仪和探测器来避免光照变化或复杂背景的影响，并在 3D 空间中捕获深度信息，例如体感游戏和智能控制。虽然基于摄像头的解决方案可以精确捕捉动作和交互意图，但它们面临着光照变化、复杂背景和部分遮挡物体的挑战，以及额外的红外传感器会导致成本过高。

研究人员使用射频信号和内置 MEMS 传感器来推断用户的动作和位置。Apple Inc 推出 Apple Watch，它利用肌肉活动的感应来实现人机交互。但是，由于他们没有挖掘历史信息轨迹和限制臂展，他们无法实现与多个智能家电的复杂交互。

随着智能手表应用的增加，我们通过内置 MEMS 传感器提出了一种基于可穿戴设备的智能家居人机交互解决方案。

使用智能手表进行动作识别

通过对人体手臂骨骼进行数学建模，将智能手表内置MEMS传感器采集到的数据转化为与手臂运动密切相关的自由度（DOF）数据，向量机（SVM）的分类模型通过手臂的自由度数据训练，对特定人机交互场景中的动作进行分类识别。然后将识别结果应用于智能家居的交互控制。智能手表就是收集数据、运行识别算法并发出交互控制指令的主体。

虽然智能家居的人机交互控制需求有很多种，但最广泛的类型可以分为三类。第一类是开启和关闭。所有智能家居产品都需要这样的交互。第二种是定量加减法。比如控制智能空调温度的升降，控制智能电视音量的升降。第三类是方向控制。比如控制智能窗帘太靠近左边，控制智能电视的菜单光标向右移动，控制智能空调向上吹等等。对于这三种人机交互，当智能手表识别到相应动作时，即可进行智能家居的交互控制。

首先，通过数学建模构建手腕姿势与手臂自由度到手臂骨骼的映射关系。根据人类的生理结构，手臂的运动是由肩、肘、腕关节、下臂和上臂的两个连接器决定的。三个关节和两个连接器有一定的运动范围（旋转或位移）。为了描述手臂的运动范围，我们需要使用自由度（DOF）的概念。智能手表通常佩戴在小臂上，因此我们可以忽略手的独立运动。

借助人体手臂姿态估计模型，可以将智能手表内置的MEMS传感器采集到的数据转化为与手臂运动密切相关的自由度数据。

交互动作识别流程图

一般情况下，只有当用户在家时，才需要与智能家居产品进行交互。此时，智能手表和智能家居接入同一个Wi-Fi路由器。因此，当智能手表检测到家庭Wi-Fi路由器的SSID时，则认为已经进入动作识别场景，反之则认为已经离开动作识别场景。

进入动作识别场景后，智能手表开始采集内置的MEMS传感器数据。接下来，我们需要从自由度数据的动作段中提取特征。这种提取方法使得识别动作更加可行。

实例验证

我们邀请五名志愿者将LG G手表戴在与手背同方向的左手腕上参加测试。

LG G Watch（型号W100，代号Dory）是LG和谷歌于2014年6月25日发布的一款基于Android Wear的智能手表，拥有512MB内存和高通12GHz CPU。手表配备 9 轴（陀螺仪/加速度计/罗盘）、气压计和 PPG 以感知位置、姿势、高度和心率。

每个人独立进行70组实验，每组实验包括2个触发动作、4个历史交互动作和1个随机动作。然后通过 Kinect 估计的性能来分析手臂姿势估计模型的可靠性和准确性。

选取几个基本动作进行验证，取一组画圆测试数据进行展示，测试者用他的手表在空间中任意画一个圆圈。下图为肘部和腕部轨迹线对应的图。左边是模型估计的结果，右边是Kinect的结果。可以发现，虽然左右图形的形状略有不同，但两个图形的轨迹具有相同的趋势。

绘制圆形轨迹线的模型估计结果和Kinect观测结果（单位：米）

一些相关的历史交互，例如加载顶部，加载底部，穿上东西和扔东西，它们的识别准确度如下图所示。

通过历史交互结果可以看出，智能手表识别动作的准确度很高，小于0.3m。

结论

本文的智能家居人机交互解决方案，主要包括手臂姿态估计模型和轨迹估计模型。利用 MEMS 传感器记录的手臂约束和历史信息，实现了基于细粒度动作识别的智能家居与粗粒度 MEMS 传感器的交互。

此外，引入更高效和有效的去噪滤波算法，以应对低成本内置传感器的挑战。此外，我们可以将轻量级深度学习网络（例如 MobileNet）移植到可穿戴设备以推断用户的活动。

随着智能手表和智能商品的普及，其计算能力和品类也将迅速增加。智能家电最终会走向智能家居，人机交互是未来既定趋势。

交互 智能 手表 识别 动作