我们提供了一个手势定制框架，需要用户的例子，所有这些都没有降低现有手势集的性能。为了实现这一点，我们首先部署了一个大规模的研究(N=500+)来收集数据，并训练一个加速计-陀螺仪识别模型，在日常非手势数据上测试时，跨用户精度为95.7%，假阳性率为每小时0.6。接下来，我们设计了一个几镜头学习框架，它从我们的预训练模型中获得了一个轻量级模型，能够在不降低性能的情况下实现知识转移。我们验证我们的方法通过用户研究(N=20)检查设备定制12个新手势，导致平均准确率55.3%，83.1%和87.2%使用一个，三或五时添加一个新的手势，同时保持相同的识别精度和假阳性率预先存在的手势集。我们通过用户体验研究(N=20)进一步评估了我们的实时实现的可用性。我们的研究结果突出了我们的定制框架的有效性、可学性和可用性。
介绍穿着传感技术的最新进展导致了很有前途的手势识别系统[27,29,39,42,46,50,81,87]的出现。无论感知模式如何，典型的系统都使用预定义的手势设计，使用从多个用户[47,83,91,93,96]收集的数据。为了真正利用手势输入，设备应该允许用户添加他们自己的手势之外一个已有的手势词汇表[52,62,84]。这开启了几个优势，包括更好的手势记忆性[59]，更高的交互效率[63]，以及增强对有特殊需要的人的可访问性。
然而，对于旨在支持手势定制的系统有两个显著的要求，特别是如果条是为了防止原始手势集的性能下降。首先，这样的系统应该支持一个快速和最小化的数据收集过程（例如，大约五个样本），以限制用户的负担。其次，这样的系统应该超越模型微调，因为这经常会导致两个问题[80]：一个是忘记旧的，在旧的（即预定义的）类[21]上，模型的性能急剧下降；另一种是过拟合新类，微调后的模型容易对新类进行过拟合，因此降低了其泛化性[26]。
虽然一些早期的系统已经探索了少镜头手势识别（第一要求）[7,51]，但它们主要用于简单、显著的手势，并依赖于高度可区分的信号[3,4,51]。这通常会导致那些更细粒度和更自然的手势表现不佳。此外，这些系统将所有手势（旧的和新）分解成一个单一的全局手势集。他们没有区分预先存在的手势和定制的手势。但是，为了使这样一个系统在野外健壮，必须跟踪已存在的vs之间的性能基准。定制的手势集，在两者上都同样出色是至关重要的。据我们所知，之前的工作还没有研究过扩展现有的新手势模型（第二个要求）的挑战。
在本文中，我们提出了一个健壮的手势定制框架，它支持少量的用户示例（3到5个[68,82]），并在保持原始手势集的识别性能的同时提供现场反馈。我们的框架集成了迁移学习、增量学习和少镜头学习技术。为了做到这一点，我们首先进行用户研究超过500个用户在不同的上下文，使用加速计陀螺仪数据训练卷积神经网络(CNN)识别一个预定义的手势集（四个手势加上一个空类，其中包括60小时的日常活动，如散步、打字、驾驶、烹饪）。接下来，我们为自定义手势训练一个轻量级模型，而不调整原始模型的参数。我们使用预训练模型的前半部分作为特征嵌入提取器，并在嵌入层后创建一个并行输出，以便在不影响预训练模型的情况下训练一个新的模型。然后，我们利用一系列的数据增强、数据合成和对抗性训练技术，从很少的用户样本中提取最大的效用，并提高模型性能。
为了进一步确保一个新的手势是可靠的[62]，我们围绕一个交互式定制体验设计了我们的学习和训练过程。我们的系统不是简单地接受任何手势，而是在1）新手势出现时提供交互式反馈接近现有的手势集，2)相对于提供的示例太不一致，3)与频繁的日常活动等意外的交互太混淆，4)识别性能次优，在此期间，用户可以决定是否想要提供额外的示例。我们的研究结果表明，这种反馈机制使用户能够理解和更好地利用识别系统，以适应他们的准确性和可靠性偏好。图1说明了我们的框架的概述。
综上所述，我们的论文做出了以下核心贡献：
- 我们提出了一个少镜头手势定制框架，该框架可以支持具有少量样本的手势定制，而不会降低预定义手势的性能。
- 我们进行了一项大规模的用户研究（500名+参与者），并建立了一个腕带的加速计-陀螺仪手势识别模型。该模型可以识别四种手势，准确率为95.7%，F1得分为95.8%，在日常行为非手势数据上进行测试时，假阳性率为每小时0.6次。
- 我们通过设计架构、数据增强、数据合成、对抗性正则化技术和交互式反馈机制来扩展预先训练好的模型，从少数用户样本中提取最大的效用。除了现有的四种手势外，我们还对12种新手势评估了我们的框架。最终的模型在1、3、5个手势例子上的平均准确率分别达到55.3%、83.1%和87.2%，F1得分为66.0%、89.2%和92.1%。
- 我们通过用户研究来评估我们的实时三镜头手势定制系统的可用性。我们的研究结果表明，我们的手势定制系统实现了非常好的可用性和易学习性效果。我们相信，我们的框架使最终用户能够轻松地、创造性地根据他们的偏好和能力引入新的手势。
我们设计了一个集成了迁移学习、班级增量学习和少镜头学习的手势定制系统。图2可视化了框架的结构。在本节中，我们将详细描述我们的预训练模型，并在第4节中介绍我们的手势定制模型。
我们试图建立一个五类分类器，可以识别四种动态手势（紧握、双握、捏和双捏，见图7）和一种非手势情况（即消极手势）。为了确保鲁棒性，我们付出了巨大的努力，建立了一个大规模和多样化的手势数据集。表1提供了一个全面的总结。
我们拥有一个能够识别四种手势的模型，并在用户之间工作，具有强大的性能，现在我们描述了我们的手势定制框架。
我们的框架集成了迁移学习、班级增量学习和few-shot learning。在构建了性能良好的预训练模型后，我们在特征嵌入提取层后创建了一个新的分支，作为额外的预测头(图2a和图2c)。请注意，每个用户都有自己的功能特定的分支，即使当两个用户想要添加相同的定制手势。为了更好地理解这一点，图4可视化二维t分布随机邻居嵌入(t-SNE)情节的四个手势的数据收集，以及两个新用户的数据与他们执行两个定制的手势（和平和捏，见图7）和两个旧手势（紧握和捏）。
