从12米远的地方偷拍玩手机的你，成功恢复你在手机上输入的内容👻
芝加哥大学的研究人员研究出一种新的攻击方法，使用不到60美元的望远镜头装在智能手机上，从建筑物内（窗户后面）拍摄大约12米远正在打字的受害者，成功恢复了被输入的内容。
该方法不需要预先训练、键盘知识、本地传感器或侧信道等！
攻击概述：
1、攻击性质：这是一种在公共场合可执行的基于视频的击键推断攻击。
2、使用设备：攻击者只需要一台普通的RGB摄像机，从正面拍摄目标的打字手指。
3、独特方法：与以往方法不同，这种攻击不依赖于侧信道数据或其他假设，只需目标的打字手的正面视图。它不需要预先训练、键盘知识、目标的训练数据、本地传感器或侧信道。
4、样本场景：室内休息室场景，攻击者在观看视频时记录受害者的打字动作。长距离户外场景，攻击者使用带有廉价望远镜头的智能手机，从大约12米远的地方拍摄庭院中打字的受害者。
5、多样化条件：攻击在不同条件下进行评估，包括不同的环境（室内/室外）、攻击距离、障碍物和键盘设备（可见/隐形键盘，不同大小/布局）。
6、用户研究：研究涉及16名不同的用户，他们具有不同的打字风格和能力。攻击在几乎所有场景中都显示出高效果，并在行为差异显著的参与者中表现良好。
主要技术原理：
1、视频分析
手部追踪：首先，利用视频分析技术追踪并分析目标人物的手指动作。
击键检测：通过分析手指的移动和位置变化，检测击键动作。
2、数据处理
自我教学系统：使用一个双层结构的自我教学系统来处理视频数据。这个系统包括两个主要部分：击键的检测和聚类：利用手部追踪的结果来检测击键动作，并将它们进行分类。
隐马尔可夫模型（HMM）：使用HMM来识别具体的击键动作。
3、推断输入内容
语言模型：结合语言模型来分析和推断击键序列，从而推测出被输入的内容。
3D-CNN模型：使用3D卷积神经网络（CNN）模型进一步处理数据，提高推断的准确性。
详细介绍：https://sandlab.cs.uchicago.edu/keystroke/
论文：http://people.cs.uchicago.edu/~ravenben/publications/pdf/keystroke-usenix23.pdf
