从12米远的地方偷拍玩手机的你,成功恢复你在手机上输入的内容👻
芝加哥大学的研究人员研究出一种新的攻击方法,使用不到60美元的望远镜头装在智能手机上,从建筑物内(窗户后面)拍摄大约12米远正在打字的受害者,成功恢复了被输入的内容。
该方法不需要预先训练、键盘知识、本地传感器或侧信道等!
攻击概述:
1、攻击性质:这是一种在公共场合可执行的基于视频的击键推断攻击。
2、使用设备:攻击者只需要一台普通的RGB摄像机,从正面拍摄目标的打字手指。
3、独特方法:与以往方法不同,这种攻击不依赖于侧信道数据或其他假设,只需目标的打字手的正面视图。它不需要预先训练、键盘知识、目标的训练数据、本地传感器或侧信道。
4、样本场景:室内休息室场景,攻击者在观看视频时记录受害者的打字动作。长距离户外场景,攻击者使用带有廉价望远镜头的智能手机,从大约12米远的地方拍摄庭院中打字的受害者。
5、多样化条件:攻击在不同条件下进行评估,包括不同的环境(室内/室外)、攻击距离、障碍物和键盘设备(可见/隐形键盘,不同大小/布局)。
6、用户研究:研究涉及16名不同的用户,他们具有不同的打字风格和能力。攻击在几乎所有场景中都显示出高效果,并在行为差异显著的参与者中表现良好。
主要技术原理:
1、视频分析
手部追踪:首先,利用视频分析技术追踪并分析目标人物的手指动作。
击键检测:通过分析手指的移动和位置变化,检测击键动作。
2、数据处理
自我教学系统:使用一个双层结构的自我教学系统来处理视频数据。这个系统包括两个主要部分:击键的检测和聚类:利用手部追踪的结果来检测击键动作,并将它们进行分类。
隐马尔可夫模型(HMM):使用HMM来识别具体的击键动作。
3、推断输入内容
语言模型:结合语言模型来分析和推断击键序列,从而推测出被输入的内容。
3D-CNN模型:使用3D卷积神经网络(CNN)模型进一步处理数据,提高推断的准确性。
详细介绍:https://sandlab.cs.uchicago.edu/keystroke/
论文:http://people.cs.uchicago.edu/~ravenben/publications/pdf/keystroke-usenix23.pdf