Github 搜: "ggerganov/kbd-audio"
此项目地基本原理
关键目的是运用按键盘键位做为副声道出现的响声，便于猜想所输入文字的內容。因此，该计算方法将包括声频纪录的训练集及其在该纪录期内输入的相对应键做为键入。应用此数据信息，优化算法可 掌握不一样按钮的响声是啥，随后试着仅应用捕获的声频来鉴别响声。从某种程度上讲，该训练集是对于指定的设定的-电脑键盘，话筒和二者之间的相对位置。变更这种原因中的任意一个都是会使该方式失效。此外，现阶段的建立可以即时开展预测分析。
执行中涵盖的关键流程如下所示：
- 搜集学习培训数据信息
- 建立预测模型(学习培训流程)
- 按键检测
- 预测分析检验到的功能键的按键
搜集学习培训数据信息
在现阶段的完成中，击键中间的音效被简洁明了地丢掉。在具体按住以前和以后，大家仅将声频维持在75-100ms以内。这有点儿繁杂，由于功能键和程序流程捕获的事情中间好像存有任意延迟时间-最有可能涉及到硬件配置和手机软件要素。
例如，这也是在键盘上按英文字母“ g”的详细声频波型如下所示所显示：
从图上可以看得出，在工作压力最高值以后没多久还有一个额外的释放出来最高值。Keytap仅仅忽视公布最高值。这儿很有可能有可能获取更多信息，可是为了更好地简易考虑，数据信息被丢掉。最终，此键的培训数据信息如下所示所显示：
显而易见，75 ms的对话框对输入速率增加了一定的限定-假如在这里时间范围内击键重合，则会渗入不一样键的培训数据信息。
另一个观查結果是，某一键的可以用练习波型越多-越好。组成好几个波型有利于缓解噪声。除此之外，依据客户按住功能键的方法，每个功能键的听起来很有可能略有不同，因而很有可能会捕获各种各样功能键很有可能传出的响声。
建立预测模型
大家可以这里得到较大的想像力-人工神经网络，人工智能技术，神经元网络等。Keytap 应用比较简单的方式。针对每一个学习培训密匙，大家实行3个流程：
- 两端对齐搜集的波形图的最高值。这有利于防止在监测到功能键事情以前开展任意的延迟时间(前边已表明)。
- 根据同质性衡量的波型更细致的两端对齐。有时候，最高值并没有最佳的指标值，因而大家应用更准确的方式。
- 两端对齐波型的简易加权平均值。权重值由同质性衡量规范界定。
我们不期待立即运用流程2，由于相似之处指标值的测算很有可能会占有很多CPU資源。因而，流程1合理地减小了两端对齐对话框的范畴并降低了测算量。
在第3步以后，大家为每一个键最后获得一个均值波型。稍候将其与即时捕获的信息开展较为，并用以预测分析最有可能的密匙。
功能键全过程中采用的同质性指标值是互相关(CC)：
在这里，Ai和Bi是被非常的2个波型的波形样版。较高的CC值相匹配于好几个类似的波型。还可以应用别的同质性衡量。
功能键中间间距的時间信息内容有可能会集成化到预测模型中。到现在为止，我已经防止了那样的方式，由于他们难以执行。
按键检测
Keytap应用比较简洁的阀值技术性来检验初始声频中的功能键事情。显而易见，大家期望客户按住功能键的时候会发生一个极大的最高值，因此这就是我们要想的。该阀值是响应式的-它相比于以往好几百ms的均值样版抗压强度来讲。
这类方式肯定并不是极致的，希望我明白怎样作出更靠谱的办法来检验新闻事件。我就不太喜欢与现阶段阀值解决技术性密切相关的free主要参数。
预测分析检验到的功能键的按键
一旦辨识出潜在性的功能键事情，大家就可以明确波型中最高值的部位，并测算该一部分波型与练习数据信息中全部均值波型的同质性衡量。大家容许在峰周边有一个小的两端对齐对话框(如前所述)。大家期待最大同质性衡量将相匹配于所输入的密匙。
一些观查
我注意到，当优化算法没法监测到恰当的密匙时，它仍会预测分析周边的密匙。相邻，因为它坐落于真锁匙边上。因此，我能想起2种表述：
- 键盘上的周边功能键会传出相近的响声
- 在这些方式中，功能键相对性于话筒的部位针对预测分析十分关键
我觉得选择项1不大可能。
另一个观查結果是，和非机械键盘对比，机械键盘更易于遭受该类进攻。
功能键2
我很明确可以完成一种压根不用搜集练习数据信息的分析预测方式。假定客户以某类已经知道语言表达(例如英语)输入文字，则与该语言表达的N-gram相关的统计资料与检验到的功能键的同质性衡量结合在一起足够检验出已经输入的文字。事实上，它归纳为摆脱替代密码。
Keytap2是试着演试这类伤害的一种试着。我仍在勤奋-我滞留在依据其CC对按钮开展聚类分析的一部分。可是我觉得最少我已经做好准备替代密码破译一部分。在具体工作中的时候会试着带来大量详细资料。