Исследователи безопасности распознали текст по звуку щелчков клавиатуры

Команда исследователей безопасности разработала модель глубокого машинного обучения, которая может распознавать набранный текст по звуку клавиатуры. Точность распознавания на записях, сделанных с помощью смартфона, достигает 95 %.

Для первого шага такого рода атак злоумышленнику необходимо получить запись нажатий клавиш на клавиатуре. Сделать это можно с помощью диктофона, расположенного рядом с жертвой, зараженного вредоносным ПО смартфона или звонка с помощью сервисов видеосвязи. После этого записанный звук можно обработать с помощью нейросети, чтобы получить расшифровку нажатий.

Исследователи тренировали свою модель машинного обучения на звуках клавиш, записанных с MacBook Pro. Каждую клавишу записали 25 раз. Полученные звуки визуализировали в виде спектрограммы, чтобы получить частотную характеристику клавиш.

После этого провели серию экспериментов с MacBook Pro, iPhone 13 mini в качестве диктофона, Zoom и Skype. Важно отметить, что во время записи смартфон находился в 17 сантиметрах от ноутбука. Результаты экспериментов показали, что в случае с «живой» записью точность распознавания составляет 95 %. Если использовать Zoom, то точность снижается до 93 %, а Skype – до 91,7 %.

Пользователям, опасающимся акустических атак нового типа, рекомендуют использовать биометрическую аутентификацию, чтобы не дать злоумышленниками украсть пароль. Также рекомендуется включать на фоне белый шум или звук, имитирующий нажатия клавиш, а также не использовать механические клавиатуры.