Исследователи, в том числе Нирупам Рой, доцент кафедры компьютерных наук Университета Мэриленда, собрали информацию с помощью лазерной навигационной системы в популярном вакуумном роботе и применили методы обработки сигналов и глубокого обучения для восстановления речи и идентификации воспроизводимых телевизионных программ в месте нахождения робота-пылесоса.
Исследование демонстрирует потенциал любого устройства, использующего технологию обнаружения и определения расстояния (лидар), которое можно использовать для сбора звука, несмотря на отсутствие микрофона. Эта работа, выполненная в сотрудничестве с доцентом Университета Сингапура Джун Ханом, была представлена на конференции Ассоциации вычислительной техники по встроенным сетевым сенсорным системам SenSys 2020.
Лидарные навигационные системы в домашних вакуумных роботах освещают лазерным лучом комнату и воспринимают отражение лазера, когда он отражается от близлежащих объектов. Робот использует отраженные сигналы, чтобы отображать комнату и избегать столкновений при движении по дому.
Эксперты по защите информации предположили, что карты, созданные вакуумными ботами, которые часто хранятся в облаке, представляют собой потенциальные нарушения конфиденциальности, которые могут дать рекламодателям доступ к информации о таких вещах, как размер дома, который предполагает уровень дохода, и другую информацию, связанную с образом жизни. Рой и его команда задались вопросом, может ли лидар этих роботов также представлять потенциальную угрозу безопасности в качестве устройств записи звука в домах или на работе пользователей.
Звуковые волны заставляют объекты вибрировать, и эти волны вызывают небольшие колебания света, отражающегося от объекта. Лазерные микрофоны, используемые в шпионаже с 1940-х годов, способны преобразовывать эти вариации обратно в звуковые волны. Но лазерные микрофоны полагаются на направленный лазерный луч, отражающийся от очень гладких поверхностей, таких как стеклянные окна.
С другой стороны, вакуумный лидар сканирует окружающую среду с помощью лазера и улавливает свет, рассеянный обратно объектами неправильной формы и плотности. Рассеянный сигнал, полученный датчиком вакуума, предоставляет только часть информации, необходимой для восстановления звуковых волн. Исследователи не были уверены, можно ли использовать лидарную систему вакуумного бота для работы в качестве микрофона и можно ли интерпретировать сигнал в значимые звуковые сигналы.
Во-первых, исследователи взломали робот-пылесос, чтобы показать, что они могут контролировать положение лазерного луча и отправлять полученные данные на свои ноутбуки через Wi-Fi, не мешая навигации устройства.
Далее они провели эксперименты с двумя источниками звука. Одним из источников был человеческий голос, озвучивающий числа, воспроизводимый через динамики компьютера, а другим — звук из различных телешоу, воспроизводимых через звуковую панель телевизора. Затем Рой и его коллеги зафиксировали лазерный сигнал, воспринимаемый навигационной системой вакуума, когда он отражался от различных объектов, расположенных рядом с источником звука. Среди предметов были мусорное ведро, картонная коробка, контейнер для еды и полипропиленовый мешок — предметы, которые обычно можно найти на полу.
Исследователи прогоняли полученные сигналы через алгоритмы глубокого обучения, которые были обучены либо согласовывать человеческие голоса, либо определять музыкальные последовательности из телешоу. Их компьютерная система, которую они называют LidarPhone, идентифицировала и сопоставляла разговорные номера с точностью 90% . Он также идентифицировал телешоу по минутной записи с точностью более 90%.
Исследователи подчеркивают, что пылесосы — лишь один из примеров потенциальной уязвимости для шпионажа с помощью лидаров. Многие другие устройства могут быть открыты для подобных атак, например, инфракрасные датчики смартфонов, используемые для распознавания лиц, или пассивные инфракрасные датчики, используемые для обнаружения движения.
