Ответить на вопрос о точности работы системы распознавания лиц в период массового ношения масок, согласно предварительному исследованию Национального института стандартов и технологий (NIST), оказалось достаточно сложно. Даже у лучших из 89 протестированных коммерческих алгоритмов распознавания лиц уровень ошибок составлял от 5% до 50% при сопоставлении нанесенных цифровым способом масок для лица с фотографиями того же человека без маски.
Результаты работы были опубликованы в виде межведомственного отчета NIST (NISTIR 8311), первого из запланированной серии тестов NIST Face Recognition Vendor Test (FRVT) по эффективности алгоритмов распознавания лиц на лицах, частично закрытых защитными масками.
Команда NIST исследовала, насколько хорошо каждый из алгоритмов может выполнять сопоставление «один к одному», когда фотография сравнивается с другой фотографией того же человека. Эта функция обычно используется для разблокировки смартфона или проверки паспорта. Команда протестировала алгоритмы на наборе из примерно 6 миллионов фотографий, которые использовались в предыдущих исследованиях FRVT. (Команда не тестировала способность алгоритмов выполнять сопоставление «один ко многим», используемое для определения, совпадает ли человек на фотографии с кем-либо в базе данных известных изображений).
Исследовательская группа накладывала изображения масок различной формы на исходные фотографии и проверяла работу алгоритмов. Из всего многообразия используемых сейчас масок команда отобрала девять самых распространённых вариантов масок. Все они значительно отличались по форме, цвету и покрытию носа. Цифровые маски были черного или голубого цвета, примерно того же цвета, что и синяя хирургическая маска. Формы включали круглые маски, закрывающие нос и рот, и маски большего размера, шириной с лицо владельца. У этих более широких масок были высокие, средние и низкие варианты, которые в разной степени закрывали нос. Затем команда сравнила результаты с эффективностью алгоритмов на лицах без маски.
По словам одного из авторов работы, все полученные результаты нужно воспринимать с поправкой на то, что они создавались до введения глобального масочного режима и потому работают не совсем корректно. Однако на основе полученных данных уже можно сделать ряд выводов:
- Точность алгоритмов с маскированными лицами существенно снизилась по всем направлениям. Используя немаскированные изображения, самые точные алгоритмы не могут идентифицировать человека примерно в 0,3% случаев. Замаскированные изображения повышают частоту отказов даже этих лучших алгоритмов примерно до 5%, в то время как менее продвинутые системы терпят неудачу в 20–50% случаев.
- Замаскированные изображения чаще приводили к тому, что алгоритмы не могли обработать лицо, что технически именовалось «отказом в регистрации или шаблоне» (FTE). Алгоритмы распознавания лиц обычно работают, измеряя черты лица — например, их размер и расстояние друг от друга — и затем сравнивая эти измерения с измерениями на другой фотографии. FTE означает, что алгоритм не может достаточно хорошо выделить черты лица, чтобы провести эффективное сравнение.
- Чем большую часть носа закрывает маска, тем ниже точность алгоритма. В исследовании изучалось три уровня покрытия носа — низкий, средний и высокий — и было обнаружено, что точность ухудшается с увеличением покрытия носа.
- В то время как количество ложноотрицательных результатов увеличивалось, количество ложных срабатываний оставалось стабильным или несколько снижалось. Ошибки в распознавании лиц могут принимать форму либо «ложноотрицательного», когда алгоритм не может сопоставить две фотографии одного и того же человека, либо «ложноположительного», когда он неверно указывает на совпадение фотографий двух разных людей. Небольшое снижение количества ложных срабатываний показывает, что наличие масок как таковых не подрывает этот аспект безопасности.
- Форма и цвет маски имеют значение. При использовании круглых масок частота ошибок алгоритма обычно ниже. Черные маски также ухудшили производительность алгоритма по сравнению с хирургическими синими, хотя из-за ограничений времени и ресурсов команда не смогла полностью протестировать эффект цвета.
Ведущий автор исследования сказал, что следующий этап, запланированный на конец этого лета, будет включать в себя тесты алгоритмов, созданных с учетом массового ношения медицинских масок.