Давайте представим ситуацию: вы находитесь в самолете с двумя пилотами — человеком и компьютером. Оба обладают контроллерами, но их ответственности разделены. Когда их внимание фокусируется на одном объекте, управление переходит в руки человека. Однако, если пилот человек отвлекается или что-то упускает из виду, компьютер мгновенно берет на себя контроль.
Знакомьтесь с Air-Guardian — системой, разработанной исследователями из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL). Когда современные пилоты сталкиваются с потоком информации с нескольких экранов, особенно в критических моментах, Air-Guardian действует как активный второй пилот; это партнерство между человеком и машиной, основанное на понимании внимания.
А как система определяет внимание? Для человека она использует отслеживание глаз, а для компьютера — так называемые "карты значимости", которые точно определяют, куда направлено внимание. Эти карты являются визуальными ориентирами, выделяя ключевые области на изображении и помогая понять и анализировать поведение сложных алгоритмов. Air-Guardian выявляет ранние признаки потенциальных рисков с помощью этих маркеров внимания и вмешивается только в случае нарушений безопасности, в отличие от традиционных систем автопилота.
Больше чем в авиации, этот механизм совместного управления может быть применен в автомобилях, дронах и других областях робототехники. В полевых испытаниях как пилот, так и система принимали решения на основе одних и тех же необработанных изображений при навигации к целевой точке маршрута. Успех Air-Guardian оценивался на основе общего числа наград, полученных во время полета, и более короткого пути к цели. Guardian снизил уровень риска в полетах и увеличил вероятность успешной навигации к целевым точкам.
Истинная сила Air-Guardian заключается в ее основополагающей технологии. Она использует кооперативный уровень на основе оптимизации, основанный на визуальном внимании человека и машины, а также гибкие непрерывные временные нейронные сети (CfC), известные своими способностями раскрывать причинно-следственные связи. Эта система анализирует входные изображения на предмет важных данных. Ее дополняет алгоритм VisualBackProp, который определяет фокусные точки системы на изображении, обеспечивая четкое понимание карты внимания.
Для более широкого использования необходимо доработать интерфейс взаимодействия человека и машины. Обратная связь показывает, что индикатор, такой как полоса, может быть более интуитивным, чтобы показать, когда система захватывает управление.
Air-Guardian открывает новую эпоху более безопасных небес, предоставляя надежную систему безопасности в те моменты, когда человеческое внимание ослабевает.
Даниэла Рус, профессор электротехники и лектор по информатике и инженерии Массачусетского технологического института,и главный автор статьи, говорит следующее:
Система Air-Guardian подчеркивает синергию человеческого опыта и машинного обучения, способствуя достижению цели использования машинного обучения для повышения эффективности пилотов в сложных сценариях и уменьшения эксплуатационных ошибок.