Новый чип позволит роботам видеть в 4D, одновременно отслеживая расстояние и скорость

Современные системы машинного зрения для роботов и дронов основаны на 3D-датчиках, которые, несмотря на свою мощность, не всегда успевают за быстрыми и непредсказуемыми движениями реального мира. Эти системы часто с трудом мгновенно измеряют скорость или слишком громоздки и дороги для повседневного использования. Теперь же в статье, опубликованной в журнале Nature, ученые сообщают о разработке 4D-датчика изображения на чипе, который создает 3D-карты окружающей среды, одновременно отслеживая скорость движущихся объектов.

Новый чип позволит роботам видеть в 4D, одновременно отслеживая расстояние и скорость

Исследователи создали матрицу фокальной плоскости (FPA) – физическую сетку из 61 952 стационарных пикселей, вытравленных на одном кремниевом чипе. Каждый из них представляет собой крошечный датчик, излучающий лазерный свет в направлении сцены и регистрирующий отраженный сигнал.

Для «видения» окружающей среды лазерный свет от внешнего источника подается на чип. Этот свет проходит через чип по сети оптических переключателей, которые последовательно направляют его к группам пикселей. Затем каждый пиксель использует метод, называемый FMCW LiDAR, для измерения возвращающегося сигнала, который впоследствии обрабатывается для определения расстояния и скорости. Во многих системах LiDAR один набор пикселей посылает свет, а другой принимает его, но здесь все пиксели одновременно посылают и принимают, что делает систему гораздо более компактной.

Кроме того, в этом чипе используется непрерывный лазерный луч, а не короткие световые импульсы, как в традиционных датчиках. Преимущество заключается в том, что это позволяет датчику обнаруживать мельчайшие изменения частоты световых волн. Это позволяет чипу одновременно вычислять расстояние до объекта и его скорость.

Команда протестировала свой датчик на чипе в нескольких условиях, чтобы проверить, как он может работать на разных расстояниях и при движении. Он сканировал сцены, а затем восстанавливал их в трехмерные цифровые карты, состоящие из тысяч точек данных. Система успешно отображала внутренние помещения на расстоянии от 6 до 11 метров.

Чтобы проверить дальность действия, ученые направили чип на здание, расположенное в 65 метрах от них, и он оказался достаточно мощным, чтобы запечатлеть такие детали, как окна и балконы. Они также протестировали свою инновацию на вращающемся диске, и он мгновенно измерил свою скорость.

«Это первая демонстрация крупномасштабной когерентной матрицы фотоприемников со всей сопутствующей электроникой, интегрированной на одном кристалле, что приводит к структуре затрат, необходимой для ее широкого внедрения», – написал ведущий автор исследования Ремус Николаеску.

Команде еще предстоит поработать над чипом, например, повысить разрешение и расширить его диапазон. После выхода за пределы лаборатории эта технология сможет приносить пользу не только роботам и дронам. Она также сможет улучшить цифровые камеры, в том числе и те, что используются в наших телефонах.

Читайте также

22-тонный КАМАЗ-1010 «обманывает» законы физики в карельских лесах

22-тонный КАМАЗ-1010 «обманывает» законы физики в карельских лесах

ChatGPT заблокировал запросы на имитацию стиля известных писателей

ChatGPT заблокировал запросы на имитацию стиля известных писателей

«Умный пластырь» определяет сахар в крови через пот за пять секунд

«Умный пластырь» определяет сахар в крови через пот за пять секунд

Российские специалисты научили роботов находить кратчайший путь в сто раз быстрее

Российские специалисты научили роботов находить кратчайший путь в сто раз быстрее

Физики создали необычный аналоговый ИИ из 400 вращающихся микрочастиц в капле жидкости

Физики создали необычный аналоговый ИИ из 400 вращающихся микрочастиц в капле жидкости

Нейросети научат искать потенциальные ямы: ДГТУ формирует датасеты для анализа дорог

Нейросети научат искать потенциальные ямы: ДГТУ формирует датасеты для анализа дорог

Российская Tomato Quality Station автоматически сортирует помидоры

Российская Tomato Quality Station автоматически сортирует помидоры

Ученые предупредили о новой угрозе для квантовых компьютеров

Ученые предупредили о новой угрозе для квантовых компьютеров

Рождение GEO: как бренды платят миллионы, чтобы их советовал ИИ

Рождение GEO: как бренды платят миллионы, чтобы их советовал ИИ

Робот МФТИ установил рекорд сборки головоломки «мегаминкс» за 9,6 секунды

Робот МФТИ установил рекорд сборки головоломки «мегаминкс» за 9,6 секунды

Бензин как лотерея: станут ли гибриды и электромобили популярным выбором россиян?

Бензин как лотерея: станут ли гибриды и электромобили популярным выбором россиян?

7 удивительных фактов о черных дырах, которые меняют наше представление о Вселенной

7 удивительных фактов о черных дырах, которые меняют наше представление о Вселенной

Ученые предложили новый способ искать разумную жизнь во Вселенной — без поиска технологий

Ученые предложили новый способ искать разумную жизнь во Вселенной — без поиска технологий

Владение смартфоном снижает навыки чтения у детей 3–6 классов – исследование UCLA

Владение смартфоном снижает навыки чтения у детей 3–6 классов – исследование UCLA

Следы возрастом 1,43 млн лет у озера Туркана рассказали о предках человека ростом 180 см

Следы возрастом 1,43 млн лет у озера Туркана рассказали о предках человека ростом 180 см

NASA показало поврежденное колесо марсохода Curiosity после почти 14 лет работы на Марсе

NASA показало поврежденное колесо марсохода Curiosity после почти 14 лет работы на Марсе