Новый чип позволит роботам видеть в 4D, одновременно отслеживая расстояние и скорость

Современные системы машинного зрения для роботов и дронов основаны на 3D-датчиках, которые, несмотря на свою мощность, не всегда успевают за быстрыми и непредсказуемыми движениями реального мира. Эти системы часто с трудом мгновенно измеряют скорость или слишком громоздки и дороги для повседневного использования. Теперь же в статье, опубликованной в журнале Nature, ученые сообщают о разработке 4D-датчика изображения на чипе, который создает 3D-карты окружающей среды, одновременно отслеживая скорость движущихся объектов.

Новый чип позволит роботам видеть в 4D, одновременно отслеживая расстояние и скорость

Исследователи создали матрицу фокальной плоскости (FPA) – физическую сетку из 61 952 стационарных пикселей, вытравленных на одном кремниевом чипе. Каждый из них представляет собой крошечный датчик, излучающий лазерный свет в направлении сцены и регистрирующий отраженный сигнал.

Для «видения» окружающей среды лазерный свет от внешнего источника подается на чип. Этот свет проходит через чип по сети оптических переключателей, которые последовательно направляют его к группам пикселей. Затем каждый пиксель использует метод, называемый FMCW LiDAR, для измерения возвращающегося сигнала, который впоследствии обрабатывается для определения расстояния и скорости. Во многих системах LiDAR один набор пикселей посылает свет, а другой принимает его, но здесь все пиксели одновременно посылают и принимают, что делает систему гораздо более компактной.

Кроме того, в этом чипе используется непрерывный лазерный луч, а не короткие световые импульсы, как в традиционных датчиках. Преимущество заключается в том, что это позволяет датчику обнаруживать мельчайшие изменения частоты световых волн. Это позволяет чипу одновременно вычислять расстояние до объекта и его скорость.

Команда протестировала свой датчик на чипе в нескольких условиях, чтобы проверить, как он может работать на разных расстояниях и при движении. Он сканировал сцены, а затем восстанавливал их в трехмерные цифровые карты, состоящие из тысяч точек данных. Система успешно отображала внутренние помещения на расстоянии от 6 до 11 метров.

Чтобы проверить дальность действия, ученые направили чип на здание, расположенное в 65 метрах от них, и он оказался достаточно мощным, чтобы запечатлеть такие детали, как окна и балконы. Они также протестировали свою инновацию на вращающемся диске, и он мгновенно измерил свою скорость.

«Это первая демонстрация крупномасштабной когерентной матрицы фотоприемников со всей сопутствующей электроникой, интегрированной на одном кристалле, что приводит к структуре затрат, необходимой для ее широкого внедрения», – написал ведущий автор исследования Ремус Николаеску.

Команде еще предстоит поработать над чипом, например, повысить разрешение и расширить его диапазон. После выхода за пределы лаборатории эта технология сможет приносить пользу не только роботам и дронам. Она также сможет улучшить цифровые камеры, в том числе и те, что используются в наших телефонах.

Читайте также

Anthropic заблокировала пять случаев использования Claude для потенциально опасных биологических исследований

Anthropic заблокировала пять случаев использования Claude для потенциально опасных биологических исследований

ИИ-агенты OpenAI тайно общались через сторонние сайты

ИИ-агенты OpenAI тайно общались через сторонние сайты

ИИ научился различать мысленно произнесенные слова с точностью 78%

ИИ научился различать мысленно произнесенные слова с точностью 78%

ИИ и квантовые технологии объединили для анализа МРТ-снимков головного мозга

ИИ и квантовые технологии объединили для анализа МРТ-снимков головного мозга

OpenAI использовала 10 000 ИИ-агентов для решения задачи тысячелетия

OpenAI использовала 10 000 ИИ-агентов для решения задачи тысячелетия

Умное покрытие спасет сверхпроводники от перегорания

Умное покрытие спасет сверхпроводники от перегорания

Астрофизические алгоритмы применили для моделирования земной аэродинамики

Астрофизические алгоритмы применили для моделирования земной аэродинамики

Сверхзвуковой самолет NASA X-59 завершил 25 испытательных полетов

Сверхзвуковой самолет NASA X-59 завершил 25 испытательных полетов

15 технологий древности, которыми человечество пользуется до сих пор

15 технологий древности, которыми человечество пользуется до сих пор

Семь самых больших машин в истории: гиганты весом в тысячи тонн и длиной в километры

Семь самых больших машин в истории: гиганты весом в тысячи тонн и длиной в километры

Те самые редкоземельные металлы: что в них редкого и зачем они вообще нужны

Те самые редкоземельные металлы: что в них редкого и зачем они вообще нужны

Состоялся запуск новейшего космического телескопа NASA

Состоялся запуск новейшего космического телескопа NASA

Ученых шокировала змея, охотящаяся с помощью фальшивого паука на хвосте

Ученых шокировала змея, охотящаяся с помощью фальшивого паука на хвосте

Открыт новый вид льда, способный объяснить тайны Нептуна и Урана

Открыт новый вид льда, способный объяснить тайны Нептуна и Урана

Ученые предложили печатать дома на Марсе из песка и дрожжей

Ученые предложили печатать дома на Марсе из песка и дрожжей

Почти 3000 взрывов звезд указали на то, что темная энергия меняется со временем

Почти 3000 взрывов звезд указали на то, что темная энергия меняется со временем