Набравшие безумную популярность нейронные сети представляют собой мощные модели машинного обучения, способные решать множество задач. Их название связано с тем, что их архитектура вдохновлена работой биологических нейронов в человеческом мозге.
Примерно шесть лет назад был представлен новый вид нейронной сети, названный "трансформатор". Эти модели обладают уникальной мощностью, например, способностью генерировать текст, близкий к человеческому уровню, и являются основой для таких систем искусственного интеллекта, как OpenAI ChatGPT и Google Bard. Трансформаторы чрезвычайно эффективны, но их архитектура до сих пор оставалась загадкой, особенно в контексте использования биологических компонентов.
Ученые из Массачусетского технологического института, Лаборатории искусственного интеллекта Watson MIT-IBM и Гарвардской медицинской школы предложили гипотезу, которая может объяснить, как можно было бы построить трансформатор с использованием биологических элементов, подобных тем, что существуют в мозге. Они предположили, что биологическая сеть, состоящая из нейронов и других клеток мозга, таких как астроциты, могла бы выполнять аналогичные вычисления, что и трансформатор.
Последние исследования указывают на то, что астроциты, клетки, которые населяют мозг, взаимодействуют с нейронами и выполняют ряд физиологических функций, таких как контроль кровотока. Однако до сих пор не было полного понимания их роли в вычислениях.
В новом исследовании, опубликованном в журнале Proceedings of the National Academy of Sciences, исследователи рассмотрели роль астроцитов с вычислительной точки зрения и разработали математическую модель, которая показывает, как эти клетки могут быть задействованы вместе с нейронами для создания биологически аналогичной трансформатору системы.
Их гипотеза предоставляет новое понимание, которое может стимулировать будущие исследования в нейробиологии и помочь исследователям машинного обучения лучше понять, почему трансформаторы настолько эффективны в решении разнообразных сложных задач.
Работа в этой области продолжается, и следующим этапом будет сравнение предсказаний модели с результатами биологических экспериментов, что позволит уточнить и проверить данную гипотезу. Кроме того, это исследование может также подсказать возможное влияние астроцитов на долговременную память, что может стать предметом будущих исследований.
