Исследователи из Университетского колледжа Лондона (UCL) выяснили, что большие языковые модели (LLM) могут предсказывать результаты нейронаучных исследований точнее, чем люди. Это стало возможным благодаря способности ИИ анализировать огромные массивы научных данных и выявлять закономерности, недоступные человеческому восприятию. Результаты исследования опубликованы в Nature Human Behaviour.
Для эксперимента команда разработала инструмент BrainBench, содержащий пары аннотаций научных исследований: одни описывали реальные результаты, другие были искусственно изменены. Участникам нужно было определить, какая аннотация соответствует истине. В испытаниях участвовали 15 языковых моделей и 171 нейробиолог. Средняя точность ИИ составила 81%, тогда как у экспертов-людей — 63%. Даже наиболее квалифицированные участники показали результат ниже, чем языковые модели.
Чтобы повысить точность, учёные адаптировали языковую модель Mistral, обучив её специально на данных по нейронауке. Полученная модель, названная BrainGPT, достигла 86% точности, превзойдя универсальную версию. Исследователи отметили, что модели более уверенно выбирали правильные ответы, что открывает перспективы сотрудничества ИИ и экспертов.
Ведущий автор работы, доктор Кен Луо, считает, что такие инструменты могут изменить подход к научным исследованиям. В будущем ИИ сможет прогнозировать результаты экспериментов, помогая учёным оптимизировать их дизайн и ускорять научный прогресс. По мнению профессора Брэдли Лава, это исследование поднимает вопросы о том, насколько инновационными являются современные научные подходы.
Проект был поддержан рядом международных организаций и объединён усилиями учёных из нескольких стран, включая Великобританию, США, Германию и Турцию. Исследование подтверждает потенциал ИИ как мощного инструмента для продвижения науки.