Вопрос о способности искусственных нейронных сетей к выполнению композиционных обобщений в мире понятий долгое время вызывал споры. Однако исследователи из Нью-Йоркского университета и университета Помпеу Фабра в Испании разработали метод, названный метаобучение композиционности (MLC), который значительно расширяет возможности систем искусственного интеллекта, таких как ChatGPT, в области композиционных обобщений. Этот метод показывает впечатляющие результаты и в некоторых случаях превосходит способности человека.
Исследователи в течение долгого времени искали способы обучения нейронных сетей выполнять композиционные обобщения, которые связывают разные понятия. Исследуя возможность усиления композиционного обучения в нейронных сетях, исследователи создали MLC — новую процедуру обучения, при которой нейронная сеть постоянно обновляется для улучшения своих навыков в течение серии эпизодов. В эпизоде MLC получает новое слово и его просят использовать его композиционно — например, взять слово "прыжок", а затем создать новые словосочетания, такие как "дважды прыгать" или "дважды прыгать вправо". Затем MLC получает новый эпизод, в котором используется другое слово и так далее, каждый раз улучшая композиционные навыки сети.
Метод MLC предлагает инновационный подход к этой проблеме, позволяя нейронным сетям улучшать свои навыки в создании композиционных обобщений. Это достижение оценивается как прорыв, который позволит системам искусственного интеллекта значительно улучшить свои возможности.
Эксперименты сравнили способности MLC и людей в выполнении задач, связанных с композиционными обобщениями, и показали, что MLC проявляет себя так же хорошо, а в некоторых случаях даже лучше, чем люди. Этот метод демонстрирует потенциал для улучшения навыков композиции в больших языковых моделях и системах искусственного интеллекта.
Таким образом, исследование MLC представляет собой важный шаг в области развития искусственного интеллекта и его способности к композиционным обобщениям, превосходящим человеческие способности.