Три лидера в сфере ИИ — OpenAI, Google и Anthropic — сталкиваются с падением отдачи от своих затратных усилий по созданию новых моделей. OpenAI разрабатывает масштабную модель Orion, но ее результаты пока не оправдывают ожиданий. У Google аналогичная ситуация с Gemini, а у Anthropic задерживается выпуск 3.5 Opus. С каждым новым проектом становится труднее найти свежие, качественные данные для обучения, а незначительные улучшения не окупают высокие затраты на разработку и эксплуатацию этих систем.
OpenAI завершила обучение Orion, на которую возлагали большие надежды как на шаг к созданию сверхмощного ИИ. Однако, по словам инсайдеров, прорыва, как от GPT-3.5 к GPT-4, модель не показала. Похожую проблему испытывает и Anthropic, чья модель 3.5 Opus не продемонстрировала ожидаемого улучшения, несмотря на значительные затраты.
В Кремниевой долине нарастают сомнения в том, что простое увеличение мощности и данных дает ощутимый прогресс в ИИ. Чтобы создавать более интеллектуальные системы, компании начинают искать доступ к высококачественным источникам данных и привлекать специалистов для их маркировки, что требует больших финансовых и временных вложений. Некоторые компании прибегают к созданию синтетических данных, но это не всегда приводит к значимым улучшениям.
Тем не менее, компании продолжают развивать свои продукты, увеличивая расходы на разработку. Генеральный директор Anthropic, Дарио Амодеи, сообщил, что в этом году на тренировки новых моделей будет потрачено $100 млн, а в ближайшие годы эти расходы могут вырасти до $100 млрд.
OpenAI также применяет длительный процесс пост-обучения для Orion, улучшая ответы модели на основе человеческой обратной связи. По мере того как затраты на создание новых моделей растут, компаниям приходится выбирать между улучшением существующих решений и разработкой новых систем, которые могут не принести ожидаемых результатов.