EXO Labs удивила техномир, запустив Llama — большую языковую модель (LLM) — на старом ПК с Windows 98 и процессором Pentium II. Видео с демонстрацией работы этой модели на устройстве 26-летней давности быстро стало вирусным. Несмотря на ограничения, машина справилась с задачей: на частоте 350 МГц LLM генерировала текст с приличной скоростью. Этот эксперимент — не просто шутка, а часть амбициозной миссии EXO по «демократизации ИИ» и обеспечению доступа к мощным моделям на любом оборудовании.
Организация, созданная инженерами и исследователями из Оксфорда, открыто выступает против монополии крупных корпораций на ИИ. EXO стремится сделать инструменты искусственного интеллекта доступными для всех, используя лёгкие архитектуры и упрощённые подходы. Демонстрация Llama на Windows 98 показывает, что современные модели могут работать даже на устройствах с минимальными ресурсами. В своём блоге EXO подробно описала процесс подготовки проекта, от поиска старого ПК на eBay до настройки среды разработки Borland C++ 5.02 для компиляции кода.
Ключом к успеху стала минималистичная реализация Llama2.c от Андрея Карпати. Этот код, состоящий всего из 700 строк на языке C, позволяет моделям Llama работать на устаревших системах. С его помощью EXO удалось добиться скорости генерации 35,9 токенов в секунду с моделью на 260 тысяч параметров. Хотя увеличение размера модели значительно снижает скорость, сам факт её работы на Pentium II уже впечатляет.
Но для EXO это только начало. Они работают над новой архитектурой трансформаторов под названием BitNet, которая обещает ещё больше снизить требования к аппаратному обеспечению. BitNet использует троичные веса, что позволяет модельям с 7 миллиардами параметров помещаться в 1,38 ГБ памяти. Такая лёгкость делает возможным запуск мощных моделей на обычных процессорах, без дорогих GPU. В перспективе BitNet может обеспечить работу моделей с 100 миллиардами параметров на одном CPU со скоростью чтения, сопоставимой с человеком.
EXO надеется, что их работа вдохновит на создание децентрализованной инфраструктуры для ИИ. Организация активно привлекает энтузиастов, готовых развивать это направление. На их Discord-канале Retro обсуждают запуск LLM на старых устройствах — от Gameboy до Raspberry Pi.
Этот эксперимент доказывает: искусственный интеллект не обязан быть прерогативой корпораций с гигантскими дата-центрами. С такими проектами, как у EXO, будущее ИИ становится доступным и открытым для каждого.
