Энтузиасты показали, что современные ИИ-архитектуры можно запускать даже на ретро-железе.
Проект Soul Player C64 — это полноценный трансформер, работающий на Commodore 64 с процессором 1 МГц и всего 64 КБ памяти.
Модель занимает всего 25 КБ и записывается на обычную дискету. При этом это не упрощенная имитация, а настоящий decoder-only трансформер. То есть тот же класс архитектуры, что лежит в основе современных LLM.
Как ИИ уместили в 25 КБ
Автор проекта реализовал модель вручную на ассемблере 6502.
Внутри — все знакомые элементы: attention, нормализация, MLP и residual-связи. Разница только в масштабе — около 25 000 параметров против триллионов у современных моделей.
Главный трюк в агрессивной квантизации. Все веса хранятся в int8, а вычисления идут в фиксированной точке. Даже функция softmax реализована через таблицу значений, чтобы обойти ограничения старого процессора.
Без этих оптимизаций модель просто не поместилась бы в память и не смогла бы работать.
Медленно, но честно
Производительность, конечно, далека от современных стандартов. Генерация одного токена занимает около минуты. Полный ответ — несколько минут.
Пока модель «думает», компьютер мигает рамкой экрана и издает звуки через чип SID — это своеобразный индикатор прогресса.
Но главное, что все вычисления происходят на реальном железе, без эмуляции современных ускорителей.
Интересный эксперимент
С точки зрения результата модель далека от ChatGPT. Ответы выглядят как искаженный текст и часто лишены смысла.
Но ценность проекта в другом: он показывает трансформер «в разрезе». Каждое умножение, каждая операция — видны и понятны. Это редкий случай, когда сложная архитектура становится полностью прозрачной.
Фактически это учебный стенд, который позволяет понять, как работают LLM без абстракций вроде PyTorch.
