Исследователь и разработчик под ником 0x0SojalSec заявил, что сумел обойти ограничения нейропроцессора Apple M4 и запустить на нем не только инференс, но и обучение нейросетей.
Речь идет о Neural Engine (ANE) — блоке в чипах Apple, который обычно используется для ускоренного выполнения уже обученных моделей. В штатном режиме Apple не предоставляет доступ к обучению моделей на этом блоке.
По словам разработчика, ему удалось «разблокировать» до 15,8 TFLOPS вычислительной мощности и запустить обучение с обратным распространением ошибки, включая трансформерные модели.
Читают прямо сейчас:
Локальные нейросети для ПК: топ-10 для установки оффлайн — подборка инструментов для запуска моделей без облака на своём железе
Как за 10 минут запустить нейронки локально на компьютере Apple — пошаговый план для процессоров серии M без танцев с бубном
Как обучают нейросети: методы и алгоритмы — разбираем на примерах сам процесс обучения, который энтузиасты пытаются перенести на Neural Engine
Как это работает
Вместо стандартных инструментов Apple вроде Core ML и Metal, энтузиасты построили собственный слой взаимодействия с железом — Model Intermediate Language (MIL). Он позволяет напрямую обращаться к Neural Engine.
Также используется хранение данных в оперативной памяти, чтобы не упираться в медленные операции записи на диск.
Для стабильности процесса применяется механизм перезапуска вычислений при сбоях с сохранением состояния обучения.
Что получилось в итоге
По заявлениям автора, тестовые запуски показывают, что отдельные шаги обучения нейросетей на Apple M4 выполняются за миллисекунды. Код проекта опубликован в открытом доступе.
При этом важно, что официально Apple не поддерживает и не документирует обучение моделей на Neural Engine. Чип предназначен только для инференса и оценивается примерно до 38 TOPS.
Почему это важно
Если подход окажется стабильным, обычные Mac и iPad на базе Apple Silicon потенциально смогут использоваться не только для запуска, но и для обучения небольших ИИ-моделей локально — без облака.
