Компания Unsloth AI представила Bonsai 27B. По сути, это Qwen3.6 27B на 27 млрд параметров, которую, по словам разработчиков, можно запускать прямо на смартфоне благодаря особой технологии сжатия.
Речь идет не об урезанной версии, а о полноценной мультимодальной модели с поддержкой рассуждений, анализа изображений, вызова инструментов и работы в режиме ИИ-агента.
Читают прямо сейчас:
Локальные нейросети для ПК: топ-10 для установки оффлайн — как работает квантизация и почему сжатие в 14 раз не убивает качество модели полностью
Чем занят нейропроцессор в телефоне — как Apple Neural Engine и другие NPU справляются с вычислениями нейросетей прямо на устройстве
Как за 10 минут запустить нейронки локально на компьютере Apple — первый шаг к офлайн-ИИ на Apple Silicon — та же платформа MLX, на которой работает Bonsai 27B
Модель удалось уменьшить почти в 14 раз
Главное достижение Bonsai 27B — экстремальное сжатие весов.
Если обычная 27-миллиардная модель занимает около 54 ГБ в 16-битном формате, а даже 4-битная версия требует примерно 18 ГБ памяти, то новая разработка помещается всего в 3,9 ГБ.
Этого достаточно, чтобы запускать модель на современных смартфонах. Например, iPhone 17 Pro.
Разработчики подготовили две версии: 1-битную для мобильных устройств и тернарную (5,9 ГБ) для ноутбуков, где приоритетом остается максимальное качество ответов.
Почти не потеряла в качестве
Несмотря на столь агрессивное сжатие, модель сохранила большую часть возможностей. По данным разработчиков, тернарная версия удерживает около 95% качества оригинальной Qwen3.6 27B, а 1-битная — примерно 90%.
Лучше всего технология показала себя в задачах по программированию, математике и работе с инструментами. Именно эти функции сегодня считаются основой для ИИ-агентов.
ИИ сможет работать полностью офлайн
Bonsai 27B поддерживает контекст до 262 000 токенов, умеет анализировать изображения, документы и скриншоты, а также работать с локальными файлами без подключения к облачным сервисам.
По мнению создателей, это открывает путь к появлению полноценных офлайн-помощников, которые смогут выполнять сложные многоэтапные задачи прямо на устройстве пользователя, не отправляя личные данные на внешние серверы.
Модель уже распространяется по лицензии Apache 2.0, поддерживает устройства Apple через MLX и видеокарты NVIDIA с CUDA. Для разработчиков также запущен бесплатный тестовый API.
