Энтузиаст работает над неофициальным портом llama.cpp для взломанных PS5.
Проект PS5LM должен позволить запускать на консоли популярные языковые модели полностью офлайн — без компьютера и облачных сервисов.
Читают прямо сейчас:
Локальные нейросети для ПК: топ-10 для установки оффлайн — как работает llama.cpp и почему именно его выбрал разработчик для порта на PS5
Что такое эмулятор — как кастомные прошивки и неофициальные порты открывают доступ к возможностям консоли, которые производитель не предусмотрел
Чем занят нейропроцессор в телефоне — как GPU консоли справляется с матричными вычислениями нейросетей и почему 27B параметров — амбициозная цель для консольного железа
ИИ прямо на консоли
Разработчик metover рассказал о проекте на Reddit. Он переносит llama.cpp на PS5, чтобы запускать Qwen, *Llama, Mistral и Gemma непосредственно на консоли.
В качестве одной из целей автор называет запуск модели на 27 млрд параметров с использованием собственного процессора и GPU PS5.
Автор впервые написал о проекте, когда тот находился на ранней стадии: разработчик подготовил инструменты для сборки, но модель еще не запускалась на самой консоли. Позже он сообщил, что ему удалось добиться первого успешного запуска.
Пока только для взломанных PS5
PS5LM рассчитан на консоли с кастомной прошивкой. По словам автора, проект работает на версиях прошивки от 7.00 до 13.60 с использованием elfldr.
Сейчас разработчик ищет людей, которые хорошо разбираются в графической подсистеме PS5 и готовы помочь с тестированием. Исходный код проекта опубликован на GitHub.
Пока неясно, с какой скоростью будут работать модели и какой объем контекста удастся получить. Эти параметры особенно важны для запуска крупных моделей на консольном железе.
Автор также отмечает, что запуск ИИ одновременно с игрой может оказаться слишком тяжелой задачей. В обсуждении пользователи уже предложили использовать модель для голосовых подсказок во время прохождения игр.
Разработчик ответил, что одновременная работа двух задач, скорее всего, окажется слишком требовательной, но не исключил такие эксперименты в будущем.
*Компания Meta и ее продукты признаны экстремистскими, их деятельность запрещена на территории РФ
Скидка на все курсы Практикума
Раз вы дочитали эту новость до конца, с технологиями у вас всё в порядке. А если давно присматривались к разработке, аналитике, нейросетям, тестированию или кибербезопасности, сейчас туда можно зайти дешевле.
Промокод KOD (можно просто нажать) даст скидку на любой платный курс! А если пока не готовы покупать курс, у Практикума есть бесплатные вводные части.
