ИИ Яндекса обошел NVIDIA в кодинге и догнал Alibaba в математике

Яндекс сравнил экспериментальную модель Alice AI Foundation LLM с решениями других разработчиков и рассказал о результатах. 

Модель построена по архитектуре MoE: всего в ней около 80 млрд параметров, но во время работы активны примерно 3 млрд. 

Такой подход позволяет снизить требования к вычислительным ресурсам без сильной потери качества.

Сильные стороны — код и знания

В задачах на программирование Alice AI Foundation LLM показала результат выше модели NVIDIA. При этом в тестах на олимпиадную математику она достигла уровня модели Alibaba.

Еще одна сильная сторона — работа с фактическими знаниями. По данным Яндекса, новая модель превосходит DeepSeek в ряде таких задач. При этом предыдущую Alice AI LLM 235B (с примерно в семь раз большим числом активных параметров) новинка обходит и вовсе в 75% вопросов.

Особенно хорошо модель справляется с русскоязычными задачами, литературой, историей, медициной и правом. В то же время контекст длиной до 256 000 токенов сохраняется на уровне DeepSeek.

Экономия вычислений

При обучении, разработчики использовали несколько оптимизаций. В частности, способ хранения промежуточных данных позволил втрое сократить расход видеопамяти. 

Система предварительной фильтрации датасета уменьшила объем вычислений при отборе данных в десятки раз. Ранее на этот этап требовалось более 200 000 GPU-часов.

Alice AI Foundation LLM распространяется по лицензии Apache 2.0, поэтому ее можно использовать в коммерческих проектах и исследованиях. 

В Яндексе отмечают, что сейчас это экспериментальная версия. На ней компания отрабатывает архитектуру для будущей единой модели с возможностями рассуждения в составе Алисы AI.