Mistral представила Large 4 — модель на 1 трлн параметров с открытыми весами

Mistral представила Large 4 — новую флагманскую ИИ-модель с 1 трлн параметров. 

Сейчас доступна ее предварительная версия через API Mistral Studio, а открытые веса компания обещает выпустить до конца месяца. Модель рассчитана на работу с кодом, сложными агентными задачами, документами и изображениями.

1 трлн параметров — 52 млрд из них активные

Large 4 стала самой крупной и мощной моделью Mistral на сегодняшний день. Несмотря на общий размер в 1 трлн параметров, во время работы активны около 52 млрд. Модель изначально мультимодальная и умеет работать как с текстом, так и с изображениями.

Компания заявляет о высоких результатах в программировании, кибербезопасности, математике, финансах и анализе документов. В тестах на визуальное распознавание Large 4, по данным Mistral, даже обошла некоторые закрытые модели.

Для обучения использовали 3800 ускорителей NVIDIA Grace Blackwell. Все вычисления проходили в собственных дата-центрах Mistral в Европе. Значительная часть обучающих данных была многоязычной и охватывала более 160 языков.

Сильная сторона — программирование и кибербезопасность

Large 4 получила высокие результаты в задачах, где ИИ должен не просто написать код, а самостоятельно разобраться в большом проекте и выполнить последовательность действий. В DeepSWE v1.1 модель набрала 61,7%, в SWE-Atlas-QnA — 59,4%, а в Terminal-Bench 4 — 28,3%.

Отдельно Mistral делает ставку на кибербезопасность. В тесте, где модели предлагают воспроизвести реальную уязвимость в открытом ПО и затем исправить ее, Large 4 набрала 82%. Это лучший результат среди проверенных моделей. В Cybench она решила 93% заданий.

При этом компания подчеркивает, что модель предназначена не только для поиска уязвимостей. Она может анализировать вредоносные программы, расставлять приоритеты для найденных проблем и создавать правила обнаружения угроз.

Модель рассчитана на работу с агентами

Large 4 умеет самостоятельно использовать инструменты, собирать информацию и выполнять многошаговые задачи. В AutomationBench, который проверяет работу ИИ с сервисами вроде Gmail, Google Sheets, Slack и Salesforce, модель получила 59,9%.

Кроме того, она умеет работать со сложными таблицами, презентациями и документами. Mistral отдельно тестировала Large 4 на финансовых и юридических задачах. Как итог, компания заявила о результатах выше некоторых конкурирующих моделей.

Стоит отметить, что мультимодальные возможности тоже стали заметно шире. Модель может анализировать графики, технические чертежи, PDF-файлы и спутниковые снимки. В тесте Dense 200 она получила 42% против 41% у GPT-6 Astra.

Открытые веса выйдут до конца месяца

Пока Large 4 доступна только в виде предварительной версии через API. До публикации весов Mistral продолжит тестировать модель вместе с партнерами, специалистами по кибербезопасности и государственными организациями.

После выпуска веса можно будет развернуть самостоятельно — в частном облаке или на собственных серверах. Для Mistral это важная часть стратегии: компания хочет дать организациям возможность контролировать ИИ и не зависеть от ограничений стороннего провайдера.

Large 4 стала первым крупным этапом программы развития, которую Mistral финансирует после привлечения €3 млрд в рамках раунда Series D. Компания планирует наращивать вычислительные мощности в европейских дата-центрах и продолжать обучение модели.

В Mistral также обещают раскрыть больше подробностей об архитектуре, обучении и результатах тестов одновременно с публикацией весов.