Экс-разработчик OpenAI показал альтернативу ChatGPT, работающую в 200 раз быстрее LLM

Неожиданный анонс

Экс-разработчик OpenAI показал альтернативу ChatGPT, работающую в 200 раз быстрее LLM

Бывший исследователь OpenAI показал Jev — модель нового типа от компании TypeSafe AI. Она не пытается конкурировать с ChatGPT в генерации длинных текстов. Вместо этого она создана для быстрых решений: классификации, оценки данных и выбора действий.

Разработчики называют Jev представителем нового класса System One Models. В отличие от привычных больших языковых моделей, которые создают ответ последовательно токен за токеном, Jev сразу выдает структурированный результат с вероятностями.

Такой подход делает модель менее универсальной, но значительно быстрее. Она рассчитана на задачи, где важна скорость реакции, а не написание текста. Например, маршрутизация запросов, принятие игровых решений или автоматическая оценка данных.

Читают прямо сейчас:

Основные модели машинного обучения: виды и применение — почему классификация — это отдельный класс задач и чем специализированная модель вроде Jev лучше универсального LLM в таких сценариях

ИИкономика: токены, GPU и бигтех — кто реально контролирует ИИ — разбираем компромисс между скоростью и качеством: почему рынок ИИ неизбежно делится на быстрые и «умные» модели

Как обучают нейросети: методы и алгоритмы — как устроено обучение классификаторов и почему выдача структурированного результата работает быстрее генерации токен за токеном

Jev сыграла в DOOM и принимала решения 10 раз в секунду

В качестве демонстрации возможностей TypeSafe AI запустила Jev в игре DOOM. Модель получала информацию о происходящем на экране и выбирала действия примерно 10 раз в секунду.

При этом запуск оказался относительно дешевым. Демонстрация обходилась примерно в $7 в час. Разработчики отмечают, что такой уровень скорости и стоимости делает подобные модели пригодными для интерактивных систем, где классические LLM слишком медленные или дорогие.

До 200 раз быстрее и в сотни раз дешевле

По данным TypeSafe AI, в отдельных сценариях Jev может работать до 200 раз быстрее традиционных LLM и быть до 450 раз дешевле альтернатив.

Стоимость входных данных заявлена на уровне $0,042 за миллион токенов, а генерация выходных данных, по словам компании, не тарифицируется.

Однако эти показатели относятся к конкретному классу задач. Важно понимать, что Jev не заменяет универсальные языковые модели вроде ChatGPT или Claude. Ее преимущество проявляется там, где нужен быстрый выбор из ограниченного набора вариантов.

Меньше галлюцинаций, но ошибки все еще возможны

Еще одна особенность Jev — жесткая структура ответов. Модель не может выдать произвольный текст за пределами заранее заданного формата, поэтому классические языковые «галлюцинации» становятся невозможными.

Но это не означает абсолютную точность: Jev все еще может выбрать неправильный вариант из допустимых. То есть проблема смещается с генерации выдуманного ответа на корректность самого решения.

Если подход TypeSafe AI получит развитие, рынок ИИ может разделиться на два направления: универсальные LLM для общения и творчества, а также быстрые специализированные модели для систем, где важны скорость, стоимость и предсказуемость.

Большая скидка — 16% на все курсы Практикума

Если вы читаете эту новость, тогда вы точно разбираетесь в технологиях. Стать лучше и зарабатывать больше можно после курсов Практикума — по искусственному интеллекту, анализу данных и программированию.

До 17 сентября на все курсы действует скидка 16%, она применится автоматически при оплате!

В Практикуме есть программы для начинающих и специалистов с опытом, которые хотят обновить знания или освоить новое направление.

Соцсети: Юлия Зубарева
Через год — лучше работа, выше зарплата
В «Яндекс Практикуме» становятся разработчиками с нуля. Выберите язык — веб, Python, Java, C++ — и учитесь. Джуны зарабатывают от 80 000 ₽, мидлы — от 150 000 ₽. Дальше — программы трудоустройства и компенсация, если пойдёте в Яндекс.
Через год — лучше работа, выше зарплата Через год — лучше работа, выше зарплата Через год — лучше работа, выше зарплата Через год — лучше работа, выше зарплата
Вам может быть интересно
easy