Одна и та же нейросеть может по-разному отвечать пользователям в зависимости от языка запроса. Anthropic выяснила, что Claude чаще критикует, спорит и указывает на ошибки именно в русскоязычных диалогах.
Компания проанализировала около 310 000 анонимных разговоров с Claude на 20 языках и сравнила, какие модели поведения проявляет ИИ. Оказалось, что сильнее всего языки отличаются по балансу между «теплотой» и «строгостью».
На одном конце оказался хинди: там Claude чаще поддерживает пользователя, использует более дружелюбный тон и охотнее соглашается с идеями. На другом — русский язык, где модель чаще выступает в роли строгого редактора: проверяет факты, спорит с предположениями и требует больше доказательств.
Читают прямо сейчас:
Галлюцинации ИИ: почему LLM врут и как с этим бороться — как обучающие данные на разных языках формируют разное поведение одной и той же модели
Как обучают нейросети: методы и алгоритмы — какие механизмы в процессе обучения превращают текстовые данные в модели поведения, разные для разных языков
Как выбрать свою LLM-модель — как устроены параметры обучения и почему одна модель может вести себя по-разному в зависимости от языка запроса
Русский Claude не грубит — он просто чаще ищет ошибки
Anthropic отдельно отмечает: «строгость» в исследовании не означает холодный или неприятный стиль общения. Речь о том, насколько активно модель проверяет информацию и указывает на слабые места в рассуждениях.
Например, при оценке бизнес-плана русскоязычная версия Claude скорее спросит, откуда взялись цифры и какие есть риски, тогда как на других языках может сначала похвалить идею и предложить улучшения.
Исследователи считают, что разница может быть связана с особенностями обучающих данных. Для разных языков у моделей разное количество и качество материалов, а тексты в обучающей выборке могут влиять на то, какие модели поведения ИИ перенимает.
Anthropic пока не знает, ошибка это или особенность
Компания не считает найденные различия однозначной проблемой. Возможно, Claude просто адаптируется к культурным особенностям разных языков. Но есть и другой вариант: где-то модель сильнее отклоняется от задуманного поведения из-за особенностей данных.
В будущем Anthropic хочет использовать такие профили при оценке новых версий Claude и научиться управлять «характером» модели через обучение и системные инструкции.
А пока русскоязычные пользователи получили не самого ласкового, но довольно полезного собеседника — скорее строгого коллегу, который первым найдет ошибку в презентации.
