Вчера (13 февраля 2024 года) Яндекс показал свой новый браузер — теперь он умеет проверять на лету ошибки в тексте, сокращать текст, менять его стиль и подачу, генерировать картинки и переводить видео с других языков почти в реальном времени. Мы установили в редакции новый браузер и решили проверить, как эти технологии работают в жизни и что они умеют.
Яндекс не платил нам за эту публикацию и не согласовывал текст. Всё, что написано ниже, — личное мнение редакции о возможностях нового браузера. Когда Сафари, Хром или Файерфокс сделают что-то подобное без плагинов и дополнительных инструментов — мы тоже об этом напишем отдельный обзор и, если у них получится хорошо, честно об этом скажем.
Зачем нужны нейросети в браузере
Задача большинства современных нейросетей — дать пользователям удобный инструмент для быстрого выполнения разных задач. Например, нейронками часто пользуются для того, чтобы:
- нарисовать картинку;
- придумать или отредактировать текст;
- написать музыку;
- сделать песню или написать стихи;
- составить план действий на основе вводных;
- разобраться в сложной ситуации — пересказать её попроще и покороче.
Получается, что задач много, а нейросети позволяют их выполнить быстро и чаще всего бесплатно. Единственный минус — каждая нейросеть работает как отдельный сервис, где иногда нужна регистрация или оплата. Ребята из Яндекса придумали классное решение: встроить часть своих нейросетей прямо в браузер, чтобы можно было решать самые частые задачи, не переходя в отдельные сервисы.
Что добавили в Яндекс Браузер
Новый Яндекс Браузер умеет:
- исправлять ошибки в тексте;
- сокращать текст — делать из него выжимку самого главного;
- улучшать стиль и подачу текста;
- генерировать картинки по запросу;
- составлять конспекты видео из Ютуба;
- переводить голосом видео с 8 языков на русский в реальном времени.
Короче, в Яндексе прикинули самые частые сценарии использования нейросетей обычными пользователями и добавили их в браузер. Теперь посмотрим, насколько хорошо это получилось и будет ли удобно всем этим пользоваться в жизни.
Технически в Браузер интегрировали 2 нейросети:
- YandexGPT для работы с текстом;
- Шедеврум — для создания картинок по запросу.
YandexGPT — это та же самая нейросеть, которая живёт в Алисе и помогает ей отвечать на вопросы и общаться с пользователем. А Шедеврум — это мобильное приложение Яндекса, которое позволяет генерировать картинки в любом жанре и любой детализации изображения. Получается, что под капотом нового браузера лежат российские технологии, которые лучше других понимают русский язык и умеют работать с такими запросами.
Исправление ошибок
Как сказали разработчики на презентации, средняя точность нахождения и исправления ошибок нейросетью — не исправлено максимум 4 ошибки на 40 000 символов. Для сравнения: допустимая норма профессионального корректора — 8 ошибок при том же объёме текста.
Исправление ошибок работает в любом поле ввода на любом сайте, если его открыть в новом браузере. Единственное исключение — в строке поиска это не работает. Мы будем проверять работу нейросети в поле для комментариев, которые находятся под каждой статьёй в коде. Для проверки вставим туда такой текст, где заранее допустим несколько ошибок:
привет, это текст для проверки. интересно сколько ошибоок наидет браузер в этм тексте и как их исправет
Для исправления ошибок нужно выделить текст мышкой — и сразу увидим новое контекстное меню. В нём выбираем «Помочь с текстом» и выбираем «Исправить ошибки»:
Нейросеть копирует себе выделенный текст и сразу показывает, какие ошибки она нашла и как предлагает их исправить. Если всё нормально, нажимаем «Заменить выделенный текст» и получаем версию этого же комментария, но без ошибок:
Единственное, с чем промахнулась нейросеть — слово «исправить». По контексту тут предполагается «исправит» без мягкого знака, но в остальном всё круто: появились большие буквы, запятые в нужных местах и исправлены все ошибки:
Сокращение текста
Вторая опция работы с текстом — его сокращение. Проще говоря, нейросеть читает текст, находит в нём ключевые мысли и коротко их пересказывает, стараясь не потерять суть по пути.
Для проверки возьмём текст из начала статьи про микроразметку и вставим его в то же поле для комментариев под статьёй:
А теперь неочевидное: если просто выделить весь текст, нажав Ctrl (Cmd) + A, то контекстное меню не сработает и опций по работе с текстом мы не увидим. Чтобы всё работало как задумано, текст нужно выделить мышкой — и в таком случае контекстное меню с нейроопциями будет на месте. Правда, оно будет не такое яркое и цветное, как в примере выше, но с чем это связано, мы так и не поняли. Если вы знаете — напишите в комментариях.
Для сокращения текста выделяем его и в контекстном меню выбираем «Сократить»:
Браузер на пару секунд задумается и покажет справа окно с сокращённым текстом. Можно просто прочитать его или заменить им свой исходный текст, нажав на чёрную кнопку внизу:
Если текущий вариант сокращения оказался не очень удачным, можно нажать кнопку «Другой вариант» и получить новую версию пересказа:
Работа со стилем текста
Третья опция — улучшение стиля. Это что-то среднее между сокращением и рерайтом с использованием инфостиля. Нейросеть анализирует текст и собирает на его основе другой — написанный чуть проще, понятнее и слегка короче.
Самое очевидное применение этой технологии — перевод заметок «на бегу» и конспектов созвонов в полноценные посты и описания задач. Мы же проверим, как работает эта технология на наших же текстах: возьмём всё то же начало статьи про микроразметку и попросим улучшить стиль, выбрав третий вариант в контекстном меню:
После нажатия справа появится окошко с новым текстом — переписанным и улучшенным (так, как это понимает нейросеть):
Для сравнения держите два текста: опубликованную статью про микроразметку в «Коде» и то, что получилось у нейросети Яндекса. Напишите в комментариях, какая версия выглядит лучше и понятнее.
Начало статьи про микроразметку после обработки YandexGPT
Когда мы ищем что-либо в поисковой системе, найденные сайты отображаются со специальными текстовыми фрагментами - сниппетами. Сниппет - это адаптированная под поиск мини-версия веб-страницы с ее ключевыми мыслями. В результате пользователь сразу понимает, будет ли ему полезен сайт или стоит поискать что-то другое.
Поисковик может сформировать пару строк простого сниппета сам: процитировать отрывок веб-страницы со словами из запроса или взять описание из тега <description>.
Однако, если у сайта есть расширенный сниппет с картинкой или ссылками, то для его отображения в результатах поиска необходимо указать дополнительные данные в коде страницы и использовать микроразметку. Об этом и поговорим.
Микроразметка - это специальный код, который добавляется на веб-страницу, чтобы предоставить машинам более подробную и структурированную информацию о ней. Изначально микроразметку придумали для поисковых систем, чтобы они могли интерпретировать информацию на сайте, используя метаданные и ключевые слова. Со временем микроразметку стали поддерживать и другие сервисы, такие как мессенджеры и социальные сети.
В коде микроразметки используются специальные теги, которые содержат информацию о различных атрибутах контента веб-страницы. В зависимости от типа контента и целей его использования, теги могут описывать разные элементы:
- для многостраничного сайта - разделы и наиболее важные страницы;
- для статьи в интернет-издании - обложка, заголовок, автор и дата публикации;
- для страницы товара в интернет-магазине - фотография товара, его цена и рейтинг;
- для страницы с кулинарным рецептом - фотография блюда, список ингредиентов, время приготовления, количество порций;
- для страницы "О компании" - контактный телефон, адрес и часы работы и т.д.
Создание картинок
Тут всё просто: разработчики взяли Шедеврум Яндекса — мобильное приложение, которое генерирует картинки по запросам, как Midjorney,— и добавили в браузер возможность работать с ним напрямую, без мобильного приложения. Единственное ограничение — 10 картинок в день; если надо больше, то тут уже только через приложение.
Для создания картинок нажимаем кнопку Алисы в левом нижнем углу и выбираем YaART — режим создания изображений:
После этого описываем, что мы хотим увидеть на картинке, и нажимаем энтер. Секунд 10 спустя получаем готовую картинку в хорошем разрешении. Её можно сохранить себе или скопировать в буфер обмена.
Вот что нарисовал Шедеврум в ответ на наш запрос о старом грузовике в чёрно-белом стиле. Судя по красным тонам и иероглифам на вывеске, дело происходит где-то в Китае:
Пересказ видео
Интересная штука, которая может сильно сэкономить время, — пересказ видео без его просмотра. Для этого открываем видеохостинг, наводим курсор на нужное видео и нажимаем кнопку «Пересказать»:
Нейросеть на секунду задумываеся, а потом даёт краткий пересказ с разбивкой по таймкодам — о чём говорят в каждом фрагменте видео. Если кликнуть на текст с выбранным фрагментом, в новой вкладке откроется видео как раз начиная с этого момента.
Перевод видео
Напоследок — перевод видео, который работает в режиме реального времени. Просто открываем нужное видео, нажимаем на кнопку «Перевести», которая появляется сверху видео, и через 3–5 секунд слышим прямой синхронный перевод. Перемотка, пауза — всё это работает и синхронизируется с переводом. Описывать текстом это сложно, поэтому попробуйте сами и поделитесь впечатлениями.
Что не работает
На промосайте браузера есть блок с пересказом страницы: заходишь на любую страницу, нажимаешь на панели кнопку «Пересказать» и получаешь короткую текстовую версию:
Но на практике нам не удалось это проверить: мы не нашли ни одного сайта, где бы работала эта функция. Возможно, это включат постепенно для всех пользователей, а мы просто не попали в первую волну. Или дело в чём-то другом — мы не знаем, но заставить это работать у нас не получилось.
И это единственный минус нового браузера — всё остальное работает быстро, хорошо и предсказуемо.
И что мне с этого?
Нейросети в браузерах и операционных системах — наше новое будущее, которое начинается уже сейчас. Можно ими не пользоваться совсем, можно пользоваться как отдельными сервисами (и иногда это бывает эффективнее), но для простых бытовых задач того, что есть в Яндексе, уже достаточно.
Мы будем пользоваться новым браузером в течение этого месяца и, если выясним что-то новое или интересное, обязательно напишем. Подпишитесь, чтобы не пропустить.
