Изобрели метод предварительного видеообучения нейросетей

📹 Проблема: в интернете много видео от пользователей программ и сервисов: летсплеи, обучающие ролики и прочие. Но по таким данным не обучить нейросеть: входные комбинации неизвестны и их не промаркировать. Неясно, какие клавиши и кнопки были нажаты и как двигали мышью, чтобы выполнить то или иное действие.

😎 Решение: Video PreTraining или VPT — метод обучения по видеоданным, где события зависят от нажатий и движений клавиатуры и мыши.

🤔 А как? Собрали небольшой набор видеоданных и управляющих действий и обучили на нём IDM — модель обратной динамики, которая может предсказывать действия в видео. Затем обученная IDM-модель промаркировала гораздо больший набор данных онлайн-видео и научилась действовать с помощью поведенческого клонирования.

Для проверки научили нейросеть играть в Minecraft. В качестве основы взяли 2000 часов видео из игры, а на следующих 70 000 часов нейронка обучалась самостоятельно. 

Нейронка научилась рубить деревья, охотиться на животных, искать алмазы и совершать другие действия. Позже она перешла к более сложным процессам, таким как создание алмазной кирки. Знатоки поймут, как это сложно.

🤨 И что? Обучение нейросетей становится всё проще, а значит доступнее. Новый метод выгодно отличается от Generative Pre-training и охватывает больше областей, чем язык.

👉 Посмотреть:

👥 Кто: компания OpenAI, США.

Источники: github.com и openai.com

Получите ИТ-профессию
В «Яндекс Практикуме» можно стать разработчиком, тестировщиком, аналитиком и менеджером цифровых продуктов. Первая часть обучения всегда бесплатная, чтобы попробовать и найти то, что вам по душе. Дальше — программы трудоустройства.
Начать карьеру в ИТ
Получите ИТ-профессию Получите ИТ-профессию Получите ИТ-профессию Получите ИТ-профессию
Еще по теме
Сделали приложение, которое распознаёт жидкость в лёгких по анализу голоса
Ультразвуковая технология поможет перемещать хрупкие объекты, не трогая их

Круче, чем «Битва экстрасенсов».

Нейроны мозга связали с кремниевыми нейронами через интернет

Какой пинг до мозга?

Учёные улучшили органические солнечные батареи с помощью квантовой механики
Яндекс-переводчик заговорил по-чувашски

И стал Тӑлмачӑ Яндексӗ.

Разработчики Tails до сих пор не знают, как Фейсбук их взломал

Продолжение истории про киберпедофила, которая внезапно аукается всем.

Сделали: гибридные кровеносные сосуды

Синтетические сосуды, которые не отторгаются организмом.

Школьник из Мурманска научил нейросеть находить пневмонию

Когда один подросток эффективнее всего Минздрава.

Нейронка учит наносить макияж, чтобы камеры не распознали лицо

Твой любимый бьютиблогер.

Разработали самоохлаждающуюся ткань из полиэтилена

Экологично и не пачкается.