Создали модель, которая генерирует сложные рецепты по изображениям доступных продуктов

Создали модель, которая генерирует сложные рецепты по изображениям доступных продуктов

😢 Проблема: каждый хотя бы раз сталкивался с вопросом, что приготовить из того, что есть в холодильнике. Решить эту задачу можно по-разному, в том числе введя названия продуктов в строку запроса поисковой системы. Но это требует дополнительных усилий, например перехода по ссылкам из результатов поиска и отсеивания рецептов, для которых нужны дополнительные ингредиенты. Где все умные технологии, когда они нужны для простого применения в быту?

😎 Решение: модель, которая создаёт сложные рецепты, анализируя изображения продуктов в холодильнике. Она состоит из двух нейросетей: первая идентифицирует объекты на изображении, а вторая преобразует названия в текст и генерирует подходящие рецепты.

🤔 Как работает: пользователь фотографирует продукты в холодильнике, а модель создаёт карты рецептов с учётом ограничений по времени приготовления, диетических предпочтений, размеров порций и будущего количества приёмов пищи. Человеку достаточно выбрать наиболее понравившийся вариант и начать готовить — рецепт не будет содержать лишних ингредиентов или требовать оборудования, которого нет, например духовки. 

🤨 И что? Это один из блестящих примеров того, как новые технологии буквально упрощают жизнь людям. Примечательно, что до появления GPT-4 модель работала плохо. Например, она выдавала рецепты вроде «Венгерская обувная кожа, 2 порции на завтрак». Но за последнее время нейросети стали настолько лучше распознавать изображения и генерировать тексты, что такая модель действительно может решать практические задачи поваров. В частности, в ходе обучения модели на изображениях полок с продуктами в более чем 2000 холодильниках удалось создать столько хороших рецептов, что из них получится 100-страничная книга.

🧑‍💻 Кто: исследователи компании PeopleTec, США.

Источники: techxplore.com и arxiv.org

Получите ИТ-профессию
В «Яндекс Практикуме» можно стать разработчиком, тестировщиком, аналитиком и менеджером цифровых продуктов. Первая часть обучения всегда бесплатная, чтобы попробовать и найти то, что вам по душе. Дальше — программы трудоустройства.
Получите ИТ-профессию Получите ИТ-профессию Получите ИТ-профессию Получите ИТ-профессию
Вам может быть интересно