😢 Проблема: каждый хотя бы раз сталкивался с вопросом, что приготовить из того, что есть в холодильнике. Решить эту задачу можно по-разному, в том числе введя названия продуктов в строку запроса поисковой системы. Но это требует дополнительных усилий, например перехода по ссылкам из результатов поиска и отсеивания рецептов, для которых нужны дополнительные ингредиенты. Где все умные технологии, когда они нужны для простого применения в быту?
😎 Решение: модель, которая создаёт сложные рецепты, анализируя изображения продуктов в холодильнике. Она состоит из двух нейросетей: первая идентифицирует объекты на изображении, а вторая преобразует названия в текст и генерирует подходящие рецепты.
🤔 Как работает: пользователь фотографирует продукты в холодильнике, а модель создаёт карты рецептов с учётом ограничений по времени приготовления, диетических предпочтений, размеров порций и будущего количества приёмов пищи. Человеку достаточно выбрать наиболее понравившийся вариант и начать готовить — рецепт не будет содержать лишних ингредиентов или требовать оборудования, которого нет, например духовки.
🤨 И что? Это один из блестящих примеров того, как новые технологии буквально упрощают жизнь людям. Примечательно, что до появления GPT-4 модель работала плохо. Например, она выдавала рецепты вроде «Венгерская обувная кожа, 2 порции на завтрак». Но за последнее время нейросети стали настолько лучше распознавать изображения и генерировать тексты, что такая модель действительно может решать практические задачи поваров. В частности, в ходе обучения модели на изображениях полок с продуктами в более чем 2000 холодильниках удалось создать столько хороших рецептов, что из них получится 100-страничная книга.
🧑💻 Кто: исследователи компании PeopleTec, США.
Источники: techxplore.com и arxiv.org
