Исследователи обучили робота-«шеф-повара» смотреть кулинарные видеоролики и извлекать уроки из них, а также воссоздавать само блюдо.

Исследователи из Кембриджского университета запрограммировали своего робота-шеф-повара с помощью кулинарной книги из восьми простых рецептов салатов. После просмотра видео, на котором человек демонстрирует один из рецептов, робот смог определить, какой рецепт готовится, и приготовить его.

Кроме того, видеоролики помогли роботу постепенно пополнять свою кулинарную книгу. В конце эксперимента робот самостоятельно придумал девятый рецепт. Их результаты, опубликованные в журнале IEEE Access, демонстрируют, как видеоконтент может стать ценным и насыщенным источником данных для автоматизированного производства продуктов питания и может упростить и удешевить внедрение роботов-поваров.

Роботы-повара десятилетиями фигурировали в научной фантастике, но на самом деле приготовление пищи — сложная задача для робота. Несколько коммерческих компаний создали прототипы роботов-поваров, хотя ни один из них в настоящее время не доступен в продаже, и они значительно отстают от своих коллег-людей по уровню квалификации.

Повара-люди могут изучать новые рецепты путем наблюдения, будь то наблюдение за тем, как готовит другой человек, или просмотр видео на YouTube, но программирование робота для приготовления различных блюд является дорогостоящим и трудоемким процессом.

«Мы хотели посмотреть, сможем ли мы обучить робота—шеф-повара учиться так же постепенно, как это могут делать люди, — определяя ингредиенты и то, как они сочетаются в блюде», — сказал Гжегож Сочацки из инженерного факультета Кембриджа, первый автор статьи.

Сочацки, кандидат наук в лаборатории био-робототехники профессора Фумии Ииды, и его коллеги разработали восемь простых рецептов салатов и сняли на видео, как они их готовят. Затем они использовали общедоступную нейронную сеть для обучения своего робота-шеф-повара. Нейронная сеть уже была запрограммирована на идентификацию целого ряда различных объектов, включая фрукты и овощи, используемые в восьми рецептах салатов (брокколи, морковь, яблоко, банан и апельсин).

Используя методы компьютерного зрения, робот проанализировал каждый кадр видео и смог идентифицировать различные объекты и особенности, такие как нож и ингредиенты, а также руки, кисточки и лицо человека-демонстратора. И рецепты, и видеоролики были преобразованы в векторы, и робот выполнил математические операции с векторами, чтобы определить сходство между демонстрацией и вектором.