Исследователи используют ИИ для идентификации похожих материалов на изображениях

Изображения для загрузки на веб-сайте офиса новостей MIT предоставляются некоммерческим организациям, прессе и широкой публике в соответствии с некоммерческой лицензией Creative Commons «С указанием авторства». Вы не можете изменять предоставленные изображения, кроме как обрезать их до нужного размера. При воспроизведении изображений необходимо использовать кредитную линию; если оно не указано ниже, укажите авторство изображений в «MIT».

Предыдущее изображение Следующее изображение

Роботу, манипулирующему предметами, например, работая на кухне, будет полезно понять, какие предметы состоят из одних и тех же материалов. Обладая этими знаниями, робот будет знать, что нужно прилагать одинаковое усилие независимо от того, берет ли он небольшой кусок масла из темного угла прилавка или целую палочку из ярко освещенного холодильника.

Идентификация объектов в сцене, состоящих из одного и того же материала, известная как выбор материала, является особенно сложной проблемой для машин, поскольку внешний вид материала может сильно различаться в зависимости от формы объекта или условий освещения.

Ученые из Массачусетского технологического института и Adobe Research сделали шаг к решению этой проблемы. Они разработали метод, позволяющий идентифицировать все пиксели изображения, представляющего данный материал, который отображается в пикселе, выбранном пользователем.

Метод точен, даже когда объекты имеют разные формы и размеры, а разработанная ими модель машинного обучения не подвержена искажениям из-за теней или условий освещения, из-за которых один и тот же материал может выглядеть по-разному.

Хотя они обучали свою модель, используя только «синтетические» данные, которые создаются компьютером, который модифицирует 3D-сцены для создания множества различных изображений, система эффективно работает на реальных сценах внутри и снаружи, которых она никогда раньше не видела. Этот подход также можно использовать для видео; как только пользователь идентифицирует пиксель в первом кадре, модель может идентифицировать объекты, сделанные из того же материала, на протяжении всей остальной части видео.

Помимо приложений для понимания сцены в робототехнике, этот метод можно использовать для редактирования изображений или включить в вычислительные системы, которые определяют параметры материалов на изображениях. Его также можно использовать для систем веб-рекомендаций на основе материалов. (Возможно, покупатель ищет одежду, сделанную, например, из определенного типа ткани.)

«Знать, с каким материалом вы взаимодействуете, часто очень важно. Хотя два объекта могут выглядеть одинаково, они могут иметь разные свойства материала. Наш метод может облегчить выбор всех остальных пикселей изображения, сделанных из одного и того же материала», — говорит Прафулл Шарма, аспирант в области электротехники и информатики и ведущий автор статьи по этому методу.

В число соавторов Шармы входят Жюльен Филип и Майкл Гарби, ученые-исследователи из Adobe Research; и старшие авторы Уильям Т. Фриман, профессор электротехники и информатики Томаса и Герда Перкинсов и член Лаборатории компьютерных наук и искусственного интеллекта (CSAIL); Фредо Дюран, профессор электротехники и информатики, член CSAIL; и Валентин Дешентр, научный сотрудник Adobe Research. Исследование будет представлено на конференции SIGGRAPH 2023.

Новый подход

Существующие методы выбора материала не позволяют точно идентифицировать все пиксели, представляющие один и тот же материал. Например, некоторые методы фокусируются на целых объектах, но один объект может состоять из нескольких материалов, например стул с деревянными подлокотниками и кожаное сиденье. В других методах может использоваться заранее определенный набор материалов, но они часто имеют общий ярлык, например «дерево», несмотря на то, что существуют тысячи разновидностей древесины.

Вместо этого Шарма и его коллеги разработали подход машинного обучения, который динамически оценивает все пиксели изображения, чтобы определить материальное сходство между пикселем, выбранным пользователем, и всеми другими областями изображения. Если изображение содержит стол и два стула, а ножки стульев и столешница сделаны из одного и того же типа дерева, их модель может точно идентифицировать эти похожие области.