ZeST (Zero-Shot Material Transfer) - это метод, предназначенный для изменения материала объектов на изображении на основе эталонного изображения (образца материала), не требующий обучения или тонкой настройки набора данных. Он работает по принципу "нулевого выстрела", используя 2D-генеративные суждения для передачи свойств материала непосредственно в пространстве пикселей с помощью одного изображения-образца материала. Такой подход устраняет необходимость в явных спецификациях 3D-сетки, освещения или свойств материала, что делает его очень универсальным для различных приложений, включая редактирование нескольких материалов объекта на одном изображении и выполнение переноса материала с учетом освещения [1].
Метод устойчив к изменениям освещения и повороту изображения образца материала, что демонстрирует его адаптируемость к более сложным изображениям образцов материала, таким как прозрачные материалы или изображения с мелкими объектами. Он также подстраивается под масштаб образца материала, гарантируя, что перенесенный материал сохранит приемлемый размер и рисунок на входном изображении [2].
Схема ZeST включает в себя кодирование образца материала с помощью кодера изображений (например, IP-Adaptor) и преобразование входного изображения в карту глубины и изображение с оттенками серого переднего плана для наведения геометрии и скрытой освещенности. Комбинируя эти источники наведения с латентными характеристиками, полученными при кодировании материала, ZeST может переносить свойства материала на объект на входном изображении, сохраняя все остальные атрибуты [3].
Этот метод особенно полезен для применения предварительно разработанных материалов к реальным изображениям, редактирования нескольких материалов объектов на одном изображении и передачи материалов с учетом освещения на нетекстурированные сетчатые рендеры. Его можно комбинировать с существующими методами текстурирования на основе текста для 3D-текстурирования на основе образцов, демонстрируя его универсальность в различных графических приложениях [4].
В итоге ZeST предлагает мощный, не требующий обучения подход к редактированию материалов на изображениях, способный работать с несколькими объектами на одном изображении и вносить коррективы в зависимости от условий освещения. Выбор дизайна и использование легкодоступных предварительно обученных моделей делают его сильной отправной точкой для будущих исследований в области передачи материала с изображения на изображение, с потенциальным применением в сложных задачах графического дизайна[5].
ZeST: метод для смены материала на объекте по реф картинке. Может работать с несколькими вещами в кадре и вносить изменения с учётом освещения.
Сначала используются адаптеры для извлечения представления о материале из изображения. Затем оно с помощью инпейтинга переносится на целевой объект, используя карты глубины для геометрии и оттенки серого для освещенности. Метод схож с B-LoRA и InstantStyle.
Под капотом IP-Adapter и SDXL.
Демо (Replicate)
Демо (colab)
Сайт
Гитхаб
Метод устойчив к изменениям освещения и повороту изображения образца материала, что демонстрирует его адаптируемость к более сложным изображениям образцов материала, таким как прозрачные материалы или изображения с мелкими объектами. Он также подстраивается под масштаб образца материала, гарантируя, что перенесенный материал сохранит приемлемый размер и рисунок на входном изображении [2].
Схема ZeST включает в себя кодирование образца материала с помощью кодера изображений (например, IP-Adaptor) и преобразование входного изображения в карту глубины и изображение с оттенками серого переднего плана для наведения геометрии и скрытой освещенности. Комбинируя эти источники наведения с латентными характеристиками, полученными при кодировании материала, ZeST может переносить свойства материала на объект на входном изображении, сохраняя все остальные атрибуты [3].
Этот метод особенно полезен для применения предварительно разработанных материалов к реальным изображениям, редактирования нескольких материалов объектов на одном изображении и передачи материалов с учетом освещения на нетекстурированные сетчатые рендеры. Его можно комбинировать с существующими методами текстурирования на основе текста для 3D-текстурирования на основе образцов, демонстрируя его универсальность в различных графических приложениях [4].
В итоге ZeST предлагает мощный, не требующий обучения подход к редактированию материалов на изображениях, способный работать с несколькими объектами на одном изображении и вносить коррективы в зависимости от условий освещения. Выбор дизайна и использование легкодоступных предварительно обученных моделей делают его сильной отправной точкой для будущих исследований в области передачи материала с изображения на изображение, с потенциальным применением в сложных задачах графического дизайна[5].
Использование в нейросетях
ZeST: метод для смены материала на объекте по реф картинке. Может работать с несколькими вещами в кадре и вносить изменения с учётом освещения.
Сначала используются адаптеры для извлечения представления о материале из изображения. Затем оно с помощью инпейтинга переносится на целевой объект, используя карты глубины для геометрии и оттенки серого для освещенности. Метод схож с B-LoRA и InstantStyle.
Под капотом IP-Adapter и SDXL.
Демо (Replicate)
Демо (colab)
Сайт
Гитхаб