Когда подойдёт
Исследователям и продвинутым студентам, которым интересно удаление объектов с учётом физических взаимодействий в видео и сравнение контрфактических результатов.
Когда выбрать другое
Для быстрого монтажа без подготовки или задач, где нужен готовый коммерческий видеоредактор с простым интерфейсом.
VOID — исследовательская модель Netflix и INSAIT для удаления объектов из видео. По описанию авторов, пользователь указывает объект, а VLM-конвейер определяет, какие ещё области сцены изменятся: что упадёт, столкнётся или поменяет траекторию. Эти связи кодируются в quadmask, который направляет диффузионную модель. Первый проход строит правдоподобное контрфактическое видео без объекта и его взаимодействий; при артефактах морфинга возможен второй проход с flow-warped шумом. Авторы показывают результаты и веб-демонстрацию, а обучающие пары строят на синтетических данных Kubric и HUMOTO.
Что можно сделать
- Удаление объекта вместе с причинно затронутыми областями сцены через quadmask
- Опциональный второй проход с flow-warped шумом для стабилизации формы объекта
- Веб-демонстрация сравнения входного видео и результата
- Обучающие пары на синтетических данных Kubric и HUMOTO
Что учесть
- Это исследовательская работа, а не готовый потребительский сервис
- Возможен артефакт морфинга объекта, для которого предусмотрен второй проход
- Условия использования, цены и доступность в источнике не указаны
Разобрать на демонстрации, как quadmask связывает удаляемый объект с областями сцены, которые изменят движение.
- Откройте страницу проекта и изучите примеры с quadmask и контрфактическим видео.
- Сравните первый проход и второй проход с flow-warped шумом на одном примере.
- Сформулируйте, какие области сцены модель считает причинно затронутыми и как это отражено в маске.
Откуда сведения
Описание и условия сверены с открытыми официальными страницами. Перед регистрацией и оплатой проверьте актуальные ограничения, обработку данных и права на результат.
