В сети обсуждают новый ИИ-редактор видео Lucy: на что он способен

Создатели контента получили инструмент, который редактирует видео простыми текстовыми командами — от смены нарядов до превращения людей в мультяшных персонажей.

Компания Decart AI выпустила Lucy Edit — первую модель машинного обучения с открытым исходным кодом, которая изменяет видеоролики по текстовым описаниям. Технология позволяет пользователям давать команды на естественном языке типа «надень на девушку клоунский костюм» или «замени поезд на ракету», не используя сложные маски или разметку кадров.

Новая модель справляется с четырьмя типами редактирования видео. Первый — смена гардероба и аксессуаров: система может поменять одежду персонажа, добавить очки, шляпы или украшения. Второй тип — замена персонажей: люди превращаются в животных, монстров или известных героев по команде «замени человека на белого медведя».

Третий вид правок касается объектов в кадре — ИИ вставляет новые предметы или убирает существующие. Четвертый тип затрагивает фон и стиль: модель переносит сцену в другое место или меняет визуальный стиль, например превращает реальные кадры в двухмерную анимацию.

Lucy Edit построена на архитектуре Rectified Flow — это математический подход, который «соединяет данные с шумом прямой линией». Модель объединяет скрытое представление исходного видео с зашумленным представлением кадра, который генерируется в текущий момент. Такой метод обеспечивает точное применение изменений при сохранении исходного движения и деталей.