Motion transfer зчитує рух із референсного відео й відтворює його на згенерованому персонажі — той самий танець, нове обличчя. Працює на Kuaishou Kling 3.0 Omni нижче: до 15 секунд, багатомовне аудіо в кадрі, рендер «референс → відео» за один прохід.
Один референсний кліп на вході, той самий рух на іншому суб'єкті на виході
Motion transfer — це ШІ-процес для відео, у якому референсний кліп задає рух згенерованого персонажа. Ви завантажуєте вихідне відео, обираєте або описуєте нового суб'єкта, а модель відтворює тайминг, жести й фізичний контакт на новому персонажі. Сучасний motion transfer утримує риси обличчя, гардероб і текстуру в межах нового кліпу — це Kuaishou називає element binding. На виході — 15-секундний кліп з аудіо в кадрі, готовий для соцмереж, реклами чи розкадрувань.
Motion transfer бере вже наявний кліп і відтворює його рух на іншому суб'єкті — той самий танець, нове обличчя.
Рендер motion transfer видає до 15 секунд із природним аудіо англійською, китайською, японською, корейською та іспанською.
Motion transfer утримує риси обличчя, гардероб і текстуру в межах нового кліпу — персонаж не «пливе» між кадрами.
Motion transfer працює разом із багатоплановими розкадруваннями — задайте тривалість плану, рух камери та сюжет кожного кадру.
Motion transfer приймає референсне відео плюс зображення і текстовий промпт — All-in-One мультимодальний вхід за один виклик.
Motion transfer видає фотореалістичні кадри з природною шкірою, тканиною та світлом — для кампаній, а не пласкі шейдери.
Motion transfer зчитує вихідний рух і застосовує його до згенерованого суб'єкта за один прохід.
Раніше доводилося робити ротоскопінг, ручні ключі або вдягати mocap-костюм. Motion transfer оминає це все — ви завантажуєте референсне відео, описуєте нового персонажа, а модель сама опрацьовує скелетний рух, тайминг і динаміку контактів за один рендер.
Motion transfer фіксує обличчя, текстуру шкіри й міміку в кожному кадрі.
Дрейф ідентичності був давньою проблемою відео на референсах — обличчя мінялося від плану до плану. Motion transfer на Kling 3.0 додає element binding: риси обличчя, текстура шкіри й діапазон міміки лишаються незмінними при зміні ракурсу, перекритті чи зміні світла.
Motion transfer віддає двоканальне аудіо англійською, китайською, японською, корейською та іспанською.
Старі кліпи з референсним рухом приходили німими — звук накладали на пост-продакшені. Motion transfer рендерить аудіо разом із кадрами, зокрема для діалогових сцен з кількома персонажами, де кожен говорить своєю мовою з контрольованою подачею і черговістю реплік.
Motion transfer розгортається до 15 секунд із продуманою багатоплановою розповіддю.
Motion transfer не застряг на 5-секундних лупах. Модель опрацьовує складні сцени, довгі плани та кілька сюжетних поворотів із плавними, кінематографічними переходами — корисно для реклами з персонажем, альтернатив до музичних кліпів і відкриваючих сцен короткого метру.
Ітерує швидше за mocap, ротоскопінг чи ліцензування стокових кліпів.
Mocap — це години в костюмі, ротоскопінг — дні покадрового маскування, стокові кліпи — щорічна оплата ліцензії. Цей робочий процес згортає всі три варіанти у формулу «референсний кліп плюс промпт» — п'ять варіантів персонажа за п'ять рендерів, а не за п'ять днів.
Чотири кліпи — кожен підпис це багаторазовий промпт motion transfer
Коли motion transfer випереджає старі робочі процеси, а коли — ні.
| Робочий процес | Motion transfer | Manual rotoscope | Mocap rig | Stock footage |
|---|---|---|---|---|
| Час до першого готового кліпу | Один рендер, ~90 с | Hours to days | Half-day shoot + cleanup | Search + license, ~30 min |
| Новий персонаж на кожен рендер | Так — задайте нового суб'єкта в промпті | Yes, but mask manually | Re-shoot or re-target rig | Limited to clip's actor |
| Стабільність ідентичності | Element binding фіксує обличчя | Frame-by-frame attention | Character on rig stays same | Same actor every clip |
| Аудіо в рендері | Аудіо в кадрі різними мовами | Recorded separately | Recorded on set | Ships with the clip |
| Вартість ітерації | Перепишіть промпт і запустіть знову | Re-key the masks | Half-day re-shoot | License another clip |
| Тривалість на виході | До 15 секунд | Limited by patience | Limited by call time | Whatever the clip is |
Чотири звички, які відрізняють чистий результат від шуму з дрейфом
Motion transfer зчитує вихідний рух, тож що чистіший референс (один суб'єкт, чітка камера, без перекриття), то чистіший результат.
Назвіть обличчя, гардероб, освітлення й оточення в одному промпті motion transfer. Element binding краще тримає ідентичність на конкретному описі.
Аудіо рендериться разом із кадрами — пропишіть, що саме хочете чути. Для багатоперсонажних діалогів задайте мову й порядок реплік для кожного персонажа.
Якщо результат motion transfer на 90% правильний — змініть опис нового персонажа й перезапустіть. Залишений той самий референс зменшує дрейф між ітераціями.
Motion transfer — один із кількох відео-конвеєрів у ZorqAI
Що користувачі питають перед першим рендером motion transfer
Безкоштовно. Без картки. Усередині — Kling 3.0 Omni: 15-секундний результат motion transfer, багатомовне аудіо в кадрі, element binding. Спробуйте motion transfer на ZorqAI вище.
