ساخت ویدیوی رقص از عکس؛ با موسیقی یا حرکت مرجع

نمونه واقعی: یک ژست چگونه به حرکت تبدیل می‌شود؟

در نمونه اول، عکسِ یک رقصنده در میانه پرش وارد Image-to-Video شده است. دستور، ادامه همان ژست را می‌خواهد و خروجی سه‌ثانیه‌ای، بدن را به سمت فرود و ایستادن می‌برد. قبل از نوشتن حرکت تازه، ببینید ژست آغاز چه ادامه‌ای را ممکن می‌کند.

عکس ورودی

ویدیوی خروجی

از روی فایل‌هایی که دارید، مسیر را انتخاب کنید

فایل صوتی و ویدیوی رقص نقش یکسانی ندارند: صوت می‌تواند کلمات یا ریتم را بدهد، اما ویدیوی مرجع ترتیب حرکت بدن را نشان می‌دهد.

عکس، موسیقی یا مرجع حرکت را آماده کنید

عکس تمام‌قد با پاهای مشخص و فضای خالی اطراف بدن، برای رقص تمام‌قد مناسب‌تر است. در انتقال حرکت، قاب عکس و ویدیوی مرجع را هم‌خوان بگیرید؛ نیم‌تنه را با نیم‌تنه و تمام‌قد را با تمام‌قد همراه کنید. مرجع حرکت را تک‌نفره انتخاب کنید تا مدل میان چند اجرا سردرگم نشود.

برای مسیر موسیقی، همان قطعه‌ای را آماده کنید که باید حرکت را هدایت کند. اگر تنظیم آهنگ شلوغ است، نسخه سازِ بدون خواننده یا بخش ریتم را هم برای مقایسه نگه دارید؛ راهنمای LTX استفاده از این بخش‌های جداشده را پیشنهاد می‌کند. این کار جای انتخاب مدلِ دارای ورودی صوتی را نمی‌گیرد.

مسیر اول: همان عکس را در Image-to-Video متحرک کنید

تنظیم‌های منتشرشده نمونه اول، ۳ ثانیه و 1080p هستند؛ Multi-Shot و Native Audio خاموش‌اند. نسخه دقیق مدل مشخص نشده است.

برای عکس خودتان، Kling 3.0 Pro در کاتالوگ جنارا با حالت عکس‌به‌ویدیو ثبت و فعال است؛ از همین گزینه شروع کنید اگر در پنل شما در دسترس است. ترتیب کلیک‌ها و نام کنترل‌های زنده پنل در این بررسی تأیید نشده‌اند. قرارداد دقیق همان مدل در fal ورودی‌ها و کنترل‌های زیر را مشخص می‌کند. عکس را در جایگاه فریم آغاز (Start Image) قرار دهید و یک حرکت کوتاه بنویسید. برای آزمون اول، ۳ ثانیه کافی است؛ مدت‌های هر مدل در مقایسه پایین آمده‌اند. فریم پایان اختیاری است: فقط وقتی پایان مشخصی می‌خواهید، عکس آن وضعیت را بدهید و حرکت بین دو قاب را توضیح دهید. دو قاب، جای ویدیوی مرجعِ رقص را نمی‌گیرند.

گزینه تولید صدا (Generate Audio) را برای سنجش حرکت خاموش کنید؛ این مسیر ورودیِ فایل موسیقی ندارد. اگر آهنگ خودتان باید حرکت را هدایت کند، مسیر عکس و موسیقی را دنبال کنید. این تنظیم‌ها مربوط به قرارداد fal هستند؛ نمونه‌های ناشر در این مقاله لزوماً با همین نسخه ساخته نشده‌اند و نام کنترل‌ها در جنارا نیز ممکن است فرق کند.

برای همین کار، Seedance 1.5 Pro در کاتالوگ جنارا مسیر تک‌قاب با مدت ۴ تا ۱۲ ثانیه دارد؛ Kling 3.0 Pro برای شروع همراه پایانِ اختیاری و مدت ۳ تا ۱۵ ثانیه مناسب است. اگر هر دو قاب را مشخص کرده‌اید، Veo 3.1 در حالت First–Last Frame هر دو عکس را می‌گیرد و مدت‌های ۴، ۶ و ۸ ثانیه دارد؛ مقایسه و تمرین عکس‌به‌ویدیو نقش قاب‌ها و تفاوت کنترل محلی با میزبان را توضیح می‌دهد.

1. حرکت را از وضعیت عکس شروع کنید.

   اگر سوژه در هواست، فرود را بخواهید؛ اگر ایستاده است، یک حرکت کوتاه و سازگار با همان وضعیت انتخاب کنید.

2. حرکت اصلی و دوربین را مشخص کنید.

   در نمونه دوم، ناشر یک حرکت پاپ‌اندلاک با دوربین ثابت خواسته است. دستور کوتاه زیر، بازنویسی فارسی همین ایده است؛ پرامپت دقیق خروجی نیست.

3. نتیجه را با خواسته‌تان مقایسه کنید.

   در خروجی هیپ‌هاپ، پا از زمین جدا می‌شود، با اینکه متن اصلی ثابت‌ماندن پاها را خواسته بود. این اختلاف را پیش از استفاده از کلیپ بررسی کنید.

ژست آغاز

نتیجه دستور ناشر

مسیر دوم: با عکس و آهنگ، آواز یا حرکت بسازید

برای عکس و آهنگ، انتخاب را بر اساس نقش صوت انجام دهید: کلماتِ آواز، هدایت حرکت کلیپ یا طراحی رقص تمام‌بدن.

Kling AI Avatar v2: آواز و ژست از عکس و صوت

برای اجرای آواز، Kling AI Avatar v2 Standard یا Pro گزینه شروع جنارا است. عکس، ظاهر و قاب آغاز را می‌دهد؛ فایل آوازِ نهایی، اجرای خواننده را حمل می‌کند و پرامپت اختیاری احساس و ژست را توضیح می‌دهد. تلفظ را پیش از تولید ویدیو در خودِ فایل صوت اصلاح کنید.

حد ثبت‌شده هر دو نسخه در جنارا ۶۰ ثانیه است؛ وعده پنج‌دقیقه‌ای سرویس وب Kling را به این مسیر تعمیم ندهید. راهنمای رسمی Avatar 2.0 خواننده‌ای با حرکت طبیعی دست و بدن نشان می‌دهد؛ این، شاهد استخراج رقص تمام‌بدن از ضرب آهنگِ بی‌کلام نیست. لب‌ها را با کلمات و حرکت بدن را جداگانه بررسی کنید.

LTX: یک کلیپ کوتاه را با صدای خودتان بسازید

مدل LTX 2.3 و مسیر Audio-to-Video آن در جنارا ثبت شده‌اند. برای کلیپی که موسیقی باید حرکت و فضای آن را هدایت کند، این مسیر را از Image-to-Video معمولی جدا انتخاب کنید؛ اگر این حالت در دسترس شماست، عکس و صوت را برای همین مسیر آماده کنید. اگر این مسیر در پنل شما باز نیست، مسیر مستند LTX 2.3 در fal گزینه بیرونی است؛ نام‌های کنترل در مراحل زیر مربوط به همان میزبانند.

1. آهنگ و عکس آغاز را وارد کنید.

   فایل صوتی را در Audio URL و عکس را در Image URL قرار دهید. برای همین مسیر Pro در fal، یک قطعه ۲ تا ۱۰ ثانیه‌ای آماده کنید. عکس در این مسیر، فریم آغاز است؛ فایل صوتی و متن، ادامه حرکت را هدایت می‌کنند.

2. حرکت و قاب را توضیح دهید.

   در Prompt مشخص کنید چه حرکتی از شخصیت می‌خواهید و دوربین ثابت بماند یا حرکت کند. نسبت تصویر را با قاب عکس هماهنگ کنید تا فضای پاها و حرکت حفظ شود.

3. خروجی را همراه صدا بررسی کنید.

   ابتدا، میانه و پایان کلیپ را با ضرب موسیقی مقایسه کنید. اگر هماهنگی به‌هم می‌خورد، قطعه کوتاه‌تر یا بخش ریتمِ واضح‌تر را امتحان کنید؛ نتیجه را دوباره با همان چند ضرب بسنجید.

Wan-Dancer: رقص را از عکس، آهنگ و سبک بسازید

نسخه رسمی Wan-Dancer یک پروژه متن‌باز است و اجرای محلی آن به محیط پردازش مناسب نیاز دارد؛ مراحل زیر منطق کار را نشان می‌دهند، نه نصب گام‌به‌گام آن را.

1. عکس، موسیقی و سبک را مشخص کنید.

   یک عکس از شخصیت، فایل موسیقی و توضیح سبک رقص آماده کنید. پروژه برای سبک‌هایی مثل K-pop و Street Dance تنظیم‌های نمونه دارد.

2. ابتدا طرح کلی حرکت را بسازید.

   مرحله Global از همین ورودی‌ها، توالی قاب‌های کلیدی را می‌سازد؛ این قاب‌ها مسیر کلی رقص را مشخص می‌کنند.

3. حرکت بین قاب‌ها را کامل کنید.

   مرحله Local خروجی مرحله قبل را همراه همان عکس و موسیقی می‌گیرد و حرکت را کامل می‌کند. با عوض‌کردن ورودی‌ها میان این دو مرحله، دیگر همان طرح را ادامه نمی‌دهید.

نمونه زیر از بخش K-pop پروژه است. ناشر عکس مرجع را در سمت چپ و رقص ساخته‌شده را در سمت راست ویدیو قرار داده است؛ این چیدمان، ورودی و خروجی همان مورد را کنار هم قرار می‌دهد.

اگر ترتیب مشخصی از حرکات را می‌خواهید، به‌جای اتکا به آهنگ، ویدیوی همان اجرا را به مسیر انتقال حرکت بدهید.

مسیر سوم: رقص مشخص را با Motion Control منتقل کنید

در Kling VIDEO 3.0 Motion Control، ویدیوی رقص و تصویر شخصیت را وارد کنید. پرامپتِ اختیاری برای محیط یا ظاهر است؛ ترتیب حرکت از ویدیو می‌آید.

Character Orientation مشخص می‌کند جهت بدن از کدام ورودی پیروی کند. در مسیر Kling V3 Pro Motion Control در fal، حالت Video برای حرکت پیچیده معرفی شده و مرجع تا ۳۰ ثانیه می‌پذیرد. حالت Image جهت عکس را مبنا می‌گیرد و سقف ۱۰ ثانیه دارد. برای اولویت‌دادن به رقص، از Video شروع کنید؛ برای جهت عکس، Image را در نظر بگیرید.

مرجع کمکی چهره یا Element Binding فقط در حالت Video قابل‌استفاده است. نماهای روبه‌رو و نیم‌رخ به هویت صورت کمک می‌کنند، نه لباس و وسایل. در مسیر fal، keep_original_sound فقط حفظ صدای همان ویدیوی مرجع را کنترل می‌کند؛ این گزینه، موسیقی را به ورودی طراحی رقص تبدیل نمی‌کند.

رقص واقعی، شخصیت انیمه

اینجا ویدیو، ترتیب حرکت دست و بدن را می‌دهد و تصویر، ظاهر شخصیت را تعیین می‌کند. خروجی، اجرای تازه‌ای از شخصیت انیمه است. این نمونه منتشرشده به Kling VIDEO 2.6 تعلق دارد؛ تنظیم‌های نسخه 3.0 که بالاتر خواندید، مشخصات این خروجی نیستند.

ویدیوی مرجع حرکت

تصویر مرجع ظاهر

خروجی انتقال حرکت

چه زمانی مسیر انتقال اجرا را عوض کنید؟

اگر حفظ محیط یا نوع حرکت اولویت شما را عوض می‌کند، گزینه‌های زیر را مقایسه کنید؛ این جدول تفاوت کنترل‌ها را نشان می‌دهد و رتبه‌بندی کیفیت نیست.

Wan-Move با حالت Move بالا فرق دارد: مسیرهای حرکت روی عکس را کنترل می‌کند، نه اینکه رقص را از آهنگ یا اجرای بازیگر کپی کند. فایل آواز نیز جای ویدیوی حرکت را در این چهار مسیر نمی‌گیرد.

نتیجه را بررسی کنید و هر بار یک مشکل را اصلاح کنید

کلیپ را کامل ببینید و لحظه خطا را مشخص کنید. در تلاش بعدی فقط یک ورودی یا کنترل را تغییر دهید تا اثرش قابل‌بررسی بماند.

• پا روی زمین سُر می‌خورد. در لحظه تکیه، کف پا نباید بدون قدم‌برداشتن جابه‌جا شود. در مسیر Motion Control، بخشی از مرجع را انتخاب کنید که زمین و پاها روشن دیده شوند، دوربین ثابت باشد و جابه‌جایی بدن کمتر باشد. در مسیر عکس و موسیقی، حرکت ساده‌تر با دوربین ثابت بخواهید. سپس همان تماس پا با زمین را دوباره بررسی کنید؛ نرم‌کردن حرکت در تدوین، تماس اشتباه را درست نمی‌کند.
• دست یا پا ناپدید می‌شود. در انتقال حرکت، پوشیدگی همان لحظه را در مرجع ببینید و کلیپ خواناتری انتخاب کنید. در دو مسیر دیگر، حرکت پیچیده را کوتاه‌تر و ساده‌تر بخواهید.
• چهره هنگام چرخش عوض می‌شود. عکس واضح‌تر بدهید یا در Motion Control از مرجع کمکیِ پشتیبانی‌شده استفاده کنید؛ بازگشت صورت به روبه‌رو را هم بررسی کنید.
• قاب جابه‌جا می‌شود. در Motion Control، اولویت جهت را بازبینی کنید. تغییر Video به Image تضمین حفظ پیکسلی قاب نیست.
• حرکت از ضرب موسیقی جا می‌ماند. ابتدا مشخص کنید کل کلیپ جابه‌جا شده یا هماهنگی در میانه به‌هم می‌خورد. جابه‌جایی زمانی در تدوین فقط حالت اول را اصلاح می‌کند. برای ناهماهنگی متغیر، یک قطعه کوتاه‌تر با ضرب روشن‌تر را در مسیر صوتی بسازید و چند ضربِ ابتدا، میانه و پایان را دوباره مقایسه کنید؛ اصلاح صدا خرابی اندام‌ها را رفع نمی‌کند.

خروجی را دریافت و نسخه ذخیره‌شده را هم کامل پخش کنید. کلیپ‌های سالم را در تدوین کنار هم بگذارید؛ یک کلیپ کوتاه را بی‌دلیل تا طول آهنگ نکشید. حق استفاده از عکس، رقص و موسیقی را پیش از انتشار جداگانه بررسی کنید.

جمع‌بندی: اولین کلیپ را کوچک و قابل‌بررسی بسازید

پس از انتخاب مسیر متناسب با فایل‌هایتان، ابتدا بخش کوتاهی را بسازید که حرکت دشوار دارد. اگر چهره، تماس پا و هماهنگی صوت در همان بخش قابل‌قبول‌اند، سراغ ادامه کلیپ بروید.

پرسش‌های رایج