اول مشخص کنید ویدیو دارید یا فقط یک عکس
فرض کنید برای یک فروشگاه ویدیوی معرفی محصول ساخته‌اید و فقط جمله گوینده تغییر کرده است. اگر می‌خواهید همان قاب، لباس و اجرای قبلی بماند، از ویدیو و صدای جدید شروع کنید. ساخت دوباره شخصیت از یک عکس، مسئله دیگری را حل می‌کند.
همان اجرا، با دیالوگ جدید
مسیر Lip Sync را انتخاب کنید. Sync، Kling Lip Sync و PixVerse Lipsync از گزینه‌های این گروه هستند. نتیجه را با ویدیوی اصلی مقایسه کنید تا تغییر ناخواسته صورت یا حرکت‌ها را ببینید.
مقایسه ابزارهای این مسیریک شخصیت سخنگو بسازید
مسیر Avatar مناسب است. Kling Avatar و OmniHuman از ظاهرِ عکس و صدای شما، ویدیوی تازه می‌سازند؛ حرکت‌های بدن و صورت، از اجرای قبلی کپی نمی‌شوند.
تفاوت مدل‌های عکس سخنگوترجمه، صدا و لب را با هم آماده کنید
دوبله فقط تغییر لب نیست. ابتدا متن و صدای زبان مقصد را آماده کنید و سپس تصویر را با آن هماهنگ کنید. برای شروع، مسیر دوبله فارسی را ببینید.
مقایسه Sync، Kling و PixVerse برای ویدیوی موجود
در این مقایسه، کار مشترک روشن است: ویدیوی آماده را با یک فایل صدای نهایی هماهنگ کنیم. فرق مهم ابزارها در میزان کنترل بر زمان، گوینده و محدوده تغییر چهره است؛ نه صرفاً در داشتن برچسب «هوش مصنوعی».
| گزینه | چه می‌دهید و چه می‌گیرید؟ | تفاوتی که انتخاب را عوض می‌کند | چه زمانی بررسی‌اش کنیم؟ |
|---|---|---|---|
| Sync Lipsync 2 / 2 Pro | ویدیوی گوینده + صدای نهایی ← ویدیوی لب‌سینک‌شده | حالت‌های مشخص برای اختلاف مدت صدا و تصویر؛ نسخه Pro روی جزئیات چهره تمرکز دارد. | وقتی ویدیوی گفتار دارید و می‌خواهید زمان‌بندی خروجی را کنترل کنید. نام Pro به‌تنهایی تضمین نتیجه بهتر نیست. |
| Sync 3 | در مسیر ویدیویی: ویدیو + صدا ← ویدیوی هماهنگ با صدا | طبق معرفی سازنده، مدل از کل قاب استفاده می‌کند و قرارگرفتن مانع جلوی چهره را خودکار تشخیص می‌دهد. | وقتی نیم‌رخ، مانع روی صورت یا بخش‌های بی‌حرکت، مسئله اصلی شماست؛ نتیجه را روی همان بخش دشوار بررسی کنید. |
| Sync React-1 | ویدیو + صدا + حالت احساس ← ویدیو با تغییر انتخاب‌شده در لب، صورت یا سر | فقط لب را تغییر می‌دهد یا تغییر حالت صورت و حرکت سر را هم اضافه می‌کند. مسیر بررسی‌شده در fal، هر دو ورودی را تا ۱۵ ثانیه می‌پذیرد. | وقتی تغییر حس اجرا هم لازم است. برای حفظ اجرای قبلی، بدون دلیل دامنه تغییر را به سر و صورت گسترش ندهید. |
| Kling Lip Sync | ویدیو + صدای آماده، یا مسیر جداگانه متن و صداهای آماده ← ویدیوی هماهنگ | مسیر صوتی بررسی‌شده در fal، ویدیوی ۲ تا ۱۰ ثانیه می‌گیرد؛ معرفی رسمیِ رابط Kling، مدت تا ۶۰ ثانیه و انتخاب شخصیت را اعلام می‌کند. | وقتی انتخاب گوینده یا زمان ورود دیالوگ مهم است؛ پیش از انتخاب، وجود این کنترل‌ها و سقف مدت را در مسیر مورداستفاده ببینید. |
| PixVerse Lipsync | ویدیو + فایل صوتی؛ یا ویدیو + متن و صدای انتخابی ← ویدیوی سخنگو | دو راهِ فایل صوتی و متن‌به‌گفتار را در یک قرارداد ارائه می‌کند. وجود صدای فارسی در فهرست صداها، در این بررسی تأیید نشده است. | وقتی فایل صدای خودتان را دارید یا صدای آماده مناسب در همان سرویس پیدا می‌کنید. |
مبنای جدول: ورودی‌های Sync 2، تفاوت نسخه‌های Sync، کنترل‌های React-1، مسیر صوتی Kling در fal و ورودی‌های PixVerse.
این مقایسه بر قابلیت‌های مستند تکیه دارد؛ کیفیت فارسی ابزارها در یک آزمایش مشترک رتبه‌بندی نشده است.
مثلاً یک کلیپ ۱۵ ثانیه‌ای در سقف ۱۰ ثانیه‌ایِ این مسیر fal جا نمی‌شود؛ باید آن را به نماهای کوتاه‌تر تقسیم کنید یا مسیر دیگری انتخاب کنید. این محدودیت را به همه نسخه‌های Kling تعمیم ندهید؛ معرفی رسمیِ به‌روزرسانی لیپ‌سینک امکانات و مدت متفاوتی را نشان می‌دهد.
اگر اجرای محلی یا مدل متن‌باز می‌خواهید
LatentSync و MuseTalk گزینه‌های دیگری برای ویدیو و صدا هستند، اما راه‌اندازی و سخت‌افزار مناسب می‌خواهند؛ یک پنل آماده محسوب نمی‌شوند. نسخه میزبان هم الزاماً جدیدترین نسخه مخزن نیست. Wav2Lip شناخته‌شده است، ولی نسخه متن‌باز آن برای استفاده تجاری آزاد نیست. برای پروژه مشتری، مجوز نسخه دقیق را پیش از انتخاب بررسی کنید.
نمونه اول: وقتی صدای تازه از ویدیو طولانی‌تر است
گاهی مدل را عوض می‌کنید، اما مشکل اصلی از کوتاه‌بودن تصویر است. مثال عددیِ مستندات Sync این تفاوت را روشن می‌کند: یک ویدیوی ۴ ثانیه‌ای و یک صدای ۸٫۶۴ ثانیه‌ای داریم. حالت انتخاب‌شده تعیین می‌کند که جمله قطع شود، تصویر تکرار شود یا سرعت آن تغییر کند.
برای جا دادن کل جمله، چه چیزی را تغییر می‌دهید؟
- cut_off · خروجی ۴ ثانیه
- بخش اضافه صدا حذف می‌شود؛ جمله کامل باقی نمی‌ماند.
- loop · خروجی ۸٫۶۴ ثانیه
- ویدیو از ابتدا تکرار می‌شود؛ حرکت دست یا سر هم ممکن است دوباره دیده شود.
- bounce · خروجی ۸٫۶۴ ثانیه
- ویدیو جلو و عقب پخش می‌شود؛ حرکت برگشتی می‌تواند در اجرای طبیعی جلب توجه کند.
- remap · خروجی ۸٫۶۴ ثانیه
- سرعت تصویر کم می‌شود تا با صدا هم‌مدت شود؛ ریتم اجرای اصلی تغییر می‌کند.
نتیجه انتخاب: اگر هم جمله باید کامل بماند و هم اجرای گوینده طبیعی پیش برود، ابتدا صدا را کوتاه‌تر یا تصویر را بلندتر کنید. هیچ‌یک از این حالت‌ها، اجرای ازدست‌رفته گوینده را از نو ضبط نمی‌کند. وقتی صدا کوتاه‌تر از ویدیو باشد، حالت silence می‌تواند ادامه زمان ویدیو را با سکوت نگه دارد.
نمونه دوم: انتخاب گوینده و زمان شروع دیالوگ در Kling
در ویدیوی چندنفره، فقط هماهنگی لب کافی نیست؛ باید جمله روی صورت فرد درست و در لحظه درست قرار بگیرد. معرفی رسمی Kling، انتخاب شخصیت و تنظیم زمان دیالوگ را به‌عنوان دو کنترل جدا نشان می‌دهد.
شخصیتِ مقصد را مشخص کنید.
در مسیر دارای انتخاب شخصیت، همان فردی را انتخاب کنید که باید جمله را بگوید. اگر صورت چند نفر در قاب است، خروجی را برای حرکت ناخواسته دهان دیگران هم ببینید.
شروع صدا را با صحنه هماهنگ کنید.
دیالوگ را در بازه‌ای قرار دهید که گوینده در قاب حضور دارد. جمله‌ای که پیش از ورود فرد شروع می‌شود، صرفاً با دقیق‌ترشدن حرکت لب اصلاح نمی‌شود.
درباره صدای قبلی تصمیم بگیرید.
اگر گزینه نگه‌داشتن صدای اصلی را دارید، بررسی کنید که دیالوگ قبلی با صدای تازه روی هم نیفتد. حفظ صدای محیط با پخش هم‌زمان دو جمله یکی نیست.
Sync نیز در راهنمای انتخاب گوینده، انتخاب خودکار و تعیین دستیِ چهره را شرح می‌دهد. بنابراین انتخاب شما باید به کنترلی وابسته باشد که واقعاً در سرویس در دسترس دارید؛ وجود آن در مستندات سازنده، به معنی نمایش همان گزینه در همه پنل‌ها نیست.
نمونه سوم: وقتی فقط عکس و صدا دارید
نمونه معرفی محصول در راهنمای Kling Avatar 2.0، تصویر یک زن و صدای آماده را کنار خروجی همان ردیف قرار می‌دهد. خلاصه فارسیِ دستور اجرا: شخصیت رو به دوربین بماند و محصول را با حرکتی مطمئن بالا بیاورد. این دستور، حرکت تازه را هدایت می‌کند؛ اجرای ویدیوییِ قبلی‌ای در کار نیست.
ورودی ناشر: تصویر و صدا
خروجی منتشرشده همان نمونه
| مدل | ورودی و نتیجه | نکته انتخاب |
|---|---|---|
| Kling Avatar v2 | تصویر شخصیت + صدا + توضیح اختیاری درباره اجرا ← ویدیوی آواتار | نسخه‌های Standard و Pro را با همان پرتره و صدا مقایسه کنید؛ عنوان Pro به‌تنهایی کیفیت بهترِ هر چهره را ثابت نمی‌کند. |
| OmniHuman 1.5 | تصویر + صدا ← اجرای صوت‌محور شخصیت | مسیر بررسی‌شده، گزینه وضوح و انتخاب ناحیه شخصیت با ماسک دارد؛ برای تصویری با چند فرد، نقش این انتخاب مهم می‌شود. |
جزئیات ورودی و نسخه را در Kling Avatar Standard، نسخه Pro و OmniHuman 1.5 ببینید.
برای شروع، یک پرتره روشن و صدای کوتاهِ نهایی آماده کنید. در خروجی، ثابت‌ماندن هویت چهره، شروع و پایان جمله و حرکت‌های بی‌دلیل بدن را بررسی کنید. اگر اجرای دقیق یک بازیگر را می‌خواهید، عکس و صدا به‌تنهایی آن اجرا را منتقل نمی‌کنند؛ برای آن هدف باید مسیر انتقال اجرا را جداگانه بررسی کنید.
مرزِ «عکس» و «ویدیو» به مسیر ورودی مربوط است، نه همیشه نام خانواده: Sync 3 نیز مسیر تصویر دارد، اما این قابلیت را نباید به نسخه Sync 2 یا هر فرم دارای نام Sync تعمیم داد.
برای خروجی فارسی، صدا را قبل از تصویر نهایی کنید
دو سؤال را جدا کنید: «آیا مدل فایل صدای فارسی را می‌گیرد؟» و «آیا سرویس، متن فارسی را با صدای مناسب می‌خواند؟» در مسیر فایل صوتی، شما تلفظ و لحن را از قبل تعیین می‌کنید. در مسیر متن‌به‌گفتار، سرویس باید زبان و صدای مناسب هم داشته باشد.
جمله نهایی را بنویسید یا ترجمه کنید.
متن فارسی را برای گفتن بازنویسی کنید. مثلاً در ویدیوی فروشگاه، «سفارش شما امروز ارسال می‌شود» از یک جمله طولانی و اداری طبیعی‌تر شنیده می‌شود. ترجمه طولانی‌تر، زمان بیشتری هم می‌خواهد.
صدا را ضبط یا تولید کنید.
تلفظ نام‌ها، عددها و مکث‌ها را پیش از لیپ‌سینک گوش کنید و اصلاح کنید. مدلِ حرکت لب، واژه اشتباه در فایل صوتی را درست نمی‌کند. برای استفاده از تصویر یا صدای فرد واقعی، اجازه لازم را داشته باشید.
بازه تصویر را با جمله هماهنگ کنید.
جمله را به بخش مناسب ویدیو وصل کنید؛ برای شروع، یک نمای کوتاه و واضح انتخاب کنید. اگر طول‌ها متفاوت‌اند، پیش از اجرا درباره برش، تکرار یا تغییر سرعت تصمیم بگیرید.
هم تصویر و هم صدای خروجی را بازبینی کنید.
شروع و پایان جمله را با صدا ببینید؛ سپس چرخش سر و بخش‌های پوشیده‌شدن دهان را بررسی کنید. اگر فقط یک بخش خراب است، همان برش را با ورودی بهتر دوباره آماده کنید؛ لازم نیست کل ویدیو را بی‌دلیل بازتولید کنید.
در آموزش دوبله Sync، ترجمه و ساخت صدا از مسیر دوبله انجام می‌شود و لیپ‌سینک مرحله تصویری آن است. اگر زبان مقصد در مسیر یک‌مرحله‌ای پشتیبانی نشود، می‌توانید صدای نهایی را جدا آماده کنید و سپس ویدیو و صدا را به مسیر لیپ‌سینک بدهید.
اگر نتیجه طبیعی نیست، علت را دقیق‌تر پیدا کنید.
- دهان در همه صحنه‌ها دیر حرکت می‌کند.
- زمان شروع صدا و تصویر را بررسی کنید. اگر جابه‌جایی از ورودی باشد، ابتدا آن را اصلاح کنید؛ اگر ورودی درست است و تأخیر فقط در خروجی دیده می‌شود، همان برش را با تنظیم یا مدل دیگری مقایسه کنید.
- فقط نیم‌رخ یا لحظه عبور دست خراب می‌شود.
- همان قسمت دشوار را کوتاه و جدا کنید؛ قاب خواناتر یا کنترل پوشیدگیِ مدل را بررسی کنید.
- لب درست است، اما صورت بیش از حد تغییر کرده است.
- دامنه ویرایش را محدود کنید؛ مثلاً در React-1، گزینه lips را به‌جای face یا head بررسی کنید.
این ترتیب با راهنمای بهبود ورودی‌های Sync و کنترل‌های مستند هر مدل سازگار است؛ نتیجه هر چهره و صدای فارسی همچنان به بررسی همان خروجی نیاز دارد.
از کدام مسیر در جنارا شروع کنیم؟
برای ویدیوی آماده و صدای فارسی نهایی، ابتدا Sync Lipsync 2 را در پنل بررسی کنید. اگر علاوه بر لب، تغییر احساس یا حالت صورت را می‌خواهید، React-1 گزینه مرتبط‌تری است. برای عکس و صدا، اگر گزینه‌های Kling Avatar یا OmniHuman در حساب شما نمایش داده می‌شوند، مسیر آواتار آن‌ها را بررسی کنید. این نام‌ها در اطلاعات ثبت‌شده جنارا وجود دارند؛ نمایش و فعال‌بودنشان در حساب فعلی شما، باید در خود پنل بررسی شود.
پیش از شروع، فایل تصویر یا ویدیو و صدای نهایی را آماده کنید و مدتشان را کنار هم بگذارید. سپس نام دقیق نسخه و نوع ورودی فرم را ببینید: فرمِ ویدیو + متن، با فرمِ ویدیو + فایل صوتی یکسان نیست. اگر گزینه موردنیاز در حساب شما نمایش داده نمی‌شود، در دسترس‌بودنش را از پشتیبانی بپرسید؛ انتخاب یک مدل نامرتبط، جای آن مسیر را نمی‌گیرد.
بررسی پنل جنارا · آشنایی با لیپ‌سینک Kling · آشنایی با آواتار Kling
جمع‌بندی: ابزار را با چیزی که می‌خواهید حفظ شود انتخاب کنید
اگر حفظ اجرای قبلی شرط اصلی است، از جدول ویدیو + صدا گزینه‌ای با کنترل لازم انتخاب کنید؛ داشتنِ فقط عکس، انتخاب را به مسیر آواتار تغییر می‌دهد. پیش از ساخت کل پروژه، یک جمله و همان بخش دشوار تصویر را امتحان کنید. تغییر مدل وقتی ارزش دارد که خطای مشخصی را کم کند، نه صرفاً نام یا پسوند تازه‌تری داشته باشد.
سؤال‌های رایج درباره لیپ‌سینک فارسی
برای فارسی، کدام مدل قطعاً بهتر است؟
آزمون مشترکی برای اعلام برنده قطعی نداریم. روی نمونه خودتان، صدا، زمان‌بندی و تغییر چهره را بررسی کنید.
می‌توانم فقط با یک عکس، ویدیوی فارسی بسازم؟
بله؛ صدای نهایی را آماده کنید و از مدلِ تصویر + صدا استفاده کنید، نه فرمی که ویدیوی ورودی می‌خواهد.
لیپ‌سینک، ترجمه و صدای فارسی را هم می‌سازد؟
نه لزوماً؛ مسیر فایل صوتی، صدای نهایی را از شما می‌گیرد. برای ترجمه و تولید گفتار، مراحل دوبله را جدا بررسی کنید.
چرا پایان جمله در خروجی حذف شده است؟
طول دو فایل و حالت هماهنگ‌سازی را ببینید؛ مثال ۴ و ۸٫۶۴ ثانیه‌ای نشان می‌دهد که حالت برش چگونه پایان صدای بلندتر را حذف می‌کند.
چرا گزینه‌های آموزش رسمی را در سرویس خودم نمی‌بینم؟
هر سرویس ممکن است نسخه یا مسیر متفاوتی ارائه کند. امکانات رابط اصلی Kling یا مستندات مستقیم Sync الزاماً در هر API یا پنل دیگری وجود ندارند؛ تنظیمات همان نسخه‌ای را بررسی کنید که واقعاً اجرا می‌کنید.
