Video Modellerinde Benchmark Denemesi: Tutarlılık, Hareket ve Prompt Uyumu Nasıl Ölçülür

Video modellerini değerlendirmek için akademik benchmark'lar var: VBench gibi paketler hareket akıcılığı, nesne tutarlılığı, estetik ve prompt uyumu için otomatik puanlar üretir. Yararlı ama iki sınırı var: puanlar insan izlenimini tam yansıtmıyor ve sizin sahne türünüzü ölçmüyor. Aşağıdaki yöntem, birkaç saatte kendi karşılaştırmanızı yapmanızı sağlar.

Test düzeni

Altı prompt, her modelde üçer üretim, hepsi aynı süre ve çözünürlükte (örneğin 5 saniye, 720p). Prompt'lar İngilizce yazılır; Türkçe prompt çoğu modelde belirgin kalite düşürür.

• Yavaş kamera hareketiyle kahve dükkanı içi, insanlar konuşuyor.
• Sahilde koşan köpek, güneş batımı.
• Tezgâhta hamur açan eller, yakın çekim.
• Yağmurda yürüyen kişi, şemsiye, gece neonları.
• Ürün döner tabla üzerinde, stüdyo ışığı.
• Şehir trafiği, drone çekimi, gündüz.

Ölçütler

1. Zamansal tutarlılık: nesneler kareler arasında şekil değiştiriyor mu, yüz sabit mi, arka plan kayıyor mu?
2. Hareket doğallığı: yürüyüş, el hareketi, kumaş dalgalanması fizik kurallarına uyuyor mu? Kayan ayaklar ve yer değiştiren parmaklar en sık hata.
3. Prompt uyumu: istenen kamera hareketi, ışık ve nesneler var mı?
4. Görüntü kalitesi: netlik, artefakt, renk.
5. Süre ve maliyet: üretim süresi ve klip başına maliyet.

Gözlemlenen farklar

• Eller ve yakın çekim: hamur açma sahnesi tüm modelleri zorluyor. Kapalı servisler (Veo, Kling, Sora) daha az bozulma veriyor; açık modellerde Wan 14B en iyi, LTX en zayıf.
• Kamera hareketi: "yavaş dolly" gibi talimatlara Veo ve Runway en sadık. Açık modellerde hareket bazen ters yönde çıkıyor.
• Kalabalık ve konuşma: insanların konuştuğu sahnede ağız hareketi yalnızca ses üreten modellerde anlamlı (Veo 3). Diğerlerinde ağız rastgele oynuyor.
• Ürün çekimi: en az fark burada. Açık modeller sabit ışıklı, tek nesneli sahnelerde kapalı servislerle rekabet ediyor; bu, sosyal medya ürün klipleri için yerel kurulumu makul kılıyor.
• Drone çekimi: geniş sahnelerde tüm modeller iyi; farklar detay seviyesinde.

Üç üretim neden şart

Aynı prompt'un üç üretimi arasında büyük fark oluyor: biri kusursuz, biri kullanılamaz olabiliyor. Tek üretimle yapılan karşılaştırma şansa dayanır. Üç üretimin ortalamasını ve en iyisini ayrı ayrı not edin; "en iyi" değeri, tekrar üretme lüksünüz varsa anlamlıdır.

Sonucu işinize çevirmek

Sahne türünüz belliyse yalnızca o kategorideki puanlara bakın. Bütçe kısıtlıysa maliyet sütununu ağırlıklandırın. Testi her büyük sürümde tekrarlayın; video modellerinde altı ay, kalite sıralamasını değiştirmeye yetiyor.