Whisper Türkçede ne kadar doğru? Modelleri ölçtük

Sonuçlar

int8, q4 ve fp32, aynı modelin farklı ölçüde sıkıştırılmış sürümleridir: fp32 sıkıştırılmamıştır, int8 dosyayı yaklaşık dörtte birine, q4 sekizde birine indirir. Küçük sürüm daha hızlı iner, ama doğruluk değişebilir.

* Sohbet kayıtlarında, zaman damgaları kapalıyken, işlemcide ve tarayıcı dışında. Tarayıcıda WebAssembly daha yavaş, ekran kartı (WebGPU) çok daha hızlıdır. ** M4 ekran kartında aynı modeli fp16 ile çalıştırır; işlemcide fp16 çalışmadığı için en yakın sürümü ölçtük. Ekran kartında M1 ve M2 de bu biçimde (fp16 kodlayıcı, q4) çalışır; bu sürümlerin işlemcideki karşılıkları sohbette Base’te %50,4, Small’da %38,7 aldı.

Bu süreler bir kaydı baştan sona bir kez yazmak içindir. Canlı deşifrede motor aynı sesi kelimeler kesinleşene kadar birkaç kez işler, bu yüzden Turbo’nun işlemcide canlı yayına yetişmesi beklenemez. LiveType’ta M3 ve M4 (Turbo) ekran kartı ister, ekran kartı yoksa M1 ve M2 (Base ve Small) kalır.

Resmî ve bağımsız ölçümlerle karşılaştırma

OpenAI, Whisper’ı tanıttığı makalede her dil için kelime hata oranını yayımladı. Türkçe satırları bizim sonuçlarımızla yan yana:

• Turbo için Türkçe rakam yok. OpenAI, Turbo’yu duyururken Türkçe için ayrı bir sayı vermedi; diller genelinde Large-v2’ye yakın çalıştığını söyledi. Bizim okunan cümlelerdeki %9,5’imiz, Large-v2’nin resmî %8,4’üne yakın.
• Bağımsız bir ölçüm: Polat ve arkadaşlarının hakemli çalışması beş Türkçe veri setinde, ince ayar yapılmamış Whisper için %4,3 ile %14,2 arasında hata oranı buldu.
• Okunan cümlelerde fark küçük: Small’da resmî rakamın 3 puan gerisindeyiz, Turbo da Large-v2’nin yaklaşık 1 puan gerisinde. Tarayıcıya sığsın diye küçültülmüş (int8, q4) sürümler ve iki tarafın metni farklı biçimde sadeleştirmesi bu farkı açıklayabilir. Tiny ve Base’te fark 10 puanı geçiyor: Küçük modeller küçültülmekten daha çok etkileniyor.
• Sohbette fark büyük: Resmî ölçümlerin ikisi de tek kişinin okuduğu cümlelerle yapıldı. Üst üste konuşulan sohbette Turbo (%14,5 ve %17,9), Large-v2’nin Common Voice sonucuna (%14,5) yakın kaldı; Small ise Common Voice’taki resmî rakamın (%23,7) yaklaşık bir buçuk katına çıktı.

Küçük modeller sohbette neden dağıldı?

Base ve Small’un hatalarının büyük kısmı tek tek kelimelerden değil, birkaç uzun bölümden geldi. Birkaç kişinin aynı anda konuştuğu yerlerde model ya bölümü tamamen atladı ya da bir sesi defalarca yazdı: Small’un int8 sürümü podcast kaydında bir sesi satırlarca “hıhıhı” diye yazdı. Bu tür bir bölüm, kaydın geri kalanı iyi yazılsa bile hata oranını birkaç puan yukarı iter. Zaman damgaları açıkken bu döngüler büyük ölçüde kayboldu: Small’un int8 sürümünün hatası %44,1’den %29,5’e, aynı podcast kaydında %90,2’den %45,2’ye indi.

Türkçe de küçük modeller için zordur: Eklerde yapılan tek bir yanlışlık, kelimenin çoğu doğru olsa bile bütün kelimeyi yanlış saydırır. Bu nedenle uygulamada M1’i (Base) açıkça “düşük doğruluk” diye etiketliyoruz.

Hassasiyet farkı ölçüme göre yön değiştirdi. Okunan cümlelerde Base’in int8 sürümü fp32’den çok daha iyiydi, Small’da fark yoktu. Sohbette zaman damgaları kapalıyken int8 sürümler, açıkken fp32 sürümler geride kaldı; ortalamada Base’in iki sürümü neredeyse aynı (%62,0 ve %63,1), Small’un fp32 sürümü 3 puan önde (%33,7 ve %36,8). Dört kayıtla bu farkın ne kadarının rastlantı olduğunu söylemek zor.

Turbo’nun bir sürümü neden döngüye girdi?

%139,6 yazım hatası değil: Hata oranı %100’ü geçebilir, çünkü fazladan yazılan kelimeler de sayılır. Bu sonucu ilk ölçümde bir test hatası sandık, ama sohbet kayıtlarında da zaman damgaları kapalıyken %100,9 çıktı. Turbo’nun int8 sürümü bir kayıtta “görüp görüp” ifadesini 199 kez, bir başkasında “biz biz” ifadesini 368 kez yazdı; bir kaydın da yarısını hiç yazmadı. Zaman damgaları açıkken döngüler azaldı, ama %44,6 ile yine Small’un gerisinde kaldı. Aynı modelin q4 sürümü iki ölçümde de en iyiler arasındaydı. Üründe Turbo’nun int8 sürümünü kullanmıyoruz.

q4 sürümünün de bir tuzağı çıktı: Zaman damgaları kapalıyken 30 saniyelik ekonomi kaydının neredeyse tamamını atlayıp tek kelime yazdı. Bunun bir ölçüm hatası olup olmadığını ayrıca denedik. Ölçüm kodunda hata yoktu. Kayıt tam 30 saniye, yani Whisper’ın bir seferde dinlediği pencerenin tamamı; q4 sürümü bu pencerede 20. saniyedeki bir ifadeye atlayıp yazmayı erken bitirdi. Kayıt bir saniye kısaltılınca hata oranı %10,8’e indi, zaman damgalı modda %16,9 oldu. LiveType’ın motorundan canlı yayın gibi geçirdiğimizde ise Turbo q4, %6,0 ile bu kaydı en az hatayla yazan model oldu.

Bu tür tuzaklar başka sürümlerde de var: fp32 kodlayıcılı sürüm aynı kaydın ilk 15 saniyesine yalnızca “Altyazı M.K.” yazdı. İki modun ortalamasını almamızın nedeni de bu: Aynı q4 sürümü öteki kayıtlarda zaman damgaları açıkken biraz daha çok yanıldı ve iki modda %18,5 ile %17,2 aldı. Tek bir modla ölçseydik sonuç, modelin hangi kayıtta tökezlediğine bağlı kalacaktı.

Buradan çıkan genel ders şu: “Whisper Turbo şu kadar doğru” gibi bir cümle, hangi dönüştürülmüş sürümden söz edildiğini söylemiyorsa eksiktir.

Gerçek yayın neden farklıdır?

Temiz kısa cümleler, Whisper’ın en rahat olduğu durumdur. Gerçek bir yayında şunlar eklenir:

• Müzik, jenerik ve arka plan gürültüsü
• Üst üste konuşma
• Özel adların yoğunluğu
• Modelin cümle biterken değil, konuşma sürerken yazmak zorunda kalması

Sohbet kayıtlarında üst üste konuşma ve özel adlar bol, bu yüzden bir yayın için okunan cümlelerdeki sonuçlardan daha iyi bir tahmin verirler. Yine de dört kayıt az: Rakamları kesin bir tahmin olarak değil, modelleri birbiriyle karşılaştırmak için kullanın.

Buradaki rakamlar modelin kendisine aittir. LiveType sesi Whisper’a olduğu gibi vermez: Konuşma algılama sessiz bölümleri ayıklar, motor aynı yeri birkaç kez yazdırıp yalnızca tutarlı çıkan kelimeleri kesinleştirir ve uydurma tekrarlara karşı korumaları vardır. Small’un int8 sürümünü (işlemcideki M2) bu motorla, kayıtlar canlı yayınmış gibi aynı dört kayıttan geçirdiğimizde hata oranı %33,3 çıktı. Bu, kayıt bütün olarak yazdırıldığında çıkan iki sonucun (%29,5 ve %44,1) arasında; üstelik motor konuşma sürerken yazıyor.

Türkçenin neden zor olduğunu ve adların neden yanlış çıktığını Türkçe konuşmayı metne çevirme sayfasında, modelin neden ve nerede yanıldığını yapay zeka ile deşifre yazısında anlattık.

Hangi durumda hangi model?

Modeli kendi cihazınızda çalıştırıyorsanız ses dışarı çıkmaz. Daha büyük bir model genellikle daha doğru, ama indirmesi ve çalışması daha ağırdır. Deşifre sürerken düzenleme de küçük modelde daha çok işe yarar; hatayı gördüğünüz anda düzeltirsiniz. Süreler ve planlar için fiyatlandırma sayfasına bakabilirsiniz.

Sesi metne çevirme ya da yazıya dökme aracı seçerken en doğru sonucu kendi kayıtlarınızla deneme verir. Ücretsiz planda 30 dakika yeterlidir; elinizdeki kaynağa göre adımlar sesi metne çevirme sayfasında. Yeni model denemelerinde bu sayfayı güncelleyeceğiz, tarih en üstte yazar.