Yükleniyor…Yükleniyor…

Ölçülen doğruluk

Canlı çevirimiz ne kadar doğru? Ölçtük.

Herkese açık test kayıtlarını moschee.io canlı çevirisinden geçirdik ve Baian'ın kendi değerleri için tarif ettiği kurallarla puanladık. Karşılaştırılabilen 6 dil çiftinin hepsinde değerimiz Baian'ın değerinin önünde ve tamamlanan satır daha erken görünüyor. Her bir fark hata payının içinde; zayıf kaldığımız noktalar da bu sayfada.

Üç temel değer

  • 6/6

    dil çiftinde Baian'ın yayımladığı değerin önünde

    ortalama 4,9 puan; her fark hata payının içinde

  • 1,8 sn

    son kelimeden tamamlanmış çeviri satırına kadar (medyan)

    Baian 2,1 sn yayımlıyor

  • %98

    hutbede gösterilen Kur'an ayetlerinde doğru ayet oranı

    237 ayetin 233 tanesi; 17 canlı hutbede yapılan ilk ölçüm

Çeviri kalitesi

Karşılaştırılan 6 dil çiftinin hepsinde önde

Test şöyle işliyor: Bir konuşmacı bir cümleyi sesli okuyor, canlı çeviri dinleyip çeviriyor. Ardından otomatik bir değerlendirici olan MetricX-24, konuşmadan yaptığımız çeviriyi ve yazılı cümlenin profesyonel çevirisini puanlıyor.

Değer, değerlendiricinin bizim çevirimize daha yüksek puan verdiği cümlelerin oranıdır; eşitlik yarım sayılır. %50, profesyonel çeviriyle aynı düzey demektir. Baian kendi ürünü için aynı değeri yayımlıyor; karşılaştırmayı mümkün kılan da bu.

Profesyonel çeviriden daha yüksek puan alan cümlelerin oranı

  • moschee.io, ölçülen
  • Baian, yayımlanan
  • %95 aralığı
  • %50: profesyonel çeviriyle aynı düzey

İngilizce konuşmadan

Baian'ın yayımladığı dil çiftleri

  • İngilizce → Arapça

    moschee.io, ölçülen:%63,7%95 aralığı: %58,6–⁠69,0

    Baian, yayımlanan:%58,0

  • İngilizce → Hintçe

    moschee.io, ölçülen:%70,3%95 aralığı: %65,6–⁠75,0

    Baian, yayımlanan:%65,5

  • İngilizce → Korece

    moschee.io, ölçülen:%68,3%95 aralığı: %63,3–⁠73,0

    Baian, yayımlanan:%61,5

  • İngilizce → Hausaca

    moschee.io, ölçülen:%76,9%95 aralığı: %72,4–⁠81,6

    Baian, yayımlanan:%75,0

  • İngilizce → Svahilice

    moschee.io, ölçülen:%71,1%95 aralığı: %66,6–⁠75,7

    Baian, yayımlanan:%68,0

  • İngilizce → Urduca

    moschee.io, ölçülen:%74,1%95 aralığı: %69,7–⁠79,1

    Baian, yayımlanan:%67,0

Arapça konuşmadan

Arapça bir hutbe bu yönde çevrilir. Baian bu yön için çeviri değeri yayımlamıyor.

  • Arapça → Almanca

    moschee.io, ölçülen:%53,0%95 aralığı: %47,2–⁠58,8

  • Arapça → İngilizce

    moschee.io, ölçülen:%62,4%95 aralığı: %56,4–⁠67,7

  • Arapça → Türkçe

    moschee.io, ölçülen:%62,2%95 aralığı: %56,5–⁠67,7

  • Arapça → Fransızca

    moschee.io, ölçülen:%61,5%95 aralığı: %55,8–⁠67,0

  • Arapça → Boşnakça

    moschee.io, ölçülen:%57,4%95 aralığı: %51,9–⁠62,7

  • Arapça → Arnavutça

    moschee.io, ölçülen:%59,7%95 aralığı: %54,1–⁠65,7

Baian aralık yayımlamıyor. Baian için gösterilen aralıkları, 148 cümlesinden biz tahmin ettik.

Dil çiftine göre çeviri kalitesi: moschee.io ölçülen, Baian yayımlanan
İngilizce → ArapçaCümle350moschee.io%63,7%95 aralığı: %58,6–⁠69,0Profesyonel çeviriye göreDaha yüksek puanBaian (yayımlanan)%58,0Canlı ürünFark (puan)+5,7
İngilizce → HintçeCümle350moschee.io%70,3%95 aralığı: %65,6–⁠75,0Profesyonel çeviriye göreDaha yüksek puanBaian (yayımlanan)%65,5Canlı ürünFark (puan)+4,8
İngilizce → KoreceCümle350moschee.io%68,3%95 aralığı: %63,3–⁠73,0Profesyonel çeviriye göreDaha yüksek puanBaian (yayımlanan)%61,5Canlı ürünFark (puan)+6,8
İngilizce → HausacaCümle350moschee.io%76,9%95 aralığı: %72,4–⁠81,6Profesyonel çeviriye göreDaha yüksek puanBaian (yayımlanan)%75,0Kayıtlar için altyazı aracıFark (puan)+1,9
İngilizce → SvahiliceCümle350moschee.io%71,1%95 aralığı: %66,6–⁠75,7Profesyonel çeviriye göreDaha yüksek puanBaian (yayımlanan)%68,0Kayıtlar için altyazı aracıFark (puan)+3,1
İngilizce → UrducaCümle350moschee.io%74,1%95 aralığı: %69,7–⁠79,1Profesyonel çeviriye göreDaha yüksek puanBaian (yayımlanan)%67,0Kayıtlar için altyazı aracıFark (puan)+7,1
Arapça → AlmancaCümle283moschee.io%53,0%95 aralığı: %47,2–⁠58,8Profesyonel çeviriye göreAynı düzeyBaian (yayımlanan)YayımlanmadıFark (puan)Yayımlanmadı
Arapça → İngilizceCümle283moschee.io%62,4%95 aralığı: %56,4–⁠67,7Profesyonel çeviriye göreAynı düzeyBaian (yayımlanan)YayımlanmadıFark (puan)Yayımlanmadı
Arapça → TürkçeCümle283moschee.io%62,2%95 aralığı: %56,5–⁠67,7Profesyonel çeviriye göreAynı düzeyBaian (yayımlanan)YayımlanmadıFark (puan)Yayımlanmadı
Arapça → FransızcaCümle283moschee.io%61,5%95 aralığı: %55,8–⁠67,0Profesyonel çeviriye göreAynı düzeyBaian (yayımlanan)YayımlanmadıFark (puan)Yayımlanmadı
Arapça → BoşnakçaCümle283moschee.io%57,4%95 aralığı: %51,9–⁠62,7Profesyonel çeviriye göreAynı düzeyBaian (yayımlanan)YayımlanmadıFark (puan)Yayımlanmadı
Arapça → ArnavutçaCümle283moschee.io%59,7%95 aralığı: %54,1–⁠65,7Profesyonel çeviriye göreAynı düzeyBaian (yayımlanan)YayımlanmadıFark (puan)Yayımlanmadı
  • Baian'ın canlı ürününden gelen değerler: Arapça, Hintçe ve Korece. Kayıtlı dosyalar için altyazı aracından gelen değerler: Hausaca, Svahilice ve Urduca.
  • “Profesyonel çeviriye göre” sütunu, değerlendiricinin ortalama puanlarını karşılaştırır: “daha yüksek puan”, farkın %95 aralığının sıfırın üstünde olduğu; “aynı düzey” ise sıfırı içerdiği anlamına gelir.
  • Baian ayrıca şu dil çifti için de değer yayımlıyor: Tamilce (%69,0, kayıtlar için altyazı aracı). Bu çifti henüz ölçmedik; bu yüzden karşılaştırmaya dahil değil.

Gecikme

Son kelimeden 1,8 sn sonra tamamlanan satır

Bir cümlenin son sesli anından, tamamlanmış çeviri satırının ekranda göründüğü ana kadar ölçüyoruz. Medyan, cümlelerin yarısının altında kaldığı değerdir; ikinci değerin altında ise on cümleden dokuzu kalır.

  • Arapça konuşma

    402 kayıt

    Medyan 1,80 sn

    On cümleden dokuzu şu sürede 2,92 sn

  • İngilizce konuşma

    601 kayıt

    Medyan 1,83 sn

    On cümleden dokuzu şu sürede 3,11 sn

  • Baian (yayımlanan)

    Medyan 2,1 sn

  • Baian, cümlenin sonundan tamamlanan satıra kadar 2,1 sn medyan bildiriyor. Baian 15 dakikalık kayıtlar aktardı; bizim kayıtlarımız, ardından sessizlik gelen tek cümlelerdi. Süren bir hutbede sonraki cümle hemen geldiği için gecikme orada farklı olabilir.
  • Süre, tanıma sisteminin cümleyi kendiliğinden kapattığı kayıtlarda ölçüldü: 428 Arapça kayıttan 402 tanesi, 647 İngilizce kayıttan 601 tanesi.

Konuşma tanıma

4 dilde Baian'la aynı düzeyde, 2 dilde geride

Bir şeyin çevrilebilmesi için önce söylenenin doğru yazıya dökülmesi gerekir. Kelime hata oranı (WER), yanlış, eksik veya fazladan yazılan kelimelerin oranıdır; Korecede kelime yerine karakter sayılır (CER). Düşük değer daha iyidir.

Değerlerimiz, Baian'ın kendi değerleri için kullandığı metin temizliğiyle hesaplandı: noktalama, büyük-küçük harf, Arapça harekeler ve sayıların yazımı dikkate alınmaz.

Dile göre konuşma tanıma hata oranları: moschee.io ölçülen, Baian yayımlanan
ArapçaKayıt428ÖlçütWERmoschee.io%5,76%95 aralığı: %4,71–⁠6,95Baian (yayımlanan)%5,1Canlı ürünFark (puan)−0,7DurumAynı düzey
İngilizceKayıt647ÖlçütWERmoschee.io%5,06%95 aralığı: %4,55–⁠5,61Baian (yayımlanan)YayımlanmadıFark (puan)YayımlanmadıDurumBaian değeri yok
AlmancaKayıt200ÖlçütWERmoschee.io%5,98%95 aralığı: %4,75–⁠7,25Baian (yayımlanan)YayımlanmadıFark (puan)YayımlanmadıDurumBaian değeri yok
TürkçeKayıt200ÖlçütWERmoschee.io%5,99%95 aralığı: %4,79–⁠7,14Baian (yayımlanan)YayımlanmadıFark (puan)YayımlanmadıDurumBaian değeri yok
FransızcaKayıt200ÖlçütWERmoschee.io%5,14%95 aralığı: %4,16–⁠6,15Baian (yayımlanan)%4,3Kayıtlar için altyazı aracıFark (puan)−0,8DurumAynı düzey
RusçaKayıt200ÖlçütWERmoschee.io%5,61%95 aralığı: %4,59–⁠6,71Baian (yayımlanan)%6,4Canlı ürün%4,7Kayıtlar için altyazı aracıFark (puan)+0,8Canlı ürün−0,9Kayıtlar için altyazı aracıDurumAynı düzey
DancaKayıt200ÖlçütWERmoschee.io%9,14%95 aralığı: %7,65–⁠10,68Baian (yayımlanan)%9,9Canlı ürünFark (puan)+0,8DurumAynı düzey
KoreceKayıt200ÖlçütCERmoschee.io%5,27%95 aralığı: %3,95–⁠6,82Baian (yayımlanan)%2,9Canlı ürünFark (puan)−2,4DurumGeride
UrducaKayıt200ÖlçütWERmoschee.io%15,86Daha katı temizlik · %95 aralığı: %14,15–⁠17,51%13,61Baian'ın temizliği · %95 aralığı: %12,30–⁠14,81Baian (yayımlanan)%13,2Kayıtlar için altyazı aracı · Daha katı temizlikFark (puan)−2,7Daha katı temizlikDurumGeride
  • “Fark”, Baian'ın hata oranından bizimkinin çıkarılmasıyla bulunur ve puan cinsindendir: artı işareti bizim oranımızın daha düşük, eksi işareti daha yüksek olduğunu gösterir. Yalın sayılara göre hata oranımızın Baian'ınkinden düşük olduğu diller: Rusça ve Danca. Yüksek olduğu diller: Arapça, Fransızca, Korece ve Urduca. “Aynı düzey”, Baian'ın değerinin bizim %95 aralığımızın içinde olduğu; “geride” ise bu aralığın altında olduğu anlamına gelir.
  • Arapça ve İngilizce ana ölçümden geliyor. Diğer diller, aynı gün aynı konuşma tanımayla yapılan daha önceki bir ölçümden geliyor; her dil için 200 kayıt.
  • Urduca: Baian'ın değeri altyazı aracından geliyor ve diğer değerlerinden daha katı bir metin temizliğiyle hesaplanmış. Aynı biçimde hesaplandığında değerimiz %15,86; Baian'ın %13,2 değerinin gerisinde. Baian'ın olağan temizliğine göre ise %13,61.
  • Korece: Baian'ın %2,9 değerine karşı %5,27; ikisi de boşluklar sayılmadan hesaplanmıştır. Bu sayfadaki en belirgin fark budur.
  • Fransızca değeri ile Rusça için ikinci değer, Baian'ın canlı ürününden değil, kayıtlı dosyalar için altyazı aracından geliyor. Rusçada durum, canlı ürünün değerine göre belirlenir; altyazı aracının değerine göre hata oranımız daha yüksektir ve bu değer de %95 aralığımızın içindedir.

Kur'an ve hadis

Canlı hutbede tanınan Kur'an ayetleri ve hadisler

İlk ölçüm, Kasım 2026

İmam bir Kur'an ayeti veya hadis aktardığında moschee.io dinleyicilere kaynağını gösterir. Ayetlerde, o dilde yayımlanmış bir meal varsa makine çevirisi yerine o meal görünür.

Ölçümden önceki 90 gün içinde okunan 17 canlı cuma hutbesini inceledik ve dinleyicilere gösterilen her kaynağı söylenenle karşılaştırdık. Baian bu konuda bir değer yayımlamıyor; dolayısıyla burada karşılaştırılacak bir şey yok.

Gösterildiğinde doğru
Dinleyicilere gösterilen bütün kaynaklar içinde doğru ayete veya hadise işaret edenlerin oranı. Bu değer dinleyiciyi yanlış kaynaktan korur.
Bulunan
Aktarılan bütün ayet veya hadisler içinde kaynağı gösterilenlerin oranı. Bir bölüm bulunamadığında o bölüm için kaynak gösterilmez.

Hutbedeki Kur'an ayetleri

Gösterildiğinde doğru

%98

Gösterilen 237 ayetin 233 tanesi doğru ayetti

Bulunan

aktarılan ayetlerde yaklaşık %94

Namazda okunan Kur'an

Gösterildiğinde doğru

%97

Gösterilen 387 ayetin 374 tanesi doğru ayetti

Bulunan

Henüz ölçülmedi

Hadisler

Gösterildiğinde doğru

%85

Gösterilen 115 hadisin 98 tanesi doğru hadisti

Bulunan

aktarılan hadislerde yaklaşık %68

  • Hadisler daha zor: Rivayetlerin lafzı farklılık gösterir ve konuşmacılar çoğu zaman mealen aktarır. Gösterilen 115 hadis kaynağının 17 tanesi doğru hadis değildi; aktarılan hadislerde bulunamayanların oranı ise yaklaşık %32.
  • Bunlar ilk ve geçici değerlerdir: 30 kayıtlık bir örneklemin ikinci kontrolü henüz yapılmadı. Yalnızca toplamlar yayımlanır; cami, konuşmacı veya hutbe metni yayımlanmaz.

Yöntem ve sınırlar

Nasıl ölçtük ve bu değerler neyi göstermez?

İki ürünü karşılaştırmak, ancak okuyan kişi bunu denetleyebiliyorsa adildir. Yukarıdaki değerlere giren her şey burada.

Test verisi

Konuşma: Herkese açık bir okunmuş cümle derlemi olan FLEURS'ün test bölümü; Mısır Arapçasında 428, Amerikan İngilizcesinde 647 kayıt; konuşma tanımanın diğer dillerinde dil başına 200 kayıt. Çeviri için cümle başına bir kayıt: 350 İngilizce ve 283 Arapça cümle. Karşılaştırma çevirileri: aynı cümlelerin FLoRes-200'deki profesyonel çevirileri.

Konuşmanın aktarımı

Her kayıt, moschee.io canlı çeviri hattından gerçek zamanlı olarak, akış başına tek cümleyle ve konuşulan dil önceden ayarlanarak geçirildi. AssemblyAI de Baian'ın kendisini karşılaştırdığı sistemleri bu şekilde sınadı. Baian ise 15 dakikalık kayıtları otomatik dil algılamayla aktardı; bu daha zorlu bir düzendir.

Çeviri puanı

MetricX-24, referanssız kipte her çeviriyi tek başına puanlar. Konuşmadan yaptığımız çevirinin, metnin profesyonel çevirisinden kaç kez daha iyi puan aldığını sayıyoruz; eşitlik yarım sayılır. Otomatik bir değerlendirici insan okur değildir ve bu tür değerlendiriciler makine çevirisini kayırabilir. Bu nedenle %50 üzerindeki bir oran, bir çevirinin profesyonel bir çevirmeninkinden daha iyi olduğunu kanıtlamaz. Değer, aynı şekilde puanlanan iki sistemi karşılaştırmaya uygundur.

Konuşma tanıma puanı

Değerler karşılaştırılabilsin diye, Baian'ın metin temizliğine göre kelime hata oranı. Kendi içimizde daha katı temizliklerle de puanlıyoruz; bunlar daha yüksek kelime hata oranları verir.

Hata payları

%95 aralıklarımız, cümlelerin bootstrap yöntemiyle yeniden örneklenmesinden gelir. Baian aralık yayımlamıyor. 148 cümleyle Baian'ın her değeri yaklaşık ±8 puan, bizimkiler yaklaşık ±5 puan taşır. Aradaki fark için bu, yaklaşık ±9 puan eder. Her bir fark bu payın içindedir. Ortalamada 4,9 puan öndeyiz.

Gecikme

Cümlenin ses içeren son karesinden ekrandaki tamamlanmış çeviri satırına kadar; tanıma sisteminin cümleyi kendiliğinden kapattığı kayıtlarda ölçülür.

Baian'ın değerleri

baian.ai/accuracy adresinden, 8 Kasım 2026 tarihinde okuduğumuz hâliyle alındı. Baian'ın ürününü kendimiz test etmedik ve cümleler aynı değil: Baian 148 İngilizce cümle kullandı, biz 350. Baian sayfasını o tarihten sonra güncellediyse oradaki değerler geçerlidir.

Bu değerler neyi göstermez?

FLEURS, sessiz ortamda kaydedilmiş okuma konuşmasıdır. Bir cuma hutbesinde yankı, duygu, lehçe ve Kur'an tilaveti vardır; bu yüzden gerçek bir hutbede doğruluk her sistemde daha düşük olabilir. Ayrıca bu tek bir ölçümdür: Canlı çeviri aynı cümleyi iki kez aynı şekilde kurmaz ve ölçüm günü iki ölçüm arasında bir dil çifti yaklaşık 2 puan oynadı.

Ölçümle ilgili sorular

Çeviri tablosundaki yüzde ne anlama geliyor?

Otomatik değerlendirici MetricX-24'ün, söylenen cümleden yaptığımız canlı çeviriye, yazılı cümlenin profesyonel çevirisinden daha yüksek puan verdiği test cümlelerinin oranıdır. Eşitlik yarım sayılır. %50, profesyonel çeviriyle aynı düzey demektir.

moschee.io, Baian'dan daha mı doğru?

Karşılaştırılabilen 6 dil çiftinde ölçtüğümüz değer, Baian'ın yayımladığı değerden ortalama 4,9 puan yüksek; tamamlanan satır da Baian'ın 2,1 sn değerine karşılık 1,8 sn sonra görünüyor. Her bir fark hata payının içinde ve iki ölçüm aynı cümleleri kullanmıyor. Bu yüzden “her dilde kanıtlanmış biçimde daha iyi” demiyoruz; “karşılaştırılan her dil çiftinde önde” diyoruz. Konuşma tanımada 4 dilde Baian'la aynı düzeydeyiz (Arapça, Fransızca, Rusça ve Danca), 2 dilde gerideyiz (Korece ve Urduca).

moschee.io nerede geride?

Konuşma tanımada 2 dilde (Korece ve Urduca): Korecede karakter hata oranımız %5,27, Baian'ınki %2,9; Urducada aynı kurala göre kelime hata oranımız %15,86, Baian'ınki %13,2. Şu dillerde de hata oranımız Baian'ınkinden yüksek: Arapça ve Fransızca. Ancak Baian'ın değeri bu dillerde %95 aralığımızın içinde kaldığı için bunları aynı düzey sayıyoruz. Hadisler de Kur'an ayetlerine göre daha az güvenilir tanınıyor: Gösterilen hadislerde doğru hadis oranı %85, aktarılan hadislerde bulunanların oranı yaklaşık %68.

Neden gerçek hutbeler değil de okunmuş cümleler?

Çünkü başka bir sağlayıcının yayımladığı değerlerle karşılaştırma yapmanın tek yolu herkese açık test verileridir: Aynı kayıtları herkes edinip sonucu denetleyebilir. Gerçek hutbeler her sistem için daha zordur. Bu sayfadaki Kur'an ve hadis değerleri bu yüzden gerçek canlı hutbelerden geliyor.

Kur'an ve hadis tespiti ne kadar güvenilir?

17 canlı cuma hutbesinde, hutbe sırasında gösterilen Kur'an ayetlerinde doğru ayet oranı %98, aktarılan ayetlerde bulunanların oranı yaklaşık %94 oldu. Hadislerde bu değerler %85 ve yaklaşık %68. Bunlar ilk değerlerdir; bir örneklemin ikinci kontrolü henüz yapılmadı.

Bu değerler ne kadar güncel?

10 Kasım 2026 tarihinde ölçüldü. Canlı çeviri değiştiğinde ölçümü tekrarlıyor ve tarihi sayfanın başında belirtiyoruz. Baian'ın değerlerini 8 Kasım 2026 tarihinde okuduğumuz hâliyle aktarıyoruz.

Devamı

Kendiniz görün — ücretsiz

Namaz vakitleri ve web sitesi widget'ıyla ücretsiz başlayın. Web sitesi, uygulama içerikleri ve yapay zekâ çevirisi, 14 gün ücretsiz deneyebileceğiniz Basis planıyla gelir — sözleşmesiz, KVKK/GDPR uyumlu, Avrupa'da barındırılır.