İki model de on olayın altısında doğru tarafı seçebilir. Buna rağmen biri sonuçlardan çok daha emin konuşmuşsa olasılık tahminlerinin kalitesi aynı olmayabilir. “Kaçını bildi?” sorusu, “verdiği olasılıklar ne kadar iyi?” sorusunun tamamını cevaplamaz.
Aynı karar, farklı güven düzeyi
Hayalî örneğimizde birbirinden ayrı on ikili olayın altısında seçilen sonuç gerçekleşiyor. Model A her olaya yüzde 60, Model B her olaya yüzde 90 olasılık veriyor. Yüzde 50 eşik kullanıp hepsinde aynı tarafı seçtiklerinde ikisi de 6 / 10, yani yüzde 60 doğruluğa ulaşır. Fakat B çok daha güçlü bir olasılık iddiasında bulunmuştur.
Brier skorunu elle hesaplayın
İkili olay için Brier skoru, tahmin edilen olasılık p ile gerçekleşen sonuç y arasındaki farkın karesinin ortalamasıdır. Sonuç gerçekleştiğinde y = 1, gerçekleşmediğinde y = 0 kullanılır. Bu tanımda daha düşük skor daha iyidir.
A için altı gerçekleşen olayın her biri (0.60 − 1)² = 0.16; diğer dört olayın her biri (0.60 − 0)² = 0.36 katkı verir. Ortalama (6 × 0.16 + 4 × 0.36) / 10 = 0.24’tür. B için aynı hesap (6 × 0.01 + 4 × 0.81) / 10 = 0.33 olur. Karar doğruluğu aynıyken A bu örnekte daha düşük Brier skoru elde eder.
Kalibrasyon neyi sorgular?
Yüzde 60 denilen benzer değerlendirmelerin yaklaşık yüzde 60’ı gerçekleşiyorsa bu, ilgili grupta kalibrasyonla uyumlu bir gözlemdir. Ancak on olay ve tek olasılık seviyesi, bir modelin genel olarak kalibre olduğunu kanıtlamaz. Farklı olasılık aralıklarında gözlem sayısı ve gerçekleşme sıklığı ayrıca incelenmelidir.
Brier skoru da yalnızca kalibrasyonu ölçen saf bir sayı değildir. Olasılık tahminlerinin başka özelliklerinden etkilenir. scikit-learn’in kalibrasyon belgesi, güvenilirlik diyagramlarını ve bu değerlendirme ayrımını açıklar. Bir grafikte az gözlem içeren kutuların dalgalanmasını modelin kesin kusuru veya başarısı gibi yorumlamayın.
Araştırma kaydına ne eklenmeli?
Tahmin olasılıklarını sonuçlar ortaya çıkmadan önce kaydedin. Eğitim veya ayar yapmak için kullanılan maçları bağımsız test diye sunmayın. Tarih sırasını koruyan bir değerlendirmede model eski dönemde hazırlanıp sonraki dönemde değişmeden sınanabilir. Aynı maçın farklı sağlayıcı kayıtları eğitim ve test taraflarına bölünürse sonuç bilgisi dolaylı biçimde paylaşılabilir.
Raporunuzda olay tanımı, tarih aralığı, benzersiz maç sayısı, karar eşiği, Brier skoru ve olasılık gruplarındaki gözlem sayıları bulunsun. Farklı ligler veya dönemler karşılaştırılıyorsa kapsam değişimini de gösterin.
İyi olasılık değerlendirmesi, sunulan fiyat ve masraflardan bağımsız bir kazanç garantisi değildir. Bu örnek yalnızca aynı doğruluk yüzdesinin arkasında farklı olasılık kaliteleri bulunabileceğini gösterir.
Kaynaklar ve yöntem
Hesaplar ve senaryolar bu yazı için hazırlanmış öğretici örneklerdir; gerçek maç verisi, ürün performansı veya gelecek sonuç tahmini değildir. Kaynaklar belirtilen kavram ve yöntemler için kullanılmıştır. Metin yapay zekâ yardımıyla hazırlanmış; kaynaklar ve hesaplar kontrol edilmiştir.
- scikit-learn: probability calibration — erişim 14 Eylül 2026
- scikit-learn: time series cross-validation — erişim 14 Eylül 2026