Modelin yüksek güven skoru vermesi neden kesin doğru demek değildir?

Bir yapay zekâ arayüzünde yüksek bir sayı görmek, sonucun kesin doğru olduğu hissini verebilir. Ancak modelin ürettiği skor ile gerçek etiket aynı şey değildir. Skorun neyi temsil ettiği kullanılan modele bağlıdır; tek bir yüksek sayı, o örnekte yanlışlık bulunmadığını kanıtlamaz. Bu nedenle tahminin kendisi ayrıca kontrol edilmelidir.

Skoru cevap anahtarı yapmayın

İki nesneyi ayıran örnek projede modelin bir kare görüntüsüne yüksek skorla “Daire” dediğini varsayın. Bu tamamen kurgusal bir durumdur. Fotoğrafın gerçek etiketi kareyse yüksek skor sonucu doğruya dönüştürmez. Çocuğun görevi önce gerçek örneği ve tahmini ayrı göstermek olsun.

Google’ın sınıflandırma açıklamasında model skoru ile gerçek durumun ayrı kavramlar olduğu belirtilir. Öğrenci projesinde de bu ayrımı korumak, arayüzdeki sayıya gereğinden fazla anlam yüklenmesini önler.

Aynı örneği farklı koşulda inceleyin

Nesneyi sabit tutup arka planı değiştirin veya nesnenin bir bölümünü kapatın. Tahmin ve skor değişebilir. Gözlemleri kaydedin; tek bir değişiklikten modelin bütün iç işleyişini bildiğiniz sonucuna gitmeyin. Deneyin hangi soruyu sınadığını yazın.

Skor için “Her zaman gerçek olasılıktır” veya “Yüzde doksan ise yüz denemenin doksanı doğru çıkar” gibi genellemeler yapmayın. Böyle bir yorumun geçerli olması ayrıca değerlendirme gerektirir. Başlangıç düzeyinde modelin sayısıyla gerçek sonuç arasındaki farkı görmek yeterli bir hedeftir.

Karar için ek kontrol kullanılabilir

Bir eğitim robotu model tahminine göre hareket edecekse kararsız veya beklenmeyen sonuçlar için durma, yeniden görüntü alma veya yetişkin kontrolü isteme gibi seçenekler düşünülmelidir. Bu, tek bir skor sınırının bütün güvenliği garanti ettiği anlamına gelmez.

Alanya’da Yonga Akademi’nin yapay zekâ eğitim yaklaşımını incelerken arayüzdeki sonuçların nasıl açıklandığını sorun. Çocuğun yalnız sayıya hayran olması değil, “Bu skor neyi söylüyor, neyi söylemiyor?” diye sorabilmesi önemlidir. Güvenilir bir çalışma, kendi belirsizliğini de görünür kılabilir.