04.04. Naive Bayes Classifier

Naive Bayes Sınıflandırıcı adını 17. yüzyılda yaşamış İngiliz matematikçi Thomas Bayes’ten alır. Naive Bayes sınıflandırıcı bağımsız varsayımlarla Bayes teoremini temel alan olasılıklı bir sınıflayıcıdır. Yalın tasarımına ve görünüşte basitleştirilmiş varsayımlara rağmen naive Bayes sınıflandırıcı gerçek dünya durumlarında beklenenden çok daha iyi sonuçlar vermektedir.

Bayes Teoremi

Bu teorem bir rassal değişken için koşullu olasılıklar ile önsel (marjinal) olasılıklar arasındaki ilişkiyi gösterir.

P(A|B) : B olayı gerçekleştiği durumda A olayının meydana gelme olasılığı

P(B|A) ; A olayı gerçekleştiği durumda B olayının meydana gelme olasılığı

P(A) ve P(B) : A ve B olaylarının önsel olasılıklarıdır.

Naive Bayes Sınıflandırma Modeli

Bir sınıflandırma problemi bir çok özellikten ve bir sonuç (hedef) değişkeninden oluşur.

C verilen hedef ve F özelliklerimiz temsil eder. Naive bayes sınıflandırıcı basitçe bütün koşullu olasılıkların çarpımıdır.

Örnek:

Daha önceki örneklerimizde hava durumu, sıcaklık, nem, rüzgar özelliklerine göre futbol oynayıp oynamayacağımıza karar veriyorduk. Hava durumu Güneşli, Bulutlu ve Yağmurlu durumlarına sahipti. Şimdi ki örnekte sadece hava durumu üzerinden futbol oynayıp oynamayacağımıza karar vermeye çalışacağız.

Hava güneşli olduğunda futbol oynama olasılığını tahmin edelim. Bunun için yukarıdaki tablolardan hesaplamalar yapacağız.

Beklenti 1: Güneşliyken Futbol Oyna Evet = P(Evet | Güneşli) = P(Güneşli | Evet) * P(Evet) / P (Güneşli)

P (Güneşli |Evet) = 3/9 = 0.333, P(Güneşli) = 5/14 = 0.357, P(Evet)= 9/14 = 0.643

P (Evet | Güneşli) = 0.333 * 0.643 / 0.357 = 0.600

Beklenti 2: Güneşliyken Futbol Oyna Hayır = P(Hayır | Güneşli) = P(Güneşli | Hayır) * P(Hayır) / P (Güneşli)

P (Güneşli | Hayır) = 2/9 = 0.222, P(Güneşli) = 5/14 = 0.357, P(Hayır)= 5/14 = 0.357

P (Hayır | Güneşli) = 0.222 * 0.357 / 0.357 = 0.222

Son aşamada beklenti 1 ile beklenti 2 kıyaslanır. Beklenti 1 daha büyük değere sahip olduğu seçilir. Naive Bayesian Classifier havayı güneşli gördüğünde futbol oynaya izin verir.

Sıfır-Frekans Problemi (Zero-Frequency Problem)

Bulutlu havada futbol oynama üzerine tahminde bulunsaydık Hayır bölümünün 0 olduğu görecektik. Bu durumda tüm özellikle 1 eklenir.

Tavsiye edilen web siteleri

Yukarıdaki örnekte bir özellik ve bir hedef kullanıldı. Birden fazla özellik için ve beklenti hesabında normalizasyon / gauss dağılımının nasıl adapte edileceğini öğrenmek için aşağıdaki siteler tavsiye edilir.