Klassifitseerija kalibreerituse testi võimsuse suurendamine

Nimi
Kaspar Valk
Kokkuvõte
Masinõppes nimetatakse klassifitseerijat kalibreerituks, kui selle ennustatud klasside tõenäosused vastavad ka tegelikule andmete klassijaotusele. Ohutust nõudvates klassifitseerimisülesannetes on oluline, et klassifitseerija ennustused ei oleks enese- või ebakindlad, vaid et need oleksid kalibreeritud. Kalibreeritust on võimalik hinnata mõõdu ECE abil ning ECE väärtuse põhjal on omakorda võimalik konstrueerida kalibreerituse test: statistiline test, milllega kontrollida hüpoteesi, et klassifitseerija on kalibreeritud. Töös otsiti katseliselt optimaalseid parameetreid ECE arvutamisel, et selle põhjal sooritatud kalibreerituse test oleks võimalikult võimas. See tähendab, et möödakalibreeritud klassifitseerija korral suudaks test võimalikult tihti ümber lükata nullhüpoteesi, et klassifitseerija on kalibreeritud. Töös jõuti tulemuseni, et võimalikult võimsa kalibreerituse testi jaoks on ECE arvutamisel mõistlik paigutada iga andmepunkt eraldi vahemikku. Kui on eeldus, et esineb andmepunkte, mille jaoks klassifitseerija on väga möödakalibreeritud, siis on parim kasutada Kullback-Leibleri kaugusest inspireeritud logaritmkaugust. Muudel juhtudel on mõistlikum kasutada absoluut- või ruutkaugust. Need soovitused erinevad oluliselt varasemas teaduskirjanduses tavaks olnud ECE arvutamisel kasutatud parameetritest. Töös leitu võimaldab paremini tuvastada klassifitseerijate mittekalibreeritust.
Lõputöö keel
eesti
Lõputöö tüüp
Bakalaureus - Informaatika
Juhendaja(d)
Meelis Kull
Kaitsmise aasta
2020
 
PDF