Konvolutsiooniliste närvivõrkude kalibreerimine
Nimi
Markus Kängsepp
Kokkuvõte
Süvanärvivõrgud koguvad aina populaarsust ja tänapäeval on need kasutusel ka mitmetes praktilistes rakendustes. Sellest hoolimata, ainult klassi märgendi ennustamine ei pruugi olla enam piisav, sest mõningatel aladel on ka tähtis teada, kui kindel mudel enda väljundis on. Hiljuti näidati, et sügavate närvivõrkude ennustused pole nii hästi kalibreeritud, võrreldes madalamate võrkudega. Näiteks sügavad närvivõrgud kipuvad olema liigselt enesekindlad.
Aastal 2017, Guo et al. avaldas temperatuuri skaleerimise (temperature scaling) meetodi (Guo et al., 2017) ning võrdles seda teiste olemas olevate kalibreerimismeetoditega. Samal aastal avalikustas Kull et al. beta kalibreerismeetodi (beta calibration) (Kull et al., 2017), kuid seda ei testitud närvivõrkudel.
Antud töö käigus hinnati beta kalibreerimise headust konvolutsioonilistel närvivõrkudel ja selleks, et võrrelda tulemusi teiste kalibreerimismeetoditega, on osa Guo et al. tulemustest replitseeritud.
See lõputöö võrdleb histogrammimeetodit (histogram binning), isotoonilist regressiooni (isotonic regression) ja temperatuuri skaleerimine Guo et al. artiklist ja beta kalibreerimist Kull et al. artiklist erinevatel uusimatel konvolutsioonilistel närvivõrkudel. Lisaks Guo et al. poolt kasutatavatele kaomõõtudele (loss measure), lisati võrdlusesse Brieri skoor. Töös saadud tulemused olid kooskõlas Guo et al. tulemustega. Beta kalibreerimine oli enamustel mudelitel veidi halvem, kui temperatuuri skaleerimine. Vaatamata sellele oli veamäära korral beta kalibreerimine vähekene parem, kui teised võrdluses olevad kalibreerimise meetodid.
Aastal 2017, Guo et al. avaldas temperatuuri skaleerimise (temperature scaling) meetodi (Guo et al., 2017) ning võrdles seda teiste olemas olevate kalibreerimismeetoditega. Samal aastal avalikustas Kull et al. beta kalibreerismeetodi (beta calibration) (Kull et al., 2017), kuid seda ei testitud närvivõrkudel.
Antud töö käigus hinnati beta kalibreerimise headust konvolutsioonilistel närvivõrkudel ja selleks, et võrrelda tulemusi teiste kalibreerimismeetoditega, on osa Guo et al. tulemustest replitseeritud.
See lõputöö võrdleb histogrammimeetodit (histogram binning), isotoonilist regressiooni (isotonic regression) ja temperatuuri skaleerimine Guo et al. artiklist ja beta kalibreerimist Kull et al. artiklist erinevatel uusimatel konvolutsioonilistel närvivõrkudel. Lisaks Guo et al. poolt kasutatavatele kaomõõtudele (loss measure), lisati võrdlusesse Brieri skoor. Töös saadud tulemused olid kooskõlas Guo et al. tulemustega. Beta kalibreerimine oli enamustel mudelitel veidi halvem, kui temperatuuri skaleerimine. Vaatamata sellele oli veamäära korral beta kalibreerimine vähekene parem, kui teised võrdluses olevad kalibreerimise meetodid.
Lõputöö keel
inglise
Lõputöö tüüp
Magister - Informaatika
Juhendaja(d)
Meelis Kull
Kaitsmise aasta
2018