Jaotusvälisuse tuvastus nägemistransformeritega
Nimi
Karl Kaspar Haavel
Kokkuvõte
Hetke parimad tehisnärvivõrkudel baseeruvad pildi klassifitseerijad töötavad hästi andmetel, mis pärinevad samasugusest jaotusest, millel neid treeniti. Probleeme esineb jaotusväliste sisenditega. Sisend võib olla jaotusväline mitmel põhjusel, nagu näiteks, sisend sisaldab uut tüüpi objekti (e.g. uus klass) või sisendil on juhuslik sensorimüra. Sisendi klassifitseerimine jaotusväliseks on tähtis, kui mudelid võetakse kasutusele ohutuse seisukorrast kriitilises keskkonnas (e.g. tervisevaldkond ja isejuhtivad autod). Ohutuse seisukorrast kriitilises keskkonnas on vale otsuse tegemine kulukas, kuid kui mudel on teadlik jaotusvälisest sisendist, on võimalik vastava ohutu otsuse tegemise anda edasi inimesele. Jaotusväliste sisendite tuvastamiseks, kasutatakse mudeli hõlmanguid. Mudelit kasutatakse hõlmangute ekstrahheerijana, et saada teada uue sisendi ligikaudne asukoht hõlmanguruumis ning võrrelda mudelit treenitud sisendite hõlmangutega kasutades kaugusmõõdikuid. Hetketrend on kasutada suuremahulise eeltreeningu läbinud Transformereid, et parendada jaotusvälise tuvastuse tulemust, eriti Nägemistransformereid (ViT). ViT’dega on saavutatud tipptasemel tulemused jaotusvälise tuvastuses ilma kohandatud treenimismeetodite või kokkupuudet jaotusväliste sisenditega võrreldes konvolutsiooniliste närvivõrkudega (CNN).
Antud lõputöös kasutame ViT'd hõlmangute ekstrahheerijana ja võrdleme jaotusvälise tuvastuse tulemusi kasutades valitud kaugusmõõdikuid, nagu näiteks eukleidiline, koosinus, standardiseeritud eukleidiline. Tegemaks kindlaks ViT robustsust ja määrata, mis on parim kaugusmõõdik ViT hõlmanguruumis, viime läbi kolm eksperimenti mitme andmekogumi, meetodi, mudeli ja lähenemisega. Eksperimentide tulemused näitasid, et ViT on võimeline jaotusvälise tuvastusega tegelema ilma kohandatud treenimismeetodite ja jaotusväliste sisenditega. Kuid ükski kaugusmõõdik ei suutnud märkimisväärselt parendada tulemust, mis saavutati baasmeetodit kasutades Mahalanobise kaugust. Sellest hoolimata, ViT jaotusvälise tuvastuse tulemused olid märkimisväärselt paremad enamus andmekogumites ja üldistavamad võrreldes sarnaselt treenitud CNN'iga. Lisaks sellele, ViT on robustne ja saavutab sarnased tulemused kasutades erinevaid kaugusmõõdikuid. See tähendab, et ViT manused on suutelised diskrimineerima sise- ja välijaotuste vahel. Lõpetuseks, näitame, et ViT'l on parem jaotusvälisuse tuvastus võime kui segatakse omavahel sise- ja välijaotuse andmekogumite pildid. Tulevikus võib kaaluda, mitme kaugusmõõdiku koosmõju, et kasutada ära erinevate kaugusmõõdiku omadused ja metodoloogia rakendamine teiste tehisnärvivõrkude arhitektuuridele.
Antud lõputöös kasutame ViT'd hõlmangute ekstrahheerijana ja võrdleme jaotusvälise tuvastuse tulemusi kasutades valitud kaugusmõõdikuid, nagu näiteks eukleidiline, koosinus, standardiseeritud eukleidiline. Tegemaks kindlaks ViT robustsust ja määrata, mis on parim kaugusmõõdik ViT hõlmanguruumis, viime läbi kolm eksperimenti mitme andmekogumi, meetodi, mudeli ja lähenemisega. Eksperimentide tulemused näitasid, et ViT on võimeline jaotusvälise tuvastusega tegelema ilma kohandatud treenimismeetodite ja jaotusväliste sisenditega. Kuid ükski kaugusmõõdik ei suutnud märkimisväärselt parendada tulemust, mis saavutati baasmeetodit kasutades Mahalanobise kaugust. Sellest hoolimata, ViT jaotusvälise tuvastuse tulemused olid märkimisväärselt paremad enamus andmekogumites ja üldistavamad võrreldes sarnaselt treenitud CNN'iga. Lisaks sellele, ViT on robustne ja saavutab sarnased tulemused kasutades erinevaid kaugusmõõdikuid. See tähendab, et ViT manused on suutelised diskrimineerima sise- ja välijaotuste vahel. Lõpetuseks, näitame, et ViT'l on parem jaotusvälisuse tuvastus võime kui segatakse omavahel sise- ja välijaotuse andmekogumite pildid. Tulevikus võib kaaluda, mitme kaugusmõõdiku koosmõju, et kasutada ära erinevate kaugusmõõdiku omadused ja metodoloogia rakendamine teiste tehisnärvivõrkude arhitektuuridele.
Lõputöö keel
inglise
Lõputöö tüüp
Magister - Andmeteadus
Juhendaja(d)
Meelis Kull, Bhawani Shankar Leelar
Kaitsmise aasta
2022