Efektiivse neuroniarhitektuuri otsingu analüüs parameetrite jagamise kaudu
Nimi
Prabhant Singh
Kokkuvõte
Sügavõppepõhised lähenemised on parandanud tehnika taset mitmesugustes ülesannetes nagu keele modelleerimine, raalnägemine, objekti tuvastamine ja pildi segmenteerimine. Iga sügavõppe ülesanne nõuab spetsiaalselt selle ülesande jaoks kohandatud arhitektuuri. Selle tõttu on suur nõudlus sügavõppe domeeniekspertide järele, kes suudavad uudseid arhitektuure luua ja käsitseda. Domeeniekspertide tasu tõusu ja arvutuslike kulutuste languse tõttu peetakse alternatiiviks tehisnärvivõrgu arhitektuuri disainimise automatiseerimist.
Selle probleemi lahendamiseks on kasutusele võetud närviarhitektuuri otsingu kontseptsioon. Tehisnärvivõrgu arhitektuuri otsingut võib pidada automatiseeritud masinõppe (AutoML) domeeni alamhulgaks.
Käesolevas töös on uuritud uusimat närvivõrgu arhitektuuri otsingutehnikat "Efektiivne närviarhitektuuri otsing parameetrite jagamise kaudu" (ENAS). Google Brain tutvustas ENAS-i ja see oli suur areng võrreldes eelkäijaga „Närviarhitektuuri otsing stiimulõppega” (NAS). ENAS kasutab kontrollerit, et võtta otsinguruumist arhitektuuride valim, millest omakorda valitakse arhitektuurid ENAS-i tulemuslikkuse hindamise strateegias määratletud meetme alusel. ENASi muljetavaldava jõudluse tõttu on uuritud ENAS-i ja sarnaste parameetrite jagamise tehnikate rakendamist olulistes valdkondades nagu meditsiin ja diagnostika Selle töö motivatsioon on kiirendada ja analüüsida ENAS-i õpikäitumist.
Selles töös on analüüsitud ENAS-i õppeprotsessi, hinnatud ENAS-i tulemuslikkuse hindamise strateegiat ja rakendatus ülekandeõpet ENAS-i kontrolleril. Erinevate katsete käigus leiti, et arhitektuurid ei muutu ENAS-i kontrolleri treenimise abil paremaks. Järeldati, et ENAS-i kontrolleri treenimine ei ole vajalik ja arutleti ENAS-i tulemuslikkuse hindamise strateegia piiranguid.
Selle probleemi lahendamiseks on kasutusele võetud närviarhitektuuri otsingu kontseptsioon. Tehisnärvivõrgu arhitektuuri otsingut võib pidada automatiseeritud masinõppe (AutoML) domeeni alamhulgaks.
Käesolevas töös on uuritud uusimat närvivõrgu arhitektuuri otsingutehnikat "Efektiivne närviarhitektuuri otsing parameetrite jagamise kaudu" (ENAS). Google Brain tutvustas ENAS-i ja see oli suur areng võrreldes eelkäijaga „Närviarhitektuuri otsing stiimulõppega” (NAS). ENAS kasutab kontrollerit, et võtta otsinguruumist arhitektuuride valim, millest omakorda valitakse arhitektuurid ENAS-i tulemuslikkuse hindamise strateegias määratletud meetme alusel. ENASi muljetavaldava jõudluse tõttu on uuritud ENAS-i ja sarnaste parameetrite jagamise tehnikate rakendamist olulistes valdkondades nagu meditsiin ja diagnostika Selle töö motivatsioon on kiirendada ja analüüsida ENAS-i õpikäitumist.
Selles töös on analüüsitud ENAS-i õppeprotsessi, hinnatud ENAS-i tulemuslikkuse hindamise strateegiat ja rakendatus ülekandeõpet ENAS-i kontrolleril. Erinevate katsete käigus leiti, et arhitektuurid ei muutu ENAS-i kontrolleri treenimise abil paremaks. Järeldati, et ENAS-i kontrolleri treenimine ei ole vajalik ja arutleti ENAS-i tulemuslikkuse hindamise strateegia piiranguid.
Lõputöö keel
inglise
Lõputöö tüüp
Magister - Informaatika
Juhendaja(d)
Tobias Jacobs, Meelis Kull
Kaitsmise aasta
2019