Parima aktivatsioonifunktsiooni otsingul
Nimi
Marti Ingmar Liibert
Kokkuvõte
Aktivatsioonifunktsiooni valik tehisnärvivõrkudes tihti mõjutab mudeli sooritusvõimet. Uute aktivatsioonifunktsioonide disainimine ja avastamine, et parandada närvivõrkude sooritust, on aktiivne uurimisvaldkond. Siin töös esitletakse ja testitakse kindlat treenitavat aktivatsioonifunktsiooni - kaalutud lineaarset kombinatsiooni erinevatest aktivatsioonifunktsioonidest, kus kaalud on normaliseeritud kasutades Softmax funktsiooni, mis on inspireeritud DARTS närvivõrkude arhitektuuri otsingu meetodist. Treenitavat aktivatsioonifunktsiooni testitakse närvivõrgu kihi, kerneli ja neuroni tasemel.
Aktivatsioonifunktsiooni kaale optimiseeritakse kas treeningkao või validatsioonikao põhjal DARTS-i eeskujul. Treenitavat aktivatsioonifunktsiooni kasutati siin töös kahe lihtsa funktsiooni, siinuse ja spiraali, õppimiseks, piltide klassifitseerimiseks ning ühe robootika ülesande lahendamiseks. Piltide klassifitseerimisel saavutas mudel treenitavate aktivatsioonifunktsioonide kasutamisel CIFAR10 andmestikul 5% suurema täpsuse baasmudeli täpsusest ja ImageNet andmestikul 1% suurema täpsuse baasmudeli täpsusest. Robootika ülesande, CartPole, korral suurenes keskmine preemia umbes 10 punkti võrra 200 punktisest maksimumist kui kasutati juba õpitud aktivatsioonifunktsioone uuesti treenimiseks Deep Q-learning algoritmi puhul. Proximal Policy Optimization algoritmi puhul suurenes keskmine preemia umbes 2 punkti võrra. Tulevikus saaks uurida selle meetodi rakendamist keerukamatele ülesannetele robootika valdkonnas ning pikemat otsingut piltide klassifitseerimise ülesande puhul.
Aktivatsioonifunktsiooni kaale optimiseeritakse kas treeningkao või validatsioonikao põhjal DARTS-i eeskujul. Treenitavat aktivatsioonifunktsiooni kasutati siin töös kahe lihtsa funktsiooni, siinuse ja spiraali, õppimiseks, piltide klassifitseerimiseks ning ühe robootika ülesande lahendamiseks. Piltide klassifitseerimisel saavutas mudel treenitavate aktivatsioonifunktsioonide kasutamisel CIFAR10 andmestikul 5% suurema täpsuse baasmudeli täpsusest ja ImageNet andmestikul 1% suurema täpsuse baasmudeli täpsusest. Robootika ülesande, CartPole, korral suurenes keskmine preemia umbes 10 punkti võrra 200 punktisest maksimumist kui kasutati juba õpitud aktivatsioonifunktsioone uuesti treenimiseks Deep Q-learning algoritmi puhul. Proximal Policy Optimization algoritmi puhul suurenes keskmine preemia umbes 2 punkti võrra. Tulevikus saaks uurida selle meetodi rakendamist keerukamatele ülesannetele robootika valdkonnas ning pikemat otsingut piltide klassifitseerimise ülesande puhul.
Lõputöö keel
inglise
Lõputöö tüüp
Magister - Informaatika
Juhendaja(d)
Tambet Matiisen
Kaitsmise aasta
2022