Transformer-arhitektuuri hindamine males
Nimi
Raiko Marrandi
Kokkuvõte
Transformerid on tipptasemel loomuliku keele töötlemise mudelid, mida on efektiivselt kasutatud ka ülesannetes, mis ei ole otseselt seotud keeletehnoloogiaga. See töö hindab transformerite õppimisvõimekust males. Mudeleid treenitakse kasutades ilma märkusteta andmestikku male partiidest, mis on Forsyth-Edwards notatsioonis (FEN). Nende tulemuslikkust võrreldakse mudelitega, mis on treenitud varasemates uuringutes välja pakutud lihtsamate andmestikega. Töö tulemusena leiti, et transformer-mudelid ei ole võimelised komplekssemal FEN andmestikul üldistama ning need näitavad kõigil mõõdikutel nõrgemaid tulemusi võrreldes kontrollmudelitega.
Lõputöö keel
inglise
Lõputöö tüüp
Bakalaureus - Informaatika
Juhendaja(d)
Eduard Barbu
Kaitsmise aasta
2023