Mitmepealine täiustatud tähelepanu mäluga närvivõrk multimodaalse trajektoori ennustamiseks
Nimi
Farhan Syakir
Kokkuvõte
Autonoomse juhtimise tehnoloogia on viimase kahe aastakümnega palju populaarsust kogunud. Üks probleem autonoomse juhtimise tehnoloogia juures, mida teadlased püüavad lahendada, on agentide trajektooride ennustamine. Trajektoori ennustamise probleemi all mõeldakse ennustamist, milline on agentide nagu autode, jalgratturite, jalakäijate ja teiste sõidutee kasutajate, tuleviku trajektoor. Sügavõppe kasutamisega on saadud selle probleemi lahendamisel edukaid tulemusi. Trajektoori ennustamiseks on olemas mitu varianti sügavõppest ning üks neist kasutab mälu rikastamisega närvivõrku (Memory Augmented Neural Network, MANN) ja mitmepealist tähelepanukihti (multi-head attention layer). Kirjanduses on soovitatud multimodaalse trajektoori ennustamiseks kasutada mälu augmenteerimisega närvivõrku (nt mudel nimega memory augmented networks for multiple trajectory prediction, MANTRA), aga see ei kasuta mitmepealist tähelepanukihti. Mitmepealisi tähelepanukihte on samuti kirjanduses uuritud, aga see valdkond ei kattu antud uurimistöö teemaga.
Selles töös on kirjeldatud kahte mudelit, mis kasutavad mõlemad mitmepealist tähelepanu kihti ja mälu rikastamisega närvivõrku. Antud tööd nimetatakse neid Multihead Attention Enhanced MANN (MAEMANN) 1 ja MAEMANN 2. Sarnaselt MANTRA-le, kasutab MAEMANN autoenkoodrit, mälukontrollerit ja iteratiivset täiustusmoodulit (iterative refinement module, IRM). Autoenkooder ja mälukontroller vastutavad mälu kasutamise eest ning IRM kompileerib mälust saadava väljundi ja sisendi, mis saadakse ümbritsevas keskkonnas olevatelt agentidelt. MAEMANN 1 kasutab mitmepealist tähelepanukihti mäluvõrgus, et täiendada tuleviku trajektoori ennustust, pöörates tähelepanu mitmele naabruses olevale mälule. MAEMANN 2 aga kasutab mitmepealist tähelepanukihti IRM-is, et täiustada ümbruskonnas olevate agentide tuvastamist. Läbi viidud eksperimentide tulemused näitavad, et mõlemad MAEMANN mudelid 1 ja 2 edestavad MANTRA mudelit, kui neid kasutada Kitti andmestiku peal ja ennustades 4 sekundipikkust tuleviku trajektoori, kui on teada 2 sekundipikkused andmed minevikust. Multimodaalse ennustuse puhul, kus ennustatavaid variante on 5, on MAEMANN 1 tulemus parem 10.58% ja 9.24% võrra, kui meetrikaks kasutada vastavalt lõplikku mõõteviga (Final Displacement Error, FDE) ja keskmist mõõteviga (Average Displacement Error, ADE) kohal t = 4 sekundit. MAEMANN 2 tulemused on aga FDE ja ADE puhul paremad vastavalt 14.39% ja 13.47%.
Selles töös on kirjeldatud kahte mudelit, mis kasutavad mõlemad mitmepealist tähelepanu kihti ja mälu rikastamisega närvivõrku. Antud tööd nimetatakse neid Multihead Attention Enhanced MANN (MAEMANN) 1 ja MAEMANN 2. Sarnaselt MANTRA-le, kasutab MAEMANN autoenkoodrit, mälukontrollerit ja iteratiivset täiustusmoodulit (iterative refinement module, IRM). Autoenkooder ja mälukontroller vastutavad mälu kasutamise eest ning IRM kompileerib mälust saadava väljundi ja sisendi, mis saadakse ümbritsevas keskkonnas olevatelt agentidelt. MAEMANN 1 kasutab mitmepealist tähelepanukihti mäluvõrgus, et täiendada tuleviku trajektoori ennustust, pöörates tähelepanu mitmele naabruses olevale mälule. MAEMANN 2 aga kasutab mitmepealist tähelepanukihti IRM-is, et täiustada ümbruskonnas olevate agentide tuvastamist. Läbi viidud eksperimentide tulemused näitavad, et mõlemad MAEMANN mudelid 1 ja 2 edestavad MANTRA mudelit, kui neid kasutada Kitti andmestiku peal ja ennustades 4 sekundipikkust tuleviku trajektoori, kui on teada 2 sekundipikkused andmed minevikust. Multimodaalse ennustuse puhul, kus ennustatavaid variante on 5, on MAEMANN 1 tulemus parem 10.58% ja 9.24% võrra, kui meetrikaks kasutada vastavalt lõplikku mõõteviga (Final Displacement Error, FDE) ja keskmist mõõteviga (Average Displacement Error, ADE) kohal t = 4 sekundit. MAEMANN 2 tulemused on aga FDE ja ADE puhul paremad vastavalt 14.39% ja 13.47%.
Lõputöö keel
inglise
Lõputöö tüüp
Magister - Informaatika
Juhendaja(d)
Naveed Muhammad, Yar Muhammad
Kaitsmise aasta
2021