Iseskaleeruvate serverita andmekonveierite poole
Nimi
Rajan Raj Das
Kokkuvõte
Tänapäeval kiirendab paljude ettevõtete tegevust andmepõhine lähenemine. Siiski on selliste andmete töötlemine reaalajas osategevuste nagu mitme andmeallika integreerimine, andmete puhastamine, andmete kvaliteedi kontrollimine ja teisendamine, filtreerimine jne tõttu keerukas ülesanne. Samamoodi tekitab üha suurenev IoT-seadmete arv tohutul hulgal andmeid ja heterogeensetest allikatest kogumine ning töötlemine on ilma robotita vaevarikas. Andmekonveiereid kasutatakse laialdaselt automatiseeritud andmetöötluseks. Traditsioonilisel andmekonveieril nagu ekstraktimine-laadimine-teisendamisel on omad väljakutsed - keeruline skaleeritavus ning vähe on võimalusi vähendada andmetöötluse ajakulu. Seda saab lahendada serverita andmetöötluse abil. Serverita andmetöötlus on hiljutine pilvandmetöötluse paradigma, mis pakub funktsioonide detailset skaleerimist virtuaalmasinale (VM). Function as a Service (FaaS) on hiljuti laialdaselt kasutusele võetud on serverita andmetöötluse paradigma. Tarkade- ja Asjade Interneti (IoT) seadmete arvu suurenemisega suureneb andmekonveierite kasutamine hüppeliselt. Asjade Interneti töökoormus on olemuselt juhuslik ning vajaliku teenusekvaliteedi (mõõdikud latentsus, läbilaskevõime jne) tagamisel on suureks väljakutseks aluseks oleva infrastruktuuri skaleerimine. Serverita andmekonveierid (SDP) suudavad tõhusalt töödelda suurt andmemahtu. SDP koosneb mitmest komponendist nagu serverita funktsioonid, sõnumijärjekorrad ja järjekorra ühendused. Kogu konveieri skaleerimine ilma kitsaskohti jätmata on keeruline. Lõime oma uuringus pilditöötluse IoT rakenduse jaoks serverita andmekonveieri, mis kasutab andmetöötluse ülesannete täitmiseks serverita funktsioone. Rakendasime ka erinevaid reaktiivsed skaleerimismehhanismid nagu ressursipõhine skaleerimine ja töökoormusel põhinev skaleerimine serverita andmekonveieri jõudluse skaleeritavuse mõõtmiseks. Reaktiivsed mehhanismid võtavad arvesse üksikuid mõõdikuid, et jõustada automaatse skaleerimise konfiguratsiooni, nt protsessori kasutust või päringute hulka sekundis. Seetõttu hindasime mitme toimivusmõõdiku kasutamist serverita andmetorus, et ennustada serverita funktsioonide arvu andmekonveieris. Selle katsetamiseks kogusime andmeid, konfigureerides reaktiivseid autoskalaatoreid, puhastasime neid kõrvalekallete eemaldamiseks ning kasutasime neid proaktiivse autoskalaatori treenimiseks ja testimiseks. Selles töös kasutasime mitme väljundiga regressioonimudeleid ja tulemused näitavad, et ExtraTreeRegressori algoritmil on ennustamisel efektiivsem.
Lõputöö keel
inglise
Lõputöö tüüp
Magister - Tarkvaratehnika
Juhendaja(d)
Shivananda Rangappa Poojara
Kaitsmise aasta
2023