Inkrementaalselt täiendava ELT töövoo ja Jira andmelao arendus ja juurutamine kasutades Data Vault 2.0 metoodikat ja HP Verticat
Nimi
Rasmus Bobkov
Kokkuvõte
Käesolevas magistritöös on esitletud konteineriseeritud ELT töövoo lahenduse väljatöötamist ja rakendamist ettevõttele TEHIK, kes vajab tõhusat võimalust Jira tarkvara andmete analüüsimiseks. Töövoog on mõeldud andmete täiendavaks laadimiseks Vertica andmelattu, mis on ehitatud vastavalt Data Vault 2.0 põhimõtetele. Konteinerkonstruktsioon võimaldab lihtsat kasutuselevõttu tootmiskeskkondades. Arvestades teema ulatuslikkust, on töö eesmärgiks võetud anda pigem kõrgetasemelisi teadmisi andmetehnika, Data Vault 2.0, Agiiilsete metoodikate ja nende rakendamise kohta, otseselt mitte keskendudes süvendatult ühelegi neist.
Lõputöö alustab kehtiva lahenduse uurimisega, selle piirangute välja toomisega, ning seejärel tutvustab pakutavat lahendust, rõhutades selle eeliseid. Taustateadmiste ja sellega seotud töö jaotises püütakse anda lühike ülevaade andmetehnika, andmelaonduse ja Data Vault metoodika kesksetest kontseptsioonidest ning lahenduse juurutamisest tootmiskeskkondades. Selles jaotises käsitletakse põhiteemasid, nagu andmete sisse saamine, ELT vs ETL arhitektuur, andmelao arhitektuurid ning Data Vault 2.0 metoodika olemus ja eelised.
Ajapiirangute ja ka tööle esitatud mahu tõttu ei sisaldu praktilise rakendamise osas: Kubernetese, logimise, monitoorimise ja Airflow'ga orkestreerimise osa. Kuna need aspektid on siiski üliolulised projekti terviklikuks mõistmiseks antakse kontseptuaalne ülevaade Airflow töö põhimõtetest, orkestreerimisest koos logimise ja monitoorimisega.
Rakendamise osas selgitatakse protsessi, tutvustades konkreetseid samme ja kasutatud metoodikaid, erinevaid probleeme ja nende lahendusi. Järgnevas tulemuste ja analüüsi peatükis on kehtivat ja töö käigus väljatöötatud lahendust võrreldud, hinnates sellised apsekte nagu: raporteerimise võimalused ja võimekus, vastavus SLA-dele ja töövoo jõudluse analüüs, võttes arvesse selle võimet käsitleda suuri andmemahtusid ja skaleeritavust.
Kokkuvõtvalt võib öelda, et käesolev lõputöö pakub tugevat, skaleeritavat ja tõhusat lahendust, mis koosneb ELT töövoost ja Data Vault 2.0-põhisest andmelaost, mis on kohandatud TEHIKu Jira tarkvara andmeanalüüsi vajadustele. Pakutud integreeritud lahendus ületab olemasolevat süsteemi, võimaldades tugeva aluse tulevasteks täiendusteks ja laiendusteks.
Lõputöö alustab kehtiva lahenduse uurimisega, selle piirangute välja toomisega, ning seejärel tutvustab pakutavat lahendust, rõhutades selle eeliseid. Taustateadmiste ja sellega seotud töö jaotises püütakse anda lühike ülevaade andmetehnika, andmelaonduse ja Data Vault metoodika kesksetest kontseptsioonidest ning lahenduse juurutamisest tootmiskeskkondades. Selles jaotises käsitletakse põhiteemasid, nagu andmete sisse saamine, ELT vs ETL arhitektuur, andmelao arhitektuurid ning Data Vault 2.0 metoodika olemus ja eelised.
Ajapiirangute ja ka tööle esitatud mahu tõttu ei sisaldu praktilise rakendamise osas: Kubernetese, logimise, monitoorimise ja Airflow'ga orkestreerimise osa. Kuna need aspektid on siiski üliolulised projekti terviklikuks mõistmiseks antakse kontseptuaalne ülevaade Airflow töö põhimõtetest, orkestreerimisest koos logimise ja monitoorimisega.
Rakendamise osas selgitatakse protsessi, tutvustades konkreetseid samme ja kasutatud metoodikaid, erinevaid probleeme ja nende lahendusi. Järgnevas tulemuste ja analüüsi peatükis on kehtivat ja töö käigus väljatöötatud lahendust võrreldud, hinnates sellised apsekte nagu: raporteerimise võimalused ja võimekus, vastavus SLA-dele ja töövoo jõudluse analüüs, võttes arvesse selle võimet käsitleda suuri andmemahtusid ja skaleeritavust.
Kokkuvõtvalt võib öelda, et käesolev lõputöö pakub tugevat, skaleeritavat ja tõhusat lahendust, mis koosneb ELT töövoost ja Data Vault 2.0-põhisest andmelaost, mis on kohandatud TEHIKu Jira tarkvara andmeanalüüsi vajadustele. Pakutud integreeritud lahendus ületab olemasolevat süsteemi, võimaldades tugeva aluse tulevasteks täiendusteks ja laiendusteks.
Lõputöö keel
inglise
Lõputöö tüüp
Magister - Andmeteadus
Juhendaja(d)
Feras M. Awaysheh, Phd
Kaitsmise aasta
2023