Andmeaida andmekvaliteedireeglite automatiseeritud tuvastamise suunas
Nimi
Heidi Carolina Martinsaari
Kokkuvõte
Andmed on väärtuslik vara, millest saab ammutada informatsiooni ja teadmisi. Sellest hoolimata, äriedu ei sõltu andmete hulgast üksnes, vaid ka andmete kvaliteedist. Teisest küljest, andmekvaliteedi tagamiseks on vaja süsteemset haldust ning mitmete spetsialisti- de koostööd, mis on ajamahukas ja kulukas. Seega, on mõistlik kaaluda tehisintellekti kasutamist andmekvaliteedi tagamisel, et vältida inimtekkelisi vigu, täiendada inimeste tegevusi ning vähendada personalile tehtavaid kulutusi ja andmekvaliteedi spetsialistide töömahtu.
Antud magistritöö eesmärk on uurida andmekvaliteedi tarkvarasid ja lahendusi, et välja selgitada, kas mõni lahendus on võimeline automaatselt tuvastama andmekvaliteedi reegleid, kasutades masinõppemeetodeid ja spetsialiseerudes andmeaitadele. Selleks viidi läbi süstemaatiline ülevaade turul olemasolevatest ja akadeemilises kirjanduses pakutavatest andmekvaliteedi tarkvaradest.
Töö käigus selgus, et enamus andmekvaliteedi tarkvarasid kasutatakse peamiselt andmete puhastamiseks ja parandamiseks, olles mõeldud pigem valdkonnapõhistele andmebaasidele, mitte andmeaitadele. Sealjuures, ainult vähesed rakendused olid võimelised tuvastama andmekvaliteedi reegleid, rääkimata selle rakendamisest andmeaitades.
Kuna automatiseeritud andmekvaliteedi reeglite tuvastamine on ebapiisavalt kaetud akadeemilises kirjanduses kui ka väheselt esindatud tarkvaraturul, siis antud magistritöös esitatakse ka teatavad üleskutsed antud vallas.
Antud magistritöö eesmärk on uurida andmekvaliteedi tarkvarasid ja lahendusi, et välja selgitada, kas mõni lahendus on võimeline automaatselt tuvastama andmekvaliteedi reegleid, kasutades masinõppemeetodeid ja spetsialiseerudes andmeaitadele. Selleks viidi läbi süstemaatiline ülevaade turul olemasolevatest ja akadeemilises kirjanduses pakutavatest andmekvaliteedi tarkvaradest.
Töö käigus selgus, et enamus andmekvaliteedi tarkvarasid kasutatakse peamiselt andmete puhastamiseks ja parandamiseks, olles mõeldud pigem valdkonnapõhistele andmebaasidele, mitte andmeaitadele. Sealjuures, ainult vähesed rakendused olid võimelised tuvastama andmekvaliteedi reegleid, rääkimata selle rakendamisest andmeaitades.
Kuna automatiseeritud andmekvaliteedi reeglite tuvastamine on ebapiisavalt kaetud akadeemilises kirjanduses kui ka väheselt esindatud tarkvaraturul, siis antud magistritöös esitatakse ka teatavad üleskutsed antud vallas.
Lõputöö keel
inglise
Lõputöö tüüp
Magister - Andmeteadus
Juhendaja(d)
Anastasija Nikiforova
Kaitsmise aasta
2023