Google Dataflow orkestreerimine TOSCA abil hübriidpilves
Nimi
Manish Gupta
Kokkuvõte
Tänapäeva maailmas on andmed sama väärtuslikud kui nafta. Paljud organisatsioonid sõltuvad andmetest, et teha kriitilisi äriotsuseid, sihtida konkreetseid kliente ja kiirendada oma ärikasvu. See tähtsus suurendab andmete loomise ja tarbimise mahtu. Suurandmete töötlemine nõuab praktilist ja automatiseeritud lähenemist. Data Pipeline on rida omavahel ühendatud modulaarseid teenuseid, mis koguvad, töötlevad ja teevad minimaalse
käsitsi sekkumisega andmeid kättesaadavaks paljudele süsteemidele. Paljud teenusepakkujad ja avatud lähtekoodiga platformid pakuvad organisatsioonidele andmeturgude loomist. Arendajatel peavad aga olema platvormipõhised teadmised, et hallata ja korraldada erinevaid andmekanaleid. Puudub andmete torujuhtmete standard, mis pikendab arendust ning vähendab süsteemi taaskasutust. TOSCA on avatud standard, mida kasutatakse erinevate pilveteenuste topoloogia ja orkestratsiooni spetsifikatsioonide määratlemiseks. Selles artiklis loodi RADONi ökosüsteemis korduvkasutatavad TOSCA komponendid Google Dataflow tööde juurutamiseks, lõpetamiseks ja haldamiseks. RADON on uurimisprojekt, mille eesmärk on töötada välja mudelipõhine DevOps raamistik serverita andmetöötluse jaoks. Google Dataflow TOSCA komponendid loodi integreerimiseks Apache Nifi-põhise andmekanali olemasolevate TOSCA komponentidega, mis pakub arendajatele ühtset lahendust ulatuslike andmekanalite loomiseks.
käsitsi sekkumisega andmeid kättesaadavaks paljudele süsteemidele. Paljud teenusepakkujad ja avatud lähtekoodiga platformid pakuvad organisatsioonidele andmeturgude loomist. Arendajatel peavad aga olema platvormipõhised teadmised, et hallata ja korraldada erinevaid andmekanaleid. Puudub andmete torujuhtmete standard, mis pikendab arendust ning vähendab süsteemi taaskasutust. TOSCA on avatud standard, mida kasutatakse erinevate pilveteenuste topoloogia ja orkestratsiooni spetsifikatsioonide määratlemiseks. Selles artiklis loodi RADONi ökosüsteemis korduvkasutatavad TOSCA komponendid Google Dataflow tööde juurutamiseks, lõpetamiseks ja haldamiseks. RADON on uurimisprojekt, mille eesmärk on töötada välja mudelipõhine DevOps raamistik serverita andmetöötluse jaoks. Google Dataflow TOSCA komponendid loodi integreerimiseks Apache Nifi-põhise andmekanali olemasolevate TOSCA komponentidega, mis pakub arendajatele ühtset lahendust ulatuslike andmekanalite loomiseks.
Lõputöö keel
inglise
Lõputöö tüüp
Magister - Tarkvaratehnika
Juhendaja(d)
Chinmaya Dehury, Pelle Jaokovits
Kaitsmise aasta
2022