Az adatmigráció folyamata több adattárolási megoldás között, nagyvállalati környezetben

Sipos-Gaudi Vince (2022) Az adatmigráció folyamata több adattárolási megoldás között, nagyvállalati környezetben. Pénzügyi és Számviteli Kar.

	PDF sipos-gaudi_vince_LQKS0Z.pdf Hozzáférés joga: Csak nyilvántartásba vett egyetemi IP címekről nyitható meg Download (1MB)
	PDF BA_O_Sipos-Gaudi_Vince.pdf Hozzáférés joga: Csak nyilvántartásba vett egyetemi IP címekről nyitható meg Download (292kB)
	PDF sipos-gaudi_vince_LQKS0Z_biralat_hitelesitett.pdf Hozzáférés joga: Bizalmas dokumentum (bírálat) Download (434kB)
	PDF Sipos-Gaudi_Vince.pdf Hozzáférés joga: Bizalmas dokumentum (bírálat) Download (163kB)

Absztrakt (kivonat)

Tanulmányaimnak köszönhetően hamar egyértelművé vált, hogy szakdolgozatomat adatanalitikai témában szeretném írni. A témakör leszűkítése viszont később érkezett el, miszerint mindenképp olyan technológiát dolgoznék fel, ami a Big Data analitikát támogatja. A szakdolgozatom célja az, hogy egy multinacionális vállalatban történő adatmigrációs folyamatot bemutassak. Természetesen ezt több szempontból is megvizsgálom.Szakirodalmi kutatásomban először az adattárház, illetve a Data Lake fogalmát mutatom be. Összehasonlítom a tradicionális és a felhőalapú megoldásokat, majd részletesebben járom körbe a Hadoop ökoszisztémát. Végül bemutatom az új, Snowflake által biztosított megoldást, illetve az adatmigrációval kapcsolatos főbb tennivalókat.A szakmai áttekintés után bemutatom a jelenleg használatban lévő infrastruktúrát. Ezután vállalati forrásokat vizsgálok meg, hogy kiderítsem, miért is volt szükség migrációra a két technológia között. A fő kérdésem az, hogy milyen tényezők idézték elő ezt a döntést, aztán részleteiben ismertetem a migráció folyamatát egy már létező Hadoop, illetve Snowflake alapú projektkörnyezet között.Minden projektet érdemes kiértékelni annak befejezése után, így én is szerettem volna ezt tenni a teljesítmények tesztelésével és az üzleti hatások vizsgálásával. A dashboardok esetében azoknak a betöltési idejét elemzem a két rendszeren. Ebben a szekcióban ismertetek egy saját fejlesztésű alkalmazást is, ami a tesztelési folyamatot automatizálja. Az így generált adatokat végül egy dashboard formájában mutatom be. A bemutatott vizualizáción egyértelművé válik a drasztikus teljesítménybeli javulás. A rendszeresen ismételt tesztek segítségével lehetőségem volt azt is vizsgálni, hogy milyen stabilitással bír az új ökoszisztéma. Ebből a szempontból is jelentős a fejlődés. Mivel a migráció az adatfolyamokra is hatással van, ezeket is teszteltem, majd az eredményeket az előzőhöz hasonlóan vizualizáltam, elemeztem. A kimenetel az adatfolyamok esetében sem volt különböző. Egyértelmű a lekérdezések futásidejének csökkenése, a rendszer stabilitásának növekedése. Ez nem csak gyorsabban elkészülő adatmodelleket, riportokat eredményez, hanem hatékonyabb modellezési munkafolyamatokat is.Végül a migrációs projekt üzleti hatásait is megvizsgáltam a folyamatért felelős szakemberekkel. A munkafolyamatok lerövidítése mellett a költségcsökkentés is cél volt. Ezt az adatközpontok fenntartásának kiszervezésével, SaaS szolgáltatás igénybevételével tudta elérni a vállalat. Természetesen negatívumok is felmerülhetnek, mint például a harmadik félnél időnként felmerülő meghibásodások, valamint az adatok feletti csökkent tulajdonjog. Bár rizikót vállal a pénzintézet, hogy egy másik vállalat kezeli a szenzitív információkat, biztos lehet abban, hogy az erre specializálódott szolgáltató mindent és hatékonyabban megtesz azért, hogy az ügyfelek adatai biztonságban maradjanak.

Intézmény

Budapesti Gazdasági Egyetem

Kar

Pénzügyi és Számviteli Kar

Tanszék

Gazdaságinformatika Tanszék

Tudományterület/tudományág

NEM RÉSZLETEZETT

Szak

Gazdaságinformatikus

Mű típusa:	diplomadolgozat (NEM RÉSZLETEZETT)
Kulcsszavak:	adattárház, Data Lake, Data Migration, Hadoop, Snowflake
SWORD Depositor:	Archive User
Felhasználói azonosító szám (ID):	Archive User
Rekord készítés dátuma:	2023. Ápr. 21. 09:47
Utolsó módosítás:	2023. Ápr. 21. 09:47

Actions (login required)

Tétel nézet