Az adatmigráció folyamata több adattárolási megoldás között, nagyvállalati környezetben

Sipos-Gaudi Vince (2022) Az adatmigráció folyamata több adattárolási megoldás között, nagyvállalati környezetben. Faculty of Finance and Accountancy.

	PDF sipos-gaudi_vince_LQKS0Z.pdf Hozzáférés joga: Available at the computers of the University Download (1MB)
	PDF BA_O_Sipos-Gaudi_Vince.pdf Hozzáférés joga: Available at the computers of the University Download (292kB)
	PDF sipos-gaudi_vince_LQKS0Z_biralat_hitelesitett.pdf Hozzáférés joga: Bizalmas dokumentum (bírálat) Download (434kB)
	PDF Sipos-Gaudi_Vince.pdf Hozzáférés joga: Bizalmas dokumentum (bírálat) Download (163kB)

Abstract

Tanulmányaimnak köszönhetően hamar egyértelművé vált, hogy szakdolgozatomat adatanalitikai témában szeretném írni. A témakör leszűkítése viszont később érkezett el, miszerint mindenképp olyan technológiát dolgoznék fel, ami a Big Data analitikát támogatja. A szakdolgozatom célja az, hogy egy multinacionális vállalatban történő adatmigrációs folyamatot bemutassak. Természetesen ezt több szempontból is megvizsgálom.Szakirodalmi kutatásomban először az adattárház, illetve a Data Lake fogalmát mutatom be. Összehasonlítom a tradicionális és a felhőalapú megoldásokat, majd részletesebben járom körbe a Hadoop ökoszisztémát. Végül bemutatom az új, Snowflake által biztosított megoldást, illetve az adatmigrációval kapcsolatos főbb tennivalókat.A szakmai áttekintés után bemutatom a jelenleg használatban lévő infrastruktúrát. Ezután vállalati forrásokat vizsgálok meg, hogy kiderítsem, miért is volt szükség migrációra a két technológia között. A fő kérdésem az, hogy milyen tényezők idézték elő ezt a döntést, aztán részleteiben ismertetem a migráció folyamatát egy már létező Hadoop, illetve Snowflake alapú projektkörnyezet között.Minden projektet érdemes kiértékelni annak befejezése után, így én is szerettem volna ezt tenni a teljesítmények tesztelésével és az üzleti hatások vizsgálásával. A dashboardok esetében azoknak a betöltési idejét elemzem a két rendszeren. Ebben a szekcióban ismertetek egy saját fejlesztésű alkalmazást is, ami a tesztelési folyamatot automatizálja. Az így generált adatokat végül egy dashboard formájában mutatom be. A bemutatott vizualizáción egyértelművé válik a drasztikus teljesítménybeli javulás. A rendszeresen ismételt tesztek segítségével lehetőségem volt azt is vizsgálni, hogy milyen stabilitással bír az új ökoszisztéma. Ebből a szempontból is jelentős a fejlődés. Mivel a migráció az adatfolyamokra is hatással van, ezeket is teszteltem, majd az eredményeket az előzőhöz hasonlóan vizualizáltam, elemeztem. A kimenetel az adatfolyamok esetében sem volt különböző. Egyértelmű a lekérdezések futásidejének csökkenése, a rendszer stabilitásának növekedése. Ez nem csak gyorsabban elkészülő adatmodelleket, riportokat eredményez, hanem hatékonyabb modellezési munkafolyamatokat is.Végül a migrációs projekt üzleti hatásait is megvizsgáltam a folyamatért felelős szakemberekkel. A munkafolyamatok lerövidítése mellett a költségcsökkentés is cél volt. Ezt az adatközpontok fenntartásának kiszervezésével, SaaS szolgáltatás igénybevételével tudta elérni a vállalat. Természetesen negatívumok is felmerülhetnek, mint például a harmadik félnél időnként felmerülő meghibásodások, valamint az adatok feletti csökkent tulajdonjog. Bár rizikót vállal a pénzintézet, hogy egy másik vállalat kezeli a szenzitív információkat, biztos lehet abban, hogy az erre specializálódott szolgáltató mindent és hatékonyabban megtesz azért, hogy az ügyfelek adatai biztonságban maradjanak.

Institution

Budapest Business University

Kar

Faculty of Finance and Accountancy

Department

Gazdaságinformatika Tanszék

Tudományterület/tudományág

UNSPECIFIED

Szak

Gazdaságinformatikus

Item Type:	Thesis (UNSPECIFIED)
Uncontrolled Keywords:	adattárház, Data Lake, Data Migration, Hadoop, Snowflake
SWORD Depositor:	Archive User
Depositing User:	Archive User
Date Deposited:	2023. Apr. 21. 09:47
Last Modified:	2023. Apr. 21. 09:47

Actions (login required)

View Item