Pipeline megvalósítása Apache Airflow-val

Székeli Szeverin (2023) Pipeline megvalósítása Apache Airflow-val. Pénzügyi és Számviteli Kar.

	PDF Székeli_Szeverin_szakdolgozat.pdf Hozzáférés joga: Csak nyilvántartásba vett egyetemi IP címekről nyitható meg Download (8MB)
	PDF Székeli_Szeverin_összefoglaló.pdf Hozzáférés joga: Csak nyilvántartásba vett egyetemi IP címekről nyitható meg Download (315kB)
	PDF Székeli Szeverin szakdolgozat-biralat-es-javaslat 2023.pdf Hozzáférés joga: Bizalmas dokumentum (bírálat) Download (355kB)
	PDF Székeli_Szeverin_Szakdolgozat_Bírálat.pdf Hozzáférés joga: Bizalmas dokumentum (bírálat) Download (2MB)

Absztrakt (kivonat)

Szakdolgozatom célja az volt, hogy a munkahelyemen tapasztalt üzleti igények és alkalmazott szoftverek, technológiák segítségével kialakítsak egy otthoni környezetben is működő alkalmazást. Üzleti igényként azt fogalmazta meg, hogy az adatok centralizáltan helyen tárolódjanak, valamint szükség esetén az adatok transzformálva legyenek. A megvalósításhoz a workflow módszert választottam, amelyet Apache Airflow segítségével valósítottam meg, amelyben pipeline-ket hoztam létre. A szakdolgozatomban bemutatom az Airflow működését, alapvető komponenseit, megvalósíthatóságát, valamint, a különböző pipeline-ket. Ezen kívül bemutattam a data engineer területet és azokat a szoftvereket, amiket használnak. Az alkalmazás implementálásához a Dockert mint konténer technológiát és a DBeaver SQL - klienst használtam. A flow-k implementálása Python programozási nyelvvel valósult meg. A kód egyik flow-a egy data pipeline-nak (MySQL serverről PostgredSQL serverre tölti az adatokat), a másik pedig egy ETL pipeline-k feleltethető meg.

Intézmény

Budapesti Gazdasági Egyetem

Kar

Pénzügyi és Számviteli Kar

Tanszék

Gazdaságinformatika Tanszék

Tudományterület/tudományág

NEM RÉSZLETEZETT

Szak

Gazdaságinformatikus

Mű típusa:	diplomadolgozat (NEM RÉSZLETEZETT)
Kulcsszavak:	Apache Airflow, Docker, etl, Pipeline, Python
SWORD Depositor:	Archive User
Felhasználói azonosító szám (ID):	Archive User
Rekord készítés dátuma:	2024. Júl. 11. 07:48
Utolsó módosítás:	2024. Júl. 11. 07:48

Actions (login required)

Tétel nézet