Data Engineer

Data Engineer

Grundlagen Data Engineering und Datenarchitekturen (ca. 2 Tage)
Aufgaben und Anwendungsfelder im Data Engineering 
Grundlagen moderner Datenarchitekturen und Datenplattformen 
Grundlagen und Vergleich cloudbasierter DatenarchitekturenOLTP und OLAP 
Verarbeitung strukturierter, semistrukturierter und unstrukturierter Daten

Anforderungsmanagement und Datenmodellierung (ca. 1 Tag)
Anforderungen an Daten und Datenquellen 
Konzeptionelle Datenmodellierung 
Modellierung von Datenstrukturen und Datenflüssen
Data Contracts, Data Governance und Data Lineage

Datenbanken und Datenverarbeitung (ca. 1 Tag)
Architektur von Datenbanksystemen 
SQL vs. NoSQL vs. NewSQL im VergleichRelationale Datenmodellierung 
SQL zur Abfrage und Verarbeitung von Daten

Data Warehousing und moderne Datenarchitekturen (ca. 2 Tage)
Grundlagen und Architektur von Data-Warehouse-Systemen 
Dimensionale Datenmodellierung und Schema-Design 
Fakten, Dimensionen und historische Datenhaltung 
Data Warehouse, Data Lake und Lakehouse im Vergleich 
Einführung in dbtPraxisorientierte Umsetzung von Datenmodellen

Datenintegration und Data Pipelines (ca. 5 Tage)
Datenintegration und Datenbereitstellung 
ETL- und ELT-Prozesse 
Aufbau und Orchestrierung von Data Pipelines 
Datenbereinigung, -validierung und Datenqualität 
Batch- und Streaming-VerarbeitungPraxisorientierter Einsatz von Airflow und Spark

Programmierung und automatisierte Datenverarbeitung (ca. 4 Tage)
Python-Umgebungen und PaketverwaltungVerarbeitung und Transformation von Daten mit Python 
Automatisierung von Datenverarbeitungsprozessen 
Anbindung unterschiedlicher Datenquellen und SchnittstellenEntwicklung von Data-Engineering-Workflows 
Containerisierung mit DockerKI-gestützte Unterstützung im Entwicklungs- und Datenverarbeitungsprozess

Projektarbeit (ca. 5 Tage)
Zur Vertiefung der gelernten Inhalte
Präsentation der Projektergebnisse



Änderungen möglich, die Lehrgangsinhalte werden regelmäßig aktualisiert.