BBQ Bildung und Berufliche Qualifizierung gGmbH
https://www.biwe-bbq.de
https://www.biwe-bbq.de/fileadmin/templates/template_v1/images/logos/Logo_BBQ_RGB_oZ_1zeilig.svg
BBQ Bildung und Berufliche Qualifizierung gGmbH
Big Data Engineers werden zur interdisziplinären Analyse und Konzeption von IT- und Datenbanklösungen eingesetzt. Daher führt der Lehrgang zunächst in die Grundlagen von Business Intelligence ein, beschreibt die Anforderung des Data Engineerings und erläutert Data Warehouse Modellierung und ETL. Abschließend wird dir Big Data anhand branchenspezifischer Software, die zum Speichern, Verarbeiten und Berechnen von großen Datenmengen dient, nähergebracht. Ergänzend erfährst du, wie Künstliche Intelligenz für diese Bereiche angewendet wird.
Ziele
Du beherrschst die Prozesse rund um die Zusammenführung, Aufbereitung, Anreicherung und Weitergabe von Daten. Außerdem kannst du große, unstrukturierte Datenmengen mit Hilfe von branchenspezifischer Software verarbeiten. Du verfügst über Kenntnisse im Framework Apache und weißt, wie Daten ansprechend visualisiert werden.
Zielgruppe
Der Lehrgang richtet sich an Personen mit abgeschlossenem Studium in der Informatik, Wirtschaftsinformatik, BWL, Mathematik oder vergleichbarer Qualifikation.
Themen
Data Engineer
Grundlagen Data Engineering und Datenarchitekturen (ca. 2 Tage)
Aufgaben und Anwendungsfelder im Data Engineering
Grundlagen moderner Datenarchitekturen und Datenplattformen
Grundlagen und Vergleich cloudbasierter DatenarchitekturenOLTP und OLAP
Verarbeitung strukturierter, semistrukturierter und unstrukturierter Daten
Anforderungsmanagement und Datenmodellierung (ca. 1 Tag)
Anforderungen an Daten und Datenquellen
Konzeptionelle Datenmodellierung
Modellierung von Datenstrukturen und Datenflüssen
Data Contracts, Data Governance und Data Lineage
Datenbanken und Datenverarbeitung (ca. 1 Tag)
Architektur von Datenbanksystemen
SQL vs. NoSQL vs. NewSQL im VergleichRelationale Datenmodellierung
SQL zur Abfrage und Verarbeitung von Daten
Data Warehousing und moderne Datenarchitekturen (ca. 2 Tage)
Grundlagen und Architektur von Data-Warehouse-Systemen
Dimensionale Datenmodellierung und Schema-Design
Fakten, Dimensionen und historische Datenhaltung
Data Warehouse, Data Lake und Lakehouse im Vergleich
Einführung in dbtPraxisorientierte Umsetzung von Datenmodellen
Datenintegration und Data Pipelines (ca. 5 Tage)
Datenintegration und Datenbereitstellung
ETL- und ELT-Prozesse
Aufbau und Orchestrierung von Data Pipelines
Datenbereinigung, -validierung und Datenqualität
Batch- und Streaming-VerarbeitungPraxisorientierter Einsatz von Airflow und Spark
Programmierung und automatisierte Datenverarbeitung (ca. 4 Tage)
Python-Umgebungen und PaketverwaltungVerarbeitung und Transformation von Daten mit Python
Automatisierung von Datenverarbeitungsprozessen
Anbindung unterschiedlicher Datenquellen und SchnittstellenEntwicklung von Data-Engineering-Workflows
Containerisierung mit DockerKI-gestützte Unterstützung im Entwicklungs- und Datenverarbeitungsprozess
Projektarbeit (ca. 5 Tage)
Zur Vertiefung der gelernten Inhalte
Präsentation der Projektergebnisse
Big Data Specialist
Was ist Big Data? (ca. 1 Tag)
Volume, Velocity, Variety, Value, Veracity
Chancen und Risiken großer Datenmengen
Abgrenzung: Business Intelligence, Data Analytics, Data Science
Einführung in Data Mining
Rolle von KI und datengetriebenen Systemen im Big-Data-Umfeld
Einführung in Big-Data-Frameworks (ca. 2 Tage)
Big-Data-Lösungen in der Cloud (Überblick AWS, Azure, GCP)
Datenzugriffsmuster
Datenspeicherung
Einführung in Data Lakes und Data Warehouses
Überblick Apache Hadoop und Spark
Verteilte Datenverarbeitung mit Spark (ca. 3 Tage)
Grundlagen verteilter Systeme
Apache Spark (Core und SQL)
Vergleich verschiedener Ansätze der Datenverarbeitung
Verarbeitung großer Datenmengen
Einführung in einfache ML-Workflows mit Spark
Datenpipelines und Datenintegration (ca. 2 Tage)
ETL- und ELT-Prozesse
Batch- vs. Streaming-Verarbeitung
Grundlagen von Datenpipelines
Einführung in Orchestrierung (z. B. Airflow Überblick)
Datenqualität und -aufbereitung
Komponenten (ca. 2 Tage)
Kurzvorstellung von verschiedenen Tools
Datenübertragung
Überblick Ressourcenverwaltung in Big-Data-Systemen
Hadoop-Ökosystem
Apache Spark Vertiefung
Einführung in Streaming-Technologien
NoSQL und Datenspeicher (ca. 2 Tage)
CAP-Theorem
ACID und BASE
Typen von Datenbanken
HBase
Einführung dokumentenorientierter Datenbanken
Einführung in Speicherformate
Überblick Data Lakehouse-Ansätze
Big Data Visualisierung (ca. 2 Tage)
Theorien der Visualisierung
Diagrammauswahl
Neue Diagrammarten
Werkzeuge zur Datenvisualisierung
Einführung in BI-Tools (z. B. Power BI, Tableau)
Grundlagen datengetriebener Entscheidungsfindung
Data Governance und Datenschutz (ca. 1 Tag)
Grundlagen der DSGVO im Datenkontext
Datenethik und verantwortungsvoller Umgang mit Daten
Datenqualität und Governance-Konzepte
Zugriffskontrollen und Sicherheit
Grundlagen verantwortungsvoller KI-Nutzung
Projektarbeit (ca. 5 Tage)
Zur Vertiefung der gelernten Inhalte
Präsentation der Projektergebnisse
Änderungen möglich, die Lehrgangsinhalte werden regelmäßig aktualisiert.
Ihre Vorteile
Big Data wird in Unternehmen zur interdisziplinären Analyse und Konzeption von IT-Lösungen in Zusammenarbeit mit Entwicklungs- und Betriebsteams eingesetzt. Big Data Engineers sind sowohl bei großen als auch mittelständischen Unternehmen in Industrie, Handel, Dienstleistungs- und Finanzwesen nachgefragt. Dein aussagekräftiges Zertifikat gibt detaillierten Einblick in deine erworbenen Qualifikationen und verbessert deine beruflichen Chancen.
Unser Partner alfatraining
Durch die Kooperation mit der alfatraining Bildungszentrum GmbH hat die BBQ Bildung und Berufliche Qualifizierung gGmbH ihr Portfolio im Bereich der geförderten beruflichen Weiterbildung erweitert.
Bildungsinteressierte können zusätzlich zu den bundesweit über 100 Standorten von alfatraining weitere 18 Standorte von BBQ für ihre berufliche Weiterbildung nutzen.
Ihre Qualifizierung
findet statt
Mit alfaview, face-to-face & live, bequem von zuhause aus oder vor Ort an einem unserer über 100 Standorte.
