Skip to main content

Data Engineering on AWS


Data Engineering on AWS ist ein dreitägiger Kurs für Fortgeschrittene, der sich an Fachleute richtet, die ein tiefgehendes Verständnis von Data-Engineering-Praxen und -Lösungen auf AWS erlangen möchten. Durch eine ausgewogene Kombination aus Theorie, praktischen Übungen und Aktivitäten lernen die Teilnehmer, Data-Engineering-Lösungen unter Verwendung von AWS-Diensten zu entwerfen, zu erstellen, zu optimieren und abzusichern. Von grundlegenden Konzepten bis hin zur praktischen Implementierung von Data Lakes, Data Warehouses sowie Batch- und Streaming-Daten-Pipelines vermittelt dieser Kurs Datenexperten die Fähigkeiten, die sie benötigen, um moderne Datenlösungen im großen Maßstab zu entwerfen und zu verwalten.

Data Engineering on AWS

aktuelle Kurs-Termine finden Sie am Ende dieser Seite!

Beschreibung

Data Engineering on AWS ist ein dreitägiger Kurs für Fortgeschrittene, der sich an Fachleute richtet, die ein tiefgehendes Verständnis von Data-Engineering-Praxen und -Lösungen auf AWS erlangen möchten. Durch eine ausgewogene Kombination aus Theorie, praktischen Übungen und Aktivitäten lernen die Teilnehmer, Data-Engineering-Lösungen unter Verwendung von AWS-Diensten zu entwerfen, zu erstellen, zu optimieren und abzusichern. Von grundlegenden Konzepten bis hin zur praktischen Implementierung von Data Lakes, Data Warehouses sowie Batch- und Streaming-Daten-Pipelines vermittelt dieser Kurs Datenexperten die Fähigkeiten, die sie benötigen, um moderne Datenlösungen im großen Maßstab zu entwerfen und zu verwalten.

  • Kursstufe: Fortgeschrittene
  • Dauer: 3 Tage

Kursziele

In diesem Kurs lernen Sie Folgendes:

  • Die grundlegenden Rollen und Schlüsselkonzepte des Data Engineerings verstehen, einschließlich Daten-Personas, Data Discovery und relevanter AWS-Dienste.
  • Die verschiedenen AWS-Tools und -Dienste identifizieren und erklären, die für das Data Engineering von entscheidender Bedeutung sind, einschließlich Orchestrierung, Sicherheit, Monitoring, CI/CD, IaC, Networking und Kostenoptimierung.
  • Eine Data-Lake-Lösung auf AWS entwerfen und implementieren, einschließlich Speicherung, Datenerfassung, Transformation und Bereitstellung von Daten für die Nutzung.
  • Eine Data-Lake-Lösung durch die Implementierung offener Tabellenformate, Sicherheitsmaßnahmen und die Behebung häufiger Probleme optimieren und absichern.
  • Ein Data Warehouse mit Amazon Redshift Serverless entwerfen und einrichten, wobei dessen Architektur, Datenerfassung, Verarbeitung und Bereitstellungsfunktionen verstanden werden.
  • Leistungsoptimierungstechniken auf Data Warehouses in Amazon Redshift anwenden, einschließlich Monitoring, Datenoptimierung, Abfrageoptimierung und Orchestrierung.
  • Sicherheit und Zugriffskontrolle für Data Warehouses in Amazon Redshift verwalten und dabei Authentifizierung, Datensicherheit, Auditing und Compliance verstehen.
  • Effektive Batch-Daten-Pipelines unter Verwendung geeigneter AWS-Dienste für die Verarbeitung und Transformation von Daten entwerfen.
  • Umfassende Strategien für Batch-Daten-Pipelines implementieren, die die Verarbeitung, Transformation, Integration, Katalogisierung und Bereitstellung von Daten für die Nutzung abdecken.
  • Batch-Daten-Pipelines optimieren, orchestrieren und absichern und dabei fortgeschrittene Fähigkeiten in der Automatisierung und Sicherheit der Datenverarbeitung demonstrieren.
  • Streaming-Daten-Pipelines architektonisch gestalten und dabei verschiedene Anwendungsfälle, Datenerfassung, Speicherung, Verarbeitung und Analyse unter Verwendung von AWS-Diensten verstehen.
  • Streaming-Datenlösungen optimieren und absichern, einschließlich Compliance-Überlegungen und Zugriffskontrolle.

Zielgruppe

Dieser Kurs richtet sich an Fachleute, die daran interessiert sind, Data-Engineering-Lösungen unter Verwendung von AWS-Diensten zu entwerfen, zu erstellen, zu optimieren und abzusichern.

Vorraussetzungen

Wir empfehlen, dass Teilnehmer dieses Kurses über Folgendes verfügen:

  • Vertrautheit mit grundlegenden Konzepten des maschinellen Lernens, wie überwachtem und unüberwachtem Lernen, Regressions-, Klassifizierungs- und Clustering-Algorithmen.
  • Praktische Kenntnisse der Programmiersprache Python und gängiger Data-Science-Bibliotheken wie NumPy, Pandas und Scikit-learn.
  • Grundlegendes Verständnis von Cloud-Computing-Konzepten und Vertrautheit mit der AWS-Plattform.
  • Vertrautheit mit SQL und relationalen Datenbanken wird empfohlen, ist jedoch nicht zwingend erforderlich.
  • Erfahrung mit Versionskontrollsystemen wie Git ist von Vorteil, aber nicht erforderlich.

Lehrmethode

Dieser Kurs setzt sich zusammen aus:

  • Präsentationen
  • Demonstrationen
  • praktische Übungen
  • Gruppenarbeiten

Kursdauer / Preis

  • 3 Tage
  • € 1.845,00 zzgl. Mwst. pro Person (DE)

Kursinhalt

Tag 1

Modul 1: Rollen und Schlüsselkonzepte im Data Engineering

  • Rolle eines Data Engineers
  • Hauptfunktionen eines Data Engineers
  • Daten-Personas
  • Data Discovery
  • AWS-Datendienste

Modul 2: AWS-Tools und -Dienste für das Data Engineering

  • Orchestrierung und Automatisierung
  • Data-Engineering-Sicherheit
  • Monitoring
  • kontinuierliche Integration und kontinuierliche Bereitstellung
  • Infrastruktur als Code
  • AWS Serverless Application Model
  • Netzwerkarchitektur-Überlegungen
  • Tools zur Kostenoptimierung

Modul 3: Entwerfen und Implementieren von Data Lakes

  • Einführung in Data Lakes
  • Data-Lake-Speicherung
  • Datenerfassung in einen Data Lake
  • Daten katalogisieren
  • Daten transformieren
  • Daten für die Nutzung bereitstellen Praktische Übung: Einrichten eines Data Lakes auf AWS

Modul 4: Optimieren und Absichern einer Data-Lake-Lösung

  • Offene Tabellenformate
  • Sicherheit mit AWS Lake Formation
  • Festlegen von Berechtigungen mit Lake Formation
  • Sicherheit und Steuerung
  • Fehlerbehebung Praktische Übung: Automatisierung der Data-Lake-Erstellung mit AWS Lake Formation Blueprints
Tag 2

Modul 5: Data-Warehouse-Architektur und Designprinzipien

  • Einführung in Data Warehouses
  • Amazon Redshift im Überblick
  • Datenerfassung in Redshift
  • Verarbeitung von Daten
  • Bereitstellung von Daten für die Nutzung, praktische Übung: Einrichten eines Data Warehouse mit Amazon Redshift Serverless

Modul 6: Leistungsoptimierungstechniken für Data Warehouses

  • Monitoring- und Optimierungsoptionen
  • Datenoptimierung in Amazon Redshift
  • Abfrageoptimierung in Amazon Redshift
  • Orchestrierungsoptionen

Modul 7: Sicherheit und Zugriffskontrolle für Data Warehouses

  • Authentifizierung und Zugriffskontrolle in Amazon Redshift
  • Datensicherheit in Amazon Redshift
  • Auditing und Compliance in Amazon Redshift Praktische Übung: Verwaltung der Zugriffskontrolle in Redshift

Modul 8: Entwerfen von Batch-Daten-Pipelines

  • Einführung in Batch-Daten-Pipelines
  • Entwerfen einer Batch-Daten-Pipeline
  • AWS-Dienste für die Batch-Datenverarbeitung

Modul 9: Implementierung von Strategien für Batch-Daten-Pipelines

  • Elemente einer Batch-Daten-Pipeline
  • Verarbeitung und Transformation von Daten
  • Integrieren und Katalogisieren Ihrer Daten
  • Bereitstellung von Daten für die Nutzung, praktische Übung: Ein Tag im Leben eines Data Engineers
Tag 3

Modul 10: Optimieren, Orchestrieren und Absichern von Batch-Daten-Pipelines

  • Optimierung der Batch-Daten-Pipeline
  • Orchestrierung der Batch-Daten-Pipeline
  • Absicherung der Batch-Daten-Pipeline, praktische Übung: Orchestrierung der Datenverarbeitung in Spark mit AWS Step Functions

Modul 11: Streaming-Daten-Architekturmuster

  • Einführung in Streaming-Daten-Pipelines
  • Datenerfassung aus Stream-Quellen
  • Dienste für die Streaming-Datenerfassung
  • Speicherung von Streaming-Daten
  • Verarbeitung von Streaming-Daten
  • Analyse von Streaming-Daten mit AWS-Diensten Praktische Übung: Streaming Analytics mit Amazon Managed Service for Apache Flink

Modul 12: Optimieren und Absichern von Streaming-Lösungen

  • Optimierung einer Streaming-Datenlösung
  • Absicherung einer Streaming-Daten-Pipeline
  • Compliance-Überlegungen, praktische Übung: Zugriffskontrolle mit Amazon Managed Streaming for Apache Kafka

WICHTIG: Bitte bringen Sie zu unseren Trainings Ihr Notebook (Windows, Linux oder Mac) mit. Wenn dies nicht möglich ist, nehmen Sie bitte mit uns vorher Kontakt auf.

Kursunterlagen sind auf Englisch, auf Wunsch auch auf Deutsch (wenn verfügbar).
Kurssprache ist Deutsch, auf Wunsch auch auf Englisch.

Die nächsten Termine für: Data Engineering on AWS


Termine für dieses Training gerne auf Anfrage.