Databricks for Data Engineers: advanced techniques

Leer best practices voor het gebruik van het Databricks‑platform als data engineer

22 maart 2027

-Veenendaal / Remote

-Bekijk meer data

3 dagen

2685 (ex BTW)

Meld je aan

Beschrijving

In deze training bouw je verder op je Databricks‑basiskennis en ontwikkel je een dataplatform volgens professionele best practices binnen een realistisch mock‑up scenario. Je ontwikkelt vaardigheden in het aansluiten van nieuwe databronnen, het configureren van catalogi, het instellen van beveiliging en het werken met Git en Databricks Asset Bundles. Je werkt hands‑on met ingestion‑technieken zoals Merge Into, Lakeflow Connect en streaming ingestion om data betrouwbaar te verwerken. Door middel van labs pas je elke stap direct toe in een praktijkomgeving, zodat je concrete ervaring opdoet met zowel batch‑ als streamingdata.

Met declarative Lakeflow Pipelines transformeer je data en combineer je bronnen tot bruikbare use cases. Daarnaast krijg je inzicht in monitoring via system tables en SQL‑alerts om afwijkingen in productieprocessen tijdig te signaleren. Ook bouw je metric views en eenvoudige dashboards die resultaten helder visualiseren voor eindgebruikers. Aan het eind ben je in staat een end‑to‑end datastroom te realiseren, van bron tot dashboard, inclusief alerting en operationeel inzicht.

Leerdoelen

-Describe core Databricks workspace concepts, platform architecture, and compute options.
+Remember
-Explain how catalogs, schemas, and permissions work in Unity Catalog.
+Understand
-Apply ingestion techniques such as Merge Into, Auto Loader, and streaming ingestion.
+Apply
-Implement data contracts and catalog structures to enforce data governance.
+Apply
-Construct and validate declarative Lakeflow Pipelines for transforming and combining datasets.
+Apply
-Analyze ingestion and transformation runs using system tables, logs, and SQL alerts.
+Analyze
-Produce metric views, dashboards, and data products — including conversational analytics — to deliver operational insights.
+Apply
-Interpret monitoring signals to identify anomalies in batch or streaming workloads.
+Understand
-Implement an end‑to‑end data flow from source ingestion to dashboarding.
+Apply

Voor bovenstaande leerdoelen gebruiken we de Taxonomie van Bloom

Benodigde voorkennis

Bekend met het Databricks platform
Goed begrip van data engineering concepten zoals ETL/ELT, data pipelines en data lakes / data warehouses
Ervaring met Apache Spark

Onderwerpen

Databricks Platform
Ingestion
Declarative Pipelines
Transformation & Metric Views
Serving
Monitoring

1. Databricks Platform

Unity Catalog and schemas
Catalog configuration
Grants & security
Git integration and Databricks Asset Bundles
Lab 1: Platform Setup

2. Ingestion

Ingestion types and patterns
Data contracts
Auto Loader
Schema evolution
Lab 2: Machine Masterdata Ingestion

3. Declarative Pipelines

Lakeflow Connect
Cluster configuration tuning & serverless
Lakeflow Declarative Pipelines
Structured Streaming
Data quality expectations
Lab 3: Streaming, Declarative Pipelines, and Data Quality

4. Transformation & Metric Views

Advanced pipeline patterns
Data quality checks and the testing duality
Metric Views as a semantic layer
Data Masking and Filtering
Lab 4: Business Logic, Metric Views, and Data Governance

5. Serving

Data product thinking
AI/BI Dashboarding
Genie Space & AI Agents
Serving External Tools
Lab 5: Serving Your Data

6. Monitoring

System tables
System dashboards
SQL Alerts
Lab 6: Monitoring Your Data Platform

Lees meer

Planning

Startdatum	Duur	Locatie
22 maart 202723 maart 202724 maart 2027	3 dagen	Veenendaal / Remote Dit is een hybride training die remote gevolgd kan worden. Meer informatie Veenendaal / Remote Dit is een hybride training die remote gevolgd kan worden. Meer informatie Veenendaal / Remote Dit is een hybride training die remote gevolgd kan worden. Meer informatie	Inschrijven