training
Databricks for Data Engineers: advanced techniques
Leer best practices voor het gebruik van het Databricks‑platform als data engineer
Beschrijving
In deze training bouw je verder op je Databricks‑basiskennis en ontwikkel je een dataplatform volgens professionele best practices binnen een realistisch mock‑up scenario. Je ontwikkelt vaardigheden in het aansluiten van nieuwe databronnen, het configureren van catalogi, het instellen van beveiliging en het werken met Git en Databricks Asset Bundles. Je werkt hands‑on met ingestion‑technieken zoals Merge Into, Lakeflow Connect en streaming ingestion om data betrouwbaar te verwerken. Door middel van labs pas je elke stap direct toe in een praktijkomgeving, zodat je concrete ervaring opdoet met zowel batch‑ als streamingdata.
Met declarative Lakeflow Pipelines transformeer je data en combineer je bronnen tot bruikbare use cases. Daarnaast krijg je inzicht in monitoring via system tables en SQL‑alerts om afwijkingen in productieprocessen tijdig te signaleren. Ook bouw je metric views en eenvoudige dashboards die resultaten helder visualiseren voor eindgebruikers. Aan het eind ben je in staat een end‑to‑end datastroom te realiseren, van bron tot dashboard, inclusief alerting en operationeel inzicht.
Leerdoelen
 Describe core Databricks workspace and platform concepts. | Remember  |
| Explain how catalogs, schemas, and permissions work in Unity Catalog. | Understand  |
| Apply ingestion techniques such as Merge Into, Lakeflow Connect, and streaming ingestion. | Apply  |
| Implement data contracts, catalog structures, and basic security settings. | Apply |
| Construct declarative Lakeflow Pipelines for transforming and combining datasets. | Apply |
| Analyze ingestion and transformation runs using system tables, logs, and SQL alerts. | Analyze  |
| Produce metric views and dashboards to present operational insights. | Apply |
| Interpret monitoring signals to identify anomalies in batch or streaming workloads. | Understand |
| Implement an end‑to‑end data flow from source ingestion to dashboarding. | Apply |
Benodigde voorkennis
- Bekend met het Databricks platform
- Goed begrip van data engineering concepten zoals ETL/ELT, data pipelines en data lakes / data warehouses
Onderwerpen
- Introduction & Databricks Environment
- Ingestion
- Transformation
- Monitoring
- Serving
1. Introduction & Databricks Environment
- Introduction
- Catalog configuration
- Grants & security
- Git integration
- Lab: Load repository, prepare mock-up data platform, use Databricks CLI
2. Ingestion
- Data contracts
- Merge Into
- Connecting a Parquet source
- Lakeflow Connect
- Cluster configuration tuning & serverless
- Lab: Connect Parquet source
- Lab: Connect streaming source
3. Transformation
- Lakeflow Declarative Pipelines
- SQL Alerts
- Lab: Build pipelines based on existing and new sources
4. Monitoring
- System tables
- System dashboarding
- Lab: Review pipeline results
5. Serving
- Metric Views
- Dashboarding
- Genie Space
- Power BI Desktop
- Lab: Build metric views to support dashboards
- Lab: Create dashboards and monitor end‑to‑end operations
Planning
| Startdatum | Duur | Locatie | |
|---|---|---|---|
5 oktober 20266 oktober 2026 | 2 dagen | Veenendaal / Remote Dit is een hybride training die remote gevolgd kan worden. Meer informatie Veenendaal / Remote Dit is een hybride training die remote gevolgd kan worden. Meer informatie | Inschrijven |
Incompany of persoonlijk advies nodig?
Onze opleidingsadviseurs denken graag met je mee om een persoonlijk advies te geven of een incompany training binnen jouw organisatie te vinden.
Voorkennis trainingen
"Deze training was direct toepasbaar op het project"Cursist
-
Hoge waardering
-
Praktijkgerichte trainingen
-
Gecertificeerde trainers
-
Eigen docenten