Job Vacancy Databricks Data Engineer

Descriptif du poste

Expert reconnu en plateforme de données et architecture Lakehouse, incluant :

• Optimisation Spark / PySpark (AQE, broadcast joins, stratégies de caching, autoscaling de cluster).

• Politiques de cluster, configuration de cluster et pool, et optimisation des coûts.

• Monitoring, diagnostics et dépannage des performances à l'aide de métriques et event logs.

• APIs REST et CLI pour l'automatisation.

Expert reconnu en utilisation de Delta Lake, incluant :

• Pipelines d'ingestion et de transformation (Bronze–Silver–Gold).

• Delta Live Tables pour les pipelines de production (CDC, expectations, orchestration).

• Structured streaming et traitement incrémental.

• Débogage des goulots d'étranglement de performance dans les workloads Delta (data skew, petits fichiers, auto-compaction).

Expert reconnu en :

• Python pour l'ingénierie des données, programmation orientée objet, data science, tests unitaires (pytest) et packaging.

• SQL (SQL analytique, window functions, SQL Databricks).

• Spark / PySpark pour le traitement distribué et l'optimisation.

Expert reconnu en utilisation de Unity Catalog, incluant :

• Implémentation du contrôle d'accès granulaire (sécurité au niveau des lignes et colonnes, vues dynamiques, masquage).

• Gestion des objets Unity Catalog à grande échelle (catalogs, schémas, tables, modèles et gouvernance des fonctions).

• Pratiques de développement sécurisé, protection des données et conformité réglementaire (RGPD, PII).

Expert reconnu en Databricks Jobs et Workflows (orchestration des tâches, retries, monitoring), incluant :

• Databricks Repos et intégration Git / Gitflow.

• Déploiement des assets Databricks (notebooks, jobs, pipelines DLT) via des pipelines CI/CD.

• Databricks SQL editor et SQL Warehouses pour les dashboards ou pipelines de production.

• Infrastructure as Code utilisant Terraform (providers Databricks et Azure) et ARM templates.

Maîtrise avancée de l'écosystème Databricks Machine Learning et Generative AI.

Maîtrise avancée de MLflow (experiment tracking, model registry, model serving).

Maîtrise avancée de la construction de pipelines ML utilisant Databricks AutoML, Feature Store et feature engineering.

Expérience pratique avérée avec les outils de développement basés sur l'IA, incluant les workflows basés sur des agents.

Bonne compréhension des normes d'interopérabilité émergentes telles que le Model Context Protocol (MCP) ou équivalent.

Capacité à évaluer de manière critique et à intégrer de manière sécurisée les résultats générés par l'IA dans les workflows de développement.