Trouvez votre prochaine offre d’emploi ou de mission freelance 3D

Descriptif du poste Expert reconnu en plateforme de données et architecture Lakehouse, incluant : Optimisation Spark / PySpark (AQE, broadcast joins, stratégies de caching, autoscaling de cluster). Politiques de cluster, configuration de cluster et pool, et optimisation des coûts. Monitoring, diagnostics et dépannage des performances à l'aide de métriques et event logs. APIs REST et CLI pour l'automatisation. Expert reconnu en utilisation de Delta Lake, incluant : Pipelines d'ingestion et de transformation (Bronze–Silver–Gold). Delta Live Tables pour les pipelines de production (CDC, expectations, orchestration). Structured streaming et traitement incrémental. Débogage des goulots d'étranglement de performance dans les workloads Delta (data skew, petits fichiers, auto-compaction). Expert reconnu en : Python pour l'ingénierie des données, programmation orientée objet, data science, tests unitaires (pytest) et packaging. SQL (SQL analytique, window functions, SQL Databricks). Spark / PySpark pour le traitement distribué et l'optimisation. Expert reconnu en utilisation de Unity Catalog, incluant : Implémentation du contrôle d'accès granulaire (sécurité au niveau des lignes et colonnes, vues dynamiques, masquage). Gestion des objets Unity Catalog à grande échelle (catalogs, schémas, tables, modèles et gouvernance des fonctions). Pratiques de développement sécurisé, protection des données et conformité réglementaire (RGPD, PII). Expert reconnu en Databricks Jobs et Workflows (orchestration des tâches, retries, monitoring), incluant : Databricks Repos et intégration Git / Gitflow. Déploiement des assets Databricks (notebooks, jobs, pipelines DLT) via des pipelines CI/CD. Databricks SQL editor et SQL Warehouses pour les dashboards ou pipelines de production. Infrastructure as Code utilisant Terraform (providers Databricks et Azure) et ARM templates. Maîtrise avancée de l'écosystème Databricks Machine Learning et Generative AI. Maîtrise avancée de MLflow (experiment tracking, model registry, model serving). Maîtrise avancée de la construction de pipelines ML utilisant Databricks AutoML, Feature Store et feature engineering. Expérience pratique avérée avec les outils de développement basés sur l'IA, incluant les workflows basés sur des agents. Bonne compréhension des normes d'interopérabilité émergentes telles que le Model Context Protocol (MCP) ou équivalent. Capacité à évaluer de manière critique et à intégrer de manière sécurisée les résultats générés par l'IA dans les workflows de développement.

Directeur de projet Data 🎯 Contexte Dans le cadre d’un programme majeur de transformation digitale au sein d’un grand groupe du secteur transport / infrastructures, une plateforme Data centralisée est au cœur des enjeux de collecte, traitement et valorisation des données à grande échelle. Cette plateforme supporte des cas d’usage critiques liés à la maintenance, l’ingénierie, la supervision et l’optimisation des opérations, avec des volumes importants et des données complexes (dont données 3D). Nous recherchons un Architecte Data senior avec une forte posture de pilotage, capable d’être force de proposition sur l’architecture cible et d’accompagner l’évolution de la plateforme existante. 🧩 Votre rôle Vous interviendrez au sein d’un programme transverse regroupant équipes techniques, métiers et gouvernance Data, avec pour missions principales : La conception et l’évolution de l’architecture Data cible Le pilotage des travaux de transformation et de migration de la plateforme La coordination des acteurs techniques et métiers La garantie des exigences de sécurité, gouvernance et conformité réglementaire (RGPD) 🛠️ Responsabilités Analyse et cadrage de l’architecture cible (scénarios, phasage) Spécification de la plateforme Data et rédaction des dossiers d’architecture HLD / LLD Définition de patterns d’ingestion, de traitement et d’exposition des données Pilotage de la chaîne Data de bout en bout (ingestion → stockage → traitement → exposition) Suivi de projet : planning, risques, coûts, indicateurs, reporting Cadrage FinOps Coordination transverse avec les équipes techniques, sécurité et gouvernance Mise en place de tableaux de bord de supervision (DataDog) 🔧 Environnement technique Cloud : Microsoft Azure Plateforme Data : Databricks, Azure Data Lake Gen2 Ingestion : Apache NiFi, AKS, Zookeeper Traitement : Spark / Python Bases de données : PostgreSQL BI : Power BI Supervision : DataDog Méthodologie : Agile / Scrum