Job Vacancy Data Engineer Databricks / Python / AWS

Delivery data engineering en proximité métier  

• Concevoir, développer et maintenir des pipelines de données batch, event-driven ou streaming selon les besoins des produits data.  

• Traduire les exigences fonctionnelles et contraintes techniques en solutions data simples, robustes, scalables et maintenables.  

• Contribuer aux cérémonies de delivery, au chiffrage, à la planification, à la gestion des dépendances et à la sécurisation des engagements des squads.  

• Assurer une collaboration fluide avec les Delivery Managers pour rendre visibles les risques, dépendances, arbitrages et points de blocage.  

Industrialisation, qualité et fiabilité  

• Mettre en œuvre les « quality gates » : tests unitaires et d'intégration, tests de données, contrôle de schéma, idempotence, stratégies de reprise et validation de la qualité.  

• Appliquer les standards de développement Python, PySpark et SQL, ainsi que les bonnes pratiques Git, CI/CD, revue de code et documentation.  

• Contribuer à l'observabilité des flux : logs, métriques, alerting, lineage, suivi des SLA/SLO et analyse des incidents de run.  

• Participer au diagnostic et à la résolution des incidents ou problèmes de production en lien avec les équipes plateformes, CloudOps et SecOps.  

Architecture data, Lakehouse et performance  

• Implémenter les patterns d'architecture validés : ingestion, modélisation Lakehouse, architecture médaillon, data products, APIs de données et intégrations réutilisables.  

• Optimiser les traitements Spark/Databricks, les requêtes SQL, les stratégies de stockage et l'utilisation du compute afin d'améliorer performance et coûts.  

• Documenter les choix techniques structurants et contribuer aux ADR lorsque les décisions impactent les standards ou la trajectoire cible.  

• Veiller à la cohérence des solutions avec l'architecture One B2C, les standards Data Engineering & Platforms et les exigences entreprise.  

Sécurité, gouvernance et conformité  

• Intégrer les exigences de sécurité by design : gestion des secrets, IAM, droits d'accès, chiffrement, durcissement, scans et séparation des environnements.  

• Appliquer les règles de protection des données, d'anonymisation, de minimisation, de traçabilité et de conformité RGPD.  

• Contribuer à la gouvernance opérationnelle des datasets, métadonnées, contrats de données, contrôles d'accès et règles de qualité.  

• Travailler avec les équipes Cybersecurity, Infrastructure, Data Office et Architecture pour garantir l'alignement avec les standards ENGIE.  

AI-assisted engineering et amélioration continue  

• Utiliser de manière responsable les outils d'ingénierie assistée par IA, tels que Copilot, agents, génération de code, SQL, tests, documentation et aide au debugging.  

• Identifier et proposer des opportunités d'automatisation pour accélérer le delivery, réduire les erreurs et standardiser les pratiques d'ingénierie.