Share this job
Dans un environnement orienté data et analytics, le Senior Data & Analytics Engineer intervient en tant qu’expert technique afin d’accompagner les équipes de développement dans la conception, l’amélioration et l’industrialisation de solutions de traitement et d’analyse de données sur Azure Databricks.
Ses principales missions sont les suivantes :
Support technique : accompagner les développeurs Python et R dans la résolution de problématiques techniques et l’utilisation des technologies data.
Revue et optimisation du code : analyser, relire, déboguer et améliorer le code existant afin d’en garantir la qualité, la performance et la maintenabilité.
Industrialisation des traitements : fiabiliser et industrialiser les workloads Databricks, les pipelines de données et les processus ETL/ELT.
Définition des bonnes pratiques : mettre en place des standards de développement, des modèles de code réutilisables et des stratégies de tests adaptées aux environnements de production.
Automatisation des déploiements : contribuer à la mise en œuvre des processus d’intégration et de déploiement continus (CI/CD), conformément aux standards techniques établis.
Qualité et gouvernance des données : garantir la qualité, la traçabilité et la cohérence des données, notamment à travers Delta Lake et Unity Catalog.
Optimisation des performances : analyser et optimiser les traitements Spark et PySpark afin d’améliorer leur efficacité et leur robustesse.
Accompagnement des migrations : évaluer la pertinence des migrations de traitements R vers Python ou SQL sur la base de critères objectifs, techniques et opérationnels.
Accompagnement au changement : favoriser l’adoption des outils et des standards de développement, assurer le transfert de connaissances et diffuser les bonnes pratiques.
Respect des exigences réglementaires : contribuer à la mise en œuvre de solutions analytiques fiables répondant aux exigences des environnements réglementés.
Candidate profile
Expérience généralement supérieure ou égale à 7 ans en ingénierie logicielle ou en ingénierie des données.
Expérience confirmée sur Databricks et Apache Spark.
Expérience significative dans le développement, l’optimisation et l’industrialisation de traitements de données en production.
Expérience dans l’accompagnement technique de développeurs Python et R.
Une expérience dans des environnements analytiques réglementés constitue un atout.
Une expérience d’Azure Databricks et des environnements de gouvernance des données est appréciée.
Databricks et ingénierie des données
Maîtrise d’Azure Databricks, Delta Lake et Unity Catalog.
Bonne maîtrise de SQL et des Jobs/Workflows Databricks.
Solides connaissances des processus ETL/ELT et des architectures de traitement de données.
Maîtrise de l’optimisation des performances Apache Spark.
Python et PySpark
Expertise en Python et PySpark.
Maîtrise des pratiques de tests, de débogage et de revue de code.
Capacité à développer des solutions robustes, maintenables et adaptées à la production.
R et analyse de données
Bonne maîtrise de R et de son écosystème, notamment tidyverse, data.table et sparklyr.
Capacité à analyser, maintenir et optimiser des traitements existants en R.
Industrialisation et DevOps
Maîtrise de Git et d’Azure DevOps.
Bonne connaissance des pratiques CI/CD.
Capacité à automatiser les tests et les déploiements et à appliquer des standards de développement.
Qualité et gouvernance des données
Connaissance des principes de qualité, de traçabilité (data lineage) et de gouvernance des données.
Capacité à fiabiliser les pipelines et à garantir la cohérence des traitements analytiques.
MLflow pour le suivi du cycle de vie des modèles de machine learning.
Power BI pour la visualisation et la restitution des données.
Azure Storage pour le stockage des données.
Microsoft Entra ID et Azure Key Vault pour la gestion des identités, des accès et des secrets.
Capacité à accompagner techniquement les équipes et à transmettre les connaissances.
Esprit d’analyse et aptitude à résoudre des problématiques techniques complexes.
Capacité à justifier les choix d’architecture et les décisions de migration sur la base d’éléments factuels.
Rigueur et sensibilité aux enjeux de qualité, de sécurité, de performance et de maintenabilité.
Autonomie, esprit d’équipe et orientation vers des solutions fiables et industrialisables.
Working environment
Apply to this job!
Find your next career move from +10,000 jobs!
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
Get discovered
Recruiters come directly to look for their future hires in our CV library.
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Senior Data & Analytics Engineer - Databricks / Python / R
VISIAN