Job Vacancy Expert Azure Databricks / Azure Batch (H/F)
Paris
Freelance.com
Share this job
Dans le cadre du développement de projets Data et IA sur Microsoft Azure, nous recherchons un Expert Azure Databricks / Azure Batch pour concevoir, industrialiser et maintenir des plateformes de traitement de données à grande échelle.
Le consultant interviendra sur des environnements Cloud exigeants, avec un fort niveau d’automatisation, de performance, de sécurité et de fiabilité. Il participera à la conception d’architectures Data modernes ainsi qu’au développement de solutions robustes et industrialisées.
Ses principales responsabilités seront les suivantes :
Concevoir et développer des pipelines de traitement de données distribués sous Azure Databricks.
Développer des notebooks, workflows et composants techniques en Python et PySpark.
Optimiser les performances des traitements Databricks et des jobs distribués.
Concevoir des architectures Lakehouse basées sur Delta Lake.
Industrialiser et orchestrer des traitements massifs avec Azure Batch.
Configurer les pools de calcul et les stratégies d’exécution adaptées aux besoins.
Optimiser la parallélisation, la distribution de charge et la consommation des ressources.
Mettre en place des solutions de monitoring, d’observabilité et de gestion des incidents.
Développer des librairies Python réutilisables, maintenables et testées.
Réaliser des tests unitaires, d’intégration et de performance.
Participer aux revues de code et à l’amélioration continue des pratiques de développement.
Mettre en œuvre des pipelines CI/CD et automatiser les déploiements.
Développer et maintenir l’Infrastructure as Code avec Terraform et/ou Bicep.
Garantir la qualité, la sécurité et la conformité des déploiements.
Accompagner les équipes projet dans l’adoption des standards Cloud, Data Engineering et DevOps.
Candidate profile
De formation supérieure en informatique, Data Engineering ou Cloud Computing, vous justifiez d’une expérience significative sur des projets Data et Cloud Azure.
Vous disposez notamment des compétences suivantes :
Expérience confirmée sur Microsoft Azure.
Très bonne maîtrise d’Azure Databricks et de son écosystème.
Expérience significative sur Azure Batch et les environnements de calcul distribué.
Solide maîtrise de Python et de la programmation orientée objet.
Très bonnes connaissances de PySpark et du langage SQL.
Expérience dans la conception de pipelines de données et d’architectures Lakehouse.
Maîtrise de Delta Lake et des problématiques d’optimisation des traitements distribués.
Connaissance des enjeux liés à la gestion de données volumineuses, à la Data Quality et à la Data Governance.
Expérience des pratiques DevOps et des chaînes CI/CD.
Maîtrise de Git, Azure DevOps et des pipelines YAML.
Bonne connaissance de Terraform et/ou Bicep.
Expérience avec les API REST et les tests automatisés.
Sensibilité aux problématiques de performance, de sécurité, de résilience et de maîtrise des coûts Cloud.
La connaissance d’Azure Data Lake Storage Gen2, Azure Key Vault, Azure Monitor, Log Analytics, Azure Event Hub et Azure Data Factory constitue un atout. Une expérience sur Docker, Kubernetes ou AKS sera également appréciée.
Autonome, rigoureux et doté d’un bon esprit d’analyse, vous êtes capable d’intervenir sur des sujets d’architecture, de développement, d’industrialisation et d’exploitation. Vous appréciez le travail en équipe et savez accompagner les équipes dans la mise en place de bonnes pratiques techniques.
Working environment
Vous évoluerez au sein d’un environnement Cloud Azure moderne, orienté Data Engineering, automatisation et industrialisation des traitements.
L’environnement technique comprend notamment :
Cloud et Data : Microsoft Azure, Azure Databricks, Azure Batch, Azure Data Lake Storage Gen2, Delta Lake.
Traitement des données : Python, PySpark, SQL, traitements distribués et données volumineuses.
Services Azure : Azure Key Vault, Azure Monitor, Log Analytics, Azure Event Hub, Azure Data Factory.
DevOps et CI/CD : Azure DevOps, Git, YAML Pipelines.
Infrastructure as Code : Terraform, Bicep.
Conteneurisation et orchestration : Docker, Kubernetes, AKS.
Méthodes et pratiques : architecture Lakehouse, automatisation des déploiements, supervision, observabilité, tests, sécurité et optimisation des coûts Cloud.
Anglais courant
Le poste s’inscrit dans un contexte de projets à forts enjeux, nécessitant fiabilité, scalabilité, automatisation et capacité à travailler sur des plateformes Data critiques.
Discover Freelance.com
Apply to this job!
Find your next career move from +9,000 jobs!
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
Get discovered
Recruiters come directly to look for their future hires in our CV library.
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Expert Azure Databricks / Azure Batch (H/F)
Freelance.com