Contractor job Data Engineer Senior - Databricks - Paris
Paris
Intuition IT Solutions Ltd.
Share this job
Dans le cadre d'un renforcement d'une équipe Data pour un de nos clients, nous recherchons un Data Engineer Senior spécialisé Databricks pour intervenir sur des projets de transformation et d’industrialisation des plateformes Data.
Vous participerez à la conception, au développement et à l’optimisation de pipelines de données robustes, performants et scalables, dans des environnements Lakehouse et Cloud.
Vos principales responsabilités seront :
Concevoir, développer et maintenir des pipelines de données sur Databricks.
Développer des traitements distribués avec Apache Spark / PySpark.
Assurer l’ingestion, la transformation et la mise à disposition des données.
Concevoir et faire évoluer les différentes couches d’un Data Lake / Lakehouse.
Mettre en œuvre les bonnes pratiques Medallion Architecture.
Travailler avec Delta Lake / Delta Tables.
Participer à la conception et à l’évolution de l’architecture Data.
Optimiser les performances et la scalabilité des traitements.
Industrialiser les développements et les déploiements.
Mettre en place et maintenir les pipelines CI/CD.
Utiliser Git pour la gestion, le versioning et la revue du code.
Contribuer à l’automatisation et, lorsque nécessaire, aux pratiques Infrastructure as Code.
Participer à l’amélioration continue de la plateforme Data et aux choix techniques.
Candidate profile
De formation supérieure en informatique, data ou domaine équivalent, vous justifiez d’une expérience significative en Data Engineering et avez une expertise confirmée sur Databricks.
Vous maîtrisez notamment :
Databricks
Apache Spark / PySpark
Python
SQL
Delta Lake / Delta Tables
Architectures Data Lake / Lakehouse
Principes Medallion Architecture
Git et les pratiques de développement collaboratif
CI/CD et industrialisation des traitements
Vous disposez également d’une expertise approfondie sur au moins un Cloud Provider parmi :
Azure : Azure Databricks, ADLS, Data Factory, Event Hubs…
AWS : Databricks, S3, Glue, Redshift, Kinesis…
GCP : Databricks, GCS, BigQuery, Pub/Sub…
Une expérience sur Terraform / Infrastructure as Code, ainsi qu’une bonne connaissance des problématiques de performance, volumétrie et scalabilité seront appréciées.
Vous êtes autonome, force de proposition et à l’aise dans des environnements techniques complexes.
Working environment
Databricks
Apache Spark / PySpark
Python
SQL
Delta Lake / Delta Tables
Architectures Data Lake / Lakehouse
Principes Medallion Architecture
Git et les pratiques de développement collaboratif
CI/CD et industrialisation des traitements
Vous disposez également d’une expertise approfondie sur au moins un Cloud Provider parmi :
Azure : Azure Databricks, ADLS, Data Factory, Event Hubs…
AWS : Databricks, S3, Glue, Redshift, Kinesis…
GCP : Databricks, GCS, BigQuery, Pub/Sub…
Une expérience sur Terraform / Infrastructure as Code, ainsi qu’une bonne connaissance des problématiques de performance, volumétrie et scalabilité seront appréciées.
Apply to this job!
Find your next career move from +8,000 jobs!
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
Get discovered
Recruiters come directly to look for their future hires in our CV library.
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data Engineer Senior - Databricks - Paris
Intuition IT Solutions Ltd.