Contractor job Data Engineer - AWS Databricks PySpark Sustainability
Lille
Naxotech
Share this job
Recherche : Data Engineer. Mission longue, localisation : Lille (hybride). Dans ce rôle, vous implémenterez des solutions à partir des règles fonctionnelles établies par le Product Manager / Data Owner. Vous documenterez les règles de qualité décrites dans Collibra pour valider les datasets. Vous partirez des templates génériques pour construire des pipelines scalables de données structurées et transformerez la stack legacy vers la nouvelle stack recommandée par les équipes de la Data Platform. Vous répondrez aux questions des utilisateurs ainsi qu’à l’équipe de datavisualisation sur les données mises à disposition, serez capable d’intervenir sur l’ensemble des flux de l’équipe, documenterez les flux implémentés et contribuerez à l’amélioration des bonnes pratiques de développement au sein de l’équipe (Mob programming, Test Driven Development, ...). Vous contribuerez également à la communauté de data engineers.
Abonnez-vous à la page NaxoTech sur LinkedIn pour découvrir nos offres régulières
Candidate profile
Expérience sur l'environnement Big Data d’Amazon Web Services (AWS) et maîtrise de ses composants (S3, CodeArtefact, ECR...) avec optimisation des performances. Avoir déjà implémenté des pipelines de données (DBT, PySpark) et mis en place de l’ordonnancement via Airflow. Connaissances sur Databricks et développement en Python. Connaissances en modélisation de données. Compétences demandées et niveaux de maîtrise : Spark : Avancé ; AWS S3 : Avancé ; Python : Avancé ; PySpark : Avancé ; DATABRICKS : Avancé ; langage SQL : Confirmé.
Working environment
Équipe constituée de 4 Product Managers et 7 Data Engineers. Travail en collaboration avec les Product Managers, Data Owners et équipes de datavisualisation. Technologies et outils en usage : Collibra, AWS (S3, CodeArtefact, ECR...), DBT, PySpark, Airflow, Databricks ; migration depuis une stack legacy vers une stack recommandée par la Data Platform. Mode de travail hybride, mission longue, localisation Lille (hybride).
Apply to this job!
Find your next career move from +10,000 jobs!
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
Get discovered
Recruiters come directly to look for their future hires in our CV library.
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data Engineer - AWS Databricks PySpark Sustainability
Naxotech