Mission freelance Data Engineer - AWS Databricks PySpark Sustainability
Lille
Naxotech
Partager cette offre
Recherche : Data Engineer. Mission longue, localisation : Lille (hybride). Dans ce rôle, vous implémenterez des solutions à partir des règles fonctionnelles établies par le Product Manager / Data Owner. Vous documenterez les règles de qualité décrites dans Collibra pour valider les datasets. Vous partirez des templates génériques pour construire des pipelines scalables de données structurées et transformerez la stack legacy vers la nouvelle stack recommandée par les équipes de la Data Platform. Vous répondrez aux questions des utilisateurs ainsi qu’à l’équipe de datavisualisation sur les données mises à disposition, serez capable d’intervenir sur l’ensemble des flux de l’équipe, documenterez les flux implémentés et contribuerez à l’amélioration des bonnes pratiques de développement au sein de l’équipe (Mob programming, Test Driven Development, ...). Vous contribuerez également à la communauté de data engineers.
Abonnez-vous à la page NaxoTech sur LinkedIn pour découvrir nos offres régulières
Profil recherché
Expérience sur l'environnement Big Data d’Amazon Web Services (AWS) et maîtrise de ses composants (S3, CodeArtefact, ECR...) avec optimisation des performances. Avoir déjà implémenté des pipelines de données (DBT, PySpark) et mis en place de l’ordonnancement via Airflow. Connaissances sur Databricks et développement en Python. Connaissances en modélisation de données. Compétences demandées et niveaux de maîtrise : Spark : Avancé ; AWS S3 : Avancé ; Python : Avancé ; PySpark : Avancé ; DATABRICKS : Avancé ; langage SQL : Confirmé.
Environnement de travail
Équipe constituée de 4 Product Managers et 7 Data Engineers. Travail en collaboration avec les Product Managers, Data Owners et équipes de datavisualisation. Technologies et outils en usage : Collibra, AWS (S3, CodeArtefact, ECR...), DBT, PySpark, Airflow, Databricks ; migration depuis une stack legacy vers une stack recommandée par la Data Platform. Mode de travail hybride, mission longue, localisation Lille (hybride).
Postulez à cette offre !
Trouvez votre prochaine mission parmi +10 000 offres !
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer - AWS Databricks PySpark Sustainability
Naxotech