Trouvez votre prochaine offre d’emploi ou de mission freelance Github

Dans le cadre d'un programme stratégique de transformation Data, un Data Engineer confirmé est recherché pour participer au développement et à l'industrialisation de Data Products au sein d'une plateforme de données Cloud. Il intégrera une équipe Data en charge de valoriser les données issues de plusieurs systèmes d'information métiers afin de répondre aux besoins analytiques et de reporting des différentes directions. Objectifs et livrables : • Développer des Data Products à partir de spécifications fonctionnelles et techniques. • Concevoir et développer des pipelines d'ingestion et de transformation de données. • Modéliser les données selon les bonnes pratiques de la plateforme. • Développer des modèles de transformation avec DBT. • Optimiser les traitements SQL sur un environnement BigQuery. • Mettre en œuvre les contrôles de qualité des données et contribuer aux initiatives de gouvernance. • Participer aux revues techniques, aux choix d'architecture, aux phases de recette, de mise en production et de support. • Contribuer à l'industrialisation des développements via les pratiques DevOps/DataOps. • Produire la documentation technique, fonctionnelle et d'exploitation des développements réalisés, ainsi que les indicateurs de qualité des données et supports de transfert de connaissances. Compétences requis : • Expertise indispensable sur Google Cloud Platform (GCP) et BigQuery. • Maîtrise avancée du langage SQL et de l'outil DBT. • Conception et développement de pipelines de données industrialisés. • Solides compétences en modélisation de données et pratiques DataOps / DevOps. • Compétences en langages de programmation : Python. • Maîtrise des outils d'orchestration et d'infrastructure : Cloud Composer / Apache Airflow, Pub/Sub, Terraform (selon les projets). • Gestion de version et intégration continue : Git (GitHub ou GitLab), CI/CD. • Pratiques de gouvernance et de gestion de la qualité des données. • Pratique des méthodologies Agile.

Au sein d'une équipe Data & Digital, vous intervenez sur le développement et l'industrialisation de solutions Big Data à forte volumétrie dans un environnement exigeant et innovant. Vous contribuerez à la conception, au développement et à l'exploitation de plateformes Data reposant sur des technologies Cloud et Big Data. Vos missionsDévelopper des applications Data et des API REST en Java/Spring. Participer aux études de faisabilité et aux choix techniques. Concevoir et implémenter des traitements Big Data. Mettre en œuvre les bonnes pratiques de qualité logicielle (TDD/BDD). Automatiser les déploiements et contribuer à l'industrialisation des environnements. Optimiser les performances applicatives et la stabilité des plateformes. Accompagner les équipes métiers et participer au support des phases de tests. Assurer le maintien en conditions opérationnelles des solutions. Profil recherchéBac+5 École d'Ingénieur ou équivalent. Expérience significative en Data Engineering et environnements Big Data. Excellente maîtrise de Java. Solides compétences sur Spark et Hadoop. Expérience des environnements Cloud AWS et/ou Azure. Bonne maîtrise de Python et/ou Scala. Expérience des API REST et du framework Spring. Environnement techniqueJava Spring Boot Spark Hadoop HDFS Oozie Scala Python AWS Azure Shell Unix Git / GitHub Containers TDD / BDD