Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow à Nantes

Data engineer Spark Nantes La Squad Socles-Data a pour missions : • Le MCO de la plateforme Data Hub actuelle (DH V1). • La co-construction des nouvelles offres Data managées du nouveau Data Hub (DH V2) avec l’IT Groupe : o Prototypes, o Bêta-tests, o Pilotes, o Instanciation, o Homologation…etc. • La définition des normes, bonnes pratiques, guidelines pour simplifier/accélérer les futurs portages applicatifs sur Data-Hub V2. • Gouvernance opérationnelle. • La migration des Uses-Cases existants vers le Data-Hub V2 dans le Cloud privé BNPParibas. • Facilitage de l’usage des services Data. • Assurance du support et l’accompagnement des usagers des socles-Data. • Fournissement de l’expertise. Objectifs et livrables Les tâches sont: Data ingénieur : • Codage et testage des composants logiciels. • Formalisation des cas d’usages. • Conception et mise en œuvre des flux d’intégration de données. • Optimisation de la performance et la qualité logicielle. • Apport du support technique. • Bonne maitrise de l’écosystème Data / Java / SQL / Cloud. • Notions dans d’autres langages de programmation (Python, Scala) et connaître le fonctionnement des bases de données (SQL, NoSQL). Technologie Langage Niveau Starburst (Trino) SQL Moyen Astronomer Airflow Python Moyen Spark 3 Java (Scala selon vos applications) Avancé Cloud (Kubernetes, COS(S3), Vault) Bas DevOps (Gitlab, Jenkins, ArgoCD, Ansible) Go, Yaml Bas Log As a Service (elk) Moyen Java Moyen SQL Moyen Python Moyen Scala (selon vos applications) Moyen Compétences demandées Compétences Niveau de compétence SCALA Confirmé Apache Airflow Confirmé APACHE Confirmé

Contexte de la mission Au sein de la Direction des Systèmes d'Information d'un acteur majeur du secteur bancaire, vous intégrez une équipe Data en charge de la conception, du développement et du maintien en conditions opérationnelles des pipelines de données. Vous intervenez en transverse auprès de plusieurs directions métiers (Marketing, Fraude, Risque) pour répondre à leurs besoins en données fiables et accessibles. Missions principales Concevoir, développer et industrialiser les pipelines de données (batch et/ou temps réel) pour alimenter les cas d'usage métiers Développer et maintenir des APIs de mise à disposition des données Assurer le Build et le Run des solutions data : monitoring, gestion des incidents, optimisation des performances Collaborer avec les équipes métiers Marketing, Fraude et Risque pour comprendre les besoins, modéliser les flux de données et garantir la qualité des livrables Participer à l'industrialisation des déploiements via les outils XL Release et XL Deploy () Mettre en place et maintenir les workflows d'orchestration sur GCP Cloud Composer (Airflow) Contribuer à l'amélioration continue des pratiques (documentation, tests, revues de code) Stack technique Langages : Python, SQL Cloud : Google Cloud Platform (BigQuery, Cloud Storage, Pub/Sub…) Orchestration : Cloud Composer (Apache Airflow) CI/CD & Déploiement : XL Release, XL Deploy () Versioning : Git