Find your next tech and IT Job or contract Apache Airflow

Data/ML Engineer – Secteur bancaire (IDF) – DISPO ASAP – MISSION LONGUE Contexte : Accélération IA – chantier Knowledge Management pour constituer une base de connaissance à partir de documents non structurés (PDF, Word, HTML). Un pipeline initial existe et doit être industrialisé pour une exécution fiable, scalable et maintenable. Objectif : Développer les pipelines d’ingestion, transformation et alimentation de la base, en assurant versioning et traçabilité . Activités : Modéliser l’architecture technique (ingestion → stockage) Développer des flux ETL modulaires (OCR, transformation, enrichissement) Standardiser le format pivot et les conventions de métadonnées Assurer l’historisation, le versioning et la traçabilité des documents Implémenter un orchestrateur (Airflow/Dagster/Prefect) si nécessaire Suivre la robustesse sur des volumes variés Collaborer avec les équipes KM et Data Science Documenter l’ensemble des flux de traitement

Concevoir, industrialiser et opérer des plateformes data “cloud-native” sur Kubernetes, incluant l’orchestration de pipelines via Airflow sur Kube, afin d’accélérer l’ingestion, le traitement et la mise à disposition de données à grande échelle (batch & near-real time) avec des standards élevés de fiabilité, sécurité et coûts. Responsabilités clés Architecture & design Définir l’architecture Data on Kube (ingestion, stockage, calcul, orchestration, observabilité). Modéliser et standardiser les data pipelines (DAGs Airflow) et patterns d’infrastructure (Helm/Kustomize). Industrialisation & déploiement Packager et déployer Airflow sur Kube (Helm chart officiel/Astro/OSS) avec HA, RBAC, autoscaling. Mettre en place des opérateurs Airflow (KubernetesPodOperator, SparkK8sOperator, etc.). Automatiser via GitOps (Argo CD/Flux) et CI/CD (GitHub Actions/GitLab CI). Opérations & SRE Gérer la capacité, le autoscaling (HPA/VPA/Karpenter), la QoS et l’optimisation des coûts (requests/limits, Spot/Preemptible). Observabilité end-to-end (logs, metrics, traces) et runbook d’incident (SLA/SLO/SLI). Sécuriser la plateforme (NetworkPolicy, Secrets, IAM, image signing, pod security). Data Engineering sur Kube Exécuter Spark/Flink/Beam sur K8s ; optimiser ressources, shuffle, I/O. Normaliser les environnements d’exécution (Docker base images, Python/Java runtimes). Gouvernance & qualité Mettre en place un data contract / schema registry , tests de données (Great Expectations/Deequ), lineage (OpenLineage/Marquez). Accompagnement Enablement des équipes data (templates, cookbooks), code reviews , mentorat et evangelism des bonnes pratiques.

Dans le cadre d’un projet stratégique pour un grand acteur de l’assurance, nous renforçons notre équipe Data au sein du DataLab Groupe . Vous interviendrez sur des projets innovants de Data Science, de la R&D jusqu’à l’ industrialisation de modèles ML , avec un fort impact métier sur la lutte anti-fraude, la maîtrise des risques climatiques et la prévention des sinistres graves. Profil recherché 5+ ans d’expérience en Data Science , avec projets menés jusqu’à l’industrialisation. Forte capacité à encadrer, challenger et vulgariser auprès des équipes. Expérience en conduite du changement et interaction avec des utilisateurs métiers. Une curiosité et une veille active sur les nouvelles approches ML/IA.

Vous rejoindrez une équipe pluridisciplinaire de 6 personnes (Data Engineer, DevSecFinOps). Vous travaillerez sur un use case dédié en collaboration avec les équipes Data et vous adopterez une approche FinOps visant à maîtriser et réduire les coûts. Votre rôle BUILD – Développement Participer aux projets data Supply en tant qu’interlocuteur.trice clé Concevoir des solutions en respectant les normes et framework data Développer et modéliser sous la gouvernance de l'architecture data Contribuer au développement d'applications Réaliser les tests Produire les reportings RUN – Maintien en condition opérationnelle Assurer le maintien en condition opérationnelle des 4 référentiels de données opérationnels (RDO) multi sourceurs et de 15 applications) Gérer les incidents et proposer des solutions correctives Mettre en production (via Git) Suivre les flux EXPERTISE Développer votre expertise sur le système d’information et la Supply Proposer des améliorations techniques et des optimisations Partager vos connaissances et bonnes pratiques

Contexte Dans le cadre du chantier Knowledge Management (KM), une base de connaissance doit être constituée à partir de documents non structurés (PDF, Word, HTML). Cette base servira à formaliser la connaissance sous une forme agnostique des usages, en vue d'une réutilisation large et durable. Un pipeline initiale de structuration des connaissances a été établi, mais doit maintenant être industrialisé pour une exécution fiable, scalable et maintenable. Objectif de la mission Development des pipelines d'ingestion, transformation et alimentation de la base de connaissance, tout en assurant le versioning et la traçabilité des traitements.

Nous recherchons un ML Engineer confirmé pour une mission de 3 à 6 mois au sein de l’entité Data Analyse & Data Science de la Data Factory Omnicanal. Objectif : accompagner la montée en puissance des cas d’usage marketing via l’IA, tout en respectant la stratégie de jeu responsable, avec un fort focus sur l’industrialisation et la robustesse des modèles ML. Missions principales Le/la ML Engineer interviendra notamment sur : Migration de l’existant Data Science d’Hadoop vers AWS S3 et Dataiku Portage, optimisation et industrialisation des pipelines de données Mise en place et suivi des bonnes pratiques MLOps (CI/CD, monitoring, amélioration continue) Développement et déploiement de modèles ML avancés adaptés aux enjeux marketing digital Documentation et partage de bonnes pratiques Infos pratiques 📍 Lieu : île de France – 2 jours de TT / semaine 📅 Démarrage : 29/09/2025

Nous recherchons un AWS Data Engineer (niveau Tech Lead) pour rejoindre nos équipes dans le cadre d’un projet stratégique autour de la donnée au sein d’un environnement cloud à forte volumétrie. 🎯 Vos missions principales : Concevoir, développer et optimiser des pipelines de données robustes, scalables et sécurisés sur AWS. Intervenir sur l’ensemble du cycle de vie Data : BUILD (architecture, développement, intégration) et RUN (optimisation, monitoring, support). Définir et faire évoluer les bonnes pratiques d’ingénierie data au sein des équipes. Collaborer avec les équipes métiers pour comprendre les besoins et proposer des solutions performantes et industrialisées . Garantir la qualité, la fiabilité et la performance des traitements de données dans un contexte exigeant.

Dans le cadre de la modernisation du SI Data, l’équipe recherche un Architecte Data Cloud pour concevoir et accompagner la mise en œuvre de plateformes Data multi-cloud (AWS, Azure, GCP), interconnectées aux produits numériques développés dans l’entreprise. La mission consiste à garantir la cohérence, la gouvernance et la performance des architectures Data Cloud. Missions principales Concevoir des architectures Data sur les environnements Cloud (AWS, Azure, GCP). Définir les standards d’intégration, stockage, orchestration et exposition de la donnée. Élaborer les architectures cibles (Data Lake, Data Mesh, Virtualisation, Catalogues) . Superviser la migration de systèmes On-Prem vers le Cloud (Oracle, Hadoop, etc.). Mettre en place les pipelines d’alimentation (Airflow, Trino, Spark, Glue, Data Factory…). Garantir la conformité (sécurité, RGPD, souveraineté, Cloud de Confiance). Participer aux jalons PMPG (cadrage, déploiement, bénéfices). Documenter les DAT, schémas techniques, POC et livrables d’architecture. Contribuer au transfert de compétences auprès des équipes internes.

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Python/Spark/GCP Le data ingénieur avec la stack Python, Spark, SQL, dbt, BigQuery, Airflow, Terraform, Terragrunt, GCP . Ses missions : Déployer des datasets normés Accompagner les utilisateurs dans leurs usages. Mettre en place du contrôle qualité sur les datasets. En détail : Participer aux phases de conception, planification et réalisation. Construire et maintenir des pipelines data robustes et scalables. Organiser et structurer le stockage des données. Mettre en place et maintenir des infrastructures scalables et sécurisées. Contribuer à la gouvernance des données (qualité, fiabilité, intégrité). Construire et maintenir les workflows de CI/CD. Partager et appliquer les bonnes pratiques data engineering. Assurer évolutivité, sécurité et stabilité des environnements. Participer aux instances data engineers et à la mise à jour de la documentation. Assurer une veille technologique active .

Description de la mission : Nous recherchons un expert Big Data pour intervenir sur un projet stratégique autour du traitement et de la valorisation de données à grande échelle. Le consultant sera intégré à une équipe Data et interviendra sur la conception, l’optimisation et la mise en production de pipelines de données. Compétences attendues : Maîtrise avancée de Apache Spark (batch et streaming) Expertise sur Airflow (orchestration de workflows complexes, bonnes pratiques CI/CD) Connaissance approfondie de Superset (construction et industrialisation de dashboards) Bonnes pratiques en architecture Big Data et Data Lake Connaissances appréciées : Python, SQL, Cloud (AWS / GCP / Azure)

Contexte & Objectif Dans le cadre d’un projet Data déjà développé, le client souhaite faire appel à un expert capable de réaliser un audit technique et fonctionnel. En tant que Technico-Fonctionnel Full Stack / Data engineer (Snowflake) / Audit & Estimation vos principales missions seront les suivantes : Réaliser un audit complet d’un projet existant. Vérifier la compatibilité technique avec Snowflake et les environnements associés. Analyser et traduire le code back/front . Produire des recommandations concrètes : faisabilité, coûts, charge, risques. Intervenir en interface technico-fonctionnelle entre équipes techniques et métiers.

Contexte & Objectif Dans le cadre d’un projet Data déjà développé, le client souhaite faire appel à un expert capable de réaliser un audit technique et fonctionnel. En tant que Technico-Fonctionnel Full Stack / Data engineer (Snowflake) / Audit & Estimation vos principales missions seront les suivantes : Réaliser un audit complet d’un projet existant. Vérifier la compatibilité technique avec Snowflake et les environnements associés. Analyser et traduire le code back/front . Produire des recommandations concrètes : faisabilité, coûts, charge, risques. Intervenir en interface technico-fonctionnelle entre équipes techniques et métiers.

Métier : Data Management, Machine Learning Engineer Spécialités technologiques : Cloud, Deep Learning, Machine Learning, Big Data, Simulation Type de facturation : Assistance Technique (facturation avec un taux journalier) Compétences : Technologies et Outils : GIT, CI/CD, Pytorch, Python (5 ans), Xarray, AWS (5 ans), Docker Soft skills : Bonne pédagogie pour accompagner/coach l’équipe Secteur d'activité : Assurance Description de la prestation : Projet dans le secteur de l’assurance pour un Machine Learning Engineer Lead Expert spécialisé en recherche appliquée sur les événements climatiques extrêmes utilisant des modèles d’IA. Travail sur des simulations météo pour identifier les risques de catastrophes et développer des modèles de Machine Learning avec gestion de big data et code Python. Responsabilités principales : Fournir et gérer du code et des données de qualité pour l’équipe R&D. Refactoriser, structurer et documenter la bibliothèque Python pour les simulations, inférence et analyse. Développer des pipelines robustes pour la simulation, la détection d’événements extrêmes, l’entraînement et l’évaluation des modèles, notamment sur GPU. Appliquer les meilleures pratiques de développement logiciel scientifique : tests, CI/CD, conception modulaire, reproductibilité. Optimiser l’utilisation de serveurs multi-GPU pour des entraînements IA à grande échelle. Former et accompagner l’équipe sur les bonnes pratiques de développement scientifique et l’utilisation des GPU.

Nous recherchons un Ingénieur Production expérimenté pour rejoindre une équipe projet dans le secteur bancaire. Vous interviendrez sur des environnements critiques à forte volumétrie de données. Compétences obligatoires : Apache Spark Apache Airflow CI/CD Kubernetes OpenShift Python Anglais courant Profil recherché : +7 ans d’expérience en environnement de production Bonne capacité à travailler dans un contexte exigeant et international Esprit collaboratif et sens de la communication Conditions de mission : Lieu : Paris (2 jours de télétravail/semaine) Démarrage : ASAP Durée : longue mission (renouvelable)

Vous serez intégré dans une équipe pluridisciplinaire de 6 personnes (Data Engineer, DevSecFinOps) En vous appuyant sur la data ARF exposée, vous travaillerez sur un use case dédié en collaboration avec les équipes Data (tech lead, gouvernance et architectes). Vous devrez avoir une approche FINOPS (Maîtrise et diminution des coûts) BUILD - Interlocuteur lors de la contribution à des projets dans le domaine de la Supply - Conception de solutions en respectant les normes et framework data - Développement, Modélisation sous la gouvernance de l'architecture data - Contribution au développement d'appli - Tests - Reporting RUN : - Maintien en condition opérationnelle de notre périmètre de responsabilité (4 référentiels de données opérationnels (RDO) multi sourceurs, 15 applications) - gestion des incidents - mise en production (via Git) - suivi de flux EXPERTISE : - Montée en compétence sur notre SI et notre domaine de responsabilité

Dans le cadre de son initiative Big Data FR sur plateforme Open Source , GRDF recherche un Expert Spark afin de renforcer son équipe Data. L’objectif est de contribuer à la conception, à l’optimisation et au déploiement de pipelines Big Data à grande échelle, avec un focus sur la performance et la fiabilité. 🚀 Missions principales: Participer à la conception et au développement de pipelines de données distribués basés sur Spark. Optimiser la performance des traitements et garantir la scalabilité des solutions. Déployer, monitorer et maintenir les workflows de données via Airflow . Créer et améliorer des dashboards et visualisations de données avec Superset . Collaborer avec les équipes Data Engineering, Data Science et métiers pour intégrer les besoins fonctionnels dans la plateforme Big Data. Assurer une veille technologique et proposer des solutions innovantes dans l’écosystème Big Data Open Source.