Find your next tech and IT Job or contract Apache Airflow

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Tech Lead Snowflake : le Tech Lead « aura donc la charge de: 1)Co-piloter la Feature Team 2)Créer un binôme fort avec son homologue ‘Produit’ (Product Owner déjà présent). 3)Encadrer les Data Engineers : 4 externes + 1 interne 4)Assurer la mise en oeuvre des bonnes pratiques de développements (DevOps, Qualité, FinOps, etc.) 5)Contribuer au cadrage, découpage & macro-estimation des nouveaux sujets. 6)Orienter les choix techniques et de modélisation (urbanisation Snowflake, patterns Archi, etc.) 7)Livrer les produits Data (Analytics & IA) suivant les engagements de qualité et de délais pris. 8)Gérer la communication et la résolution en cas d’incidents. 9)Tenir informés ses supérieurs, voir les alerter ou demander de l’aide en cas de risque ou pb. 10)Participer aux évènements organisés à l’échelle de la DATA ou de la verticale ENGINEERING.

Notre client dans le secteur Luxe recherche un/une Ingénieur Backend Python / Monitoring AzureH/F Description de la mission: Notre client est leader dans le secteur de la beauté et du luxe. Sur cette mission, vos responsabilités seront : • Développer et maintenir des applications backend robustes en Python. • Appliquer des architectures de données de type ELT pour structurer les données. • Développer et maintenir des pipelines de données avec Airflow, Logstash et des scripts Python/Spark pour la collecte et la transformation des données. • Gérer le stockage des données avec Postgres SQL, ElasticSearch, et Azure. • Utiliser Grafana pour la visualisation des données et la création de tableaux de bord. • Intégrer des solutions de monitoring et de logging avec Azure Log Analytics & Metrics. • Collaborer avec les équipes de développement, d'exploitation et de data science dans un environnement Agile Scrum et DevOps. • Utiliser GitHub pour la gestion des dépôts et des pipelines CI/CD. • Participer aux réunions de planification et de révision pour aligner les objectifs techniques avec les besoins commerciaux. Compétences techniques requises : • Maîtrise avancée de Python/Spark et d'autres langages de programmation orientés objets, et expérience avec les API REST & SOAP, Webhooks. • Expertise avancée dans Postgre SQL, ElasticSearch, et Logstash. • Connaissance approfondie des architectures de données ELT. • Expertise avancée avec les technologies Azure, notamment Azure Blob Storage, Event Hub, Azure Log Analytics & Metrics. • Compétences en développement de pipelines de données avec Airflow. • Utilisation de GitHub pour les dépôts et les pipelines CI/CD. • Connaissance autour de Apache Spark est un plus. • Anglais : Niveau intermédiaire requis. Compétences / Qualités indispensables : Python, PostgreSQL, Azure, ElasticSearch, Logstash, Airflow Compétences / Qualités qui seraient un + : Github Devops Informations concernant le télétravail : 2 jours de télétravail par semaine

Conception & développement de pipelines Implémenter de nouveaux flux de données batch et streaming . Développer des pipelines ETL / ELT en Python et Airflow pour les traitements planifiés, et via NiFi ou Kafka pour les données en temps réel. Assurer l’intégration et la mise à disposition des données dans Snowflake . Industrialisation & bonnes pratiques Participer aux revues de code , aux tests unitaires et d’intégration . Contribuer à l’ industrialisation des pipelines avec des pratiques CI/CD robustes. Maintenir la documentation technique à jour et contribuer à l’amélioration continue des process. Maintenance & optimisation Garantir la maintenance corrective et évolutive des flux existants. Participer à la mise en place du monitoring , des alertes et des bonnes pratiques d’exploitation. Optimiser les performances, la fiabilité et la qualité des traitements de données.

Notre client basé à Marseille (13) est à la recherche d’un Data Engineer Airflow (H/F) freelance dans le cadre du renforcement de leur expertise sur les data pipelines de leur plateforme. MISSIONS · Développement de data pipelines Airflow extract-loead · Développemlent de dag Airflow d’administration · Maintien et évolution du framework on-top d’Airflow · On boarding et support aux équipes projets utilisatrices de la plateforme · Industrialisation d’une offre Airflow/BDT-Core ENVIRONNEMENT TECHNIQUE · Airflow · Python · DBT · Snowflake · Git · AWS · Kubernetes

Rejoignez TRUST’IT 🚀 Créée en 2016, TRUST’IT compte aujourd’hui plus de 100 collaborateurs et un chiffre d’affaires de plus de 10 M€. Spécialistes de l’infrastructure, de la production et des métiers fonctionnels (Business Analyst, PO, Scrum Master…), nous proposons principalement des missions longues (2 à 3 ans). Notre force : une culture d’entreprise familiale , un turnover quasi nul et un mot d’ordre clair – la confiance . Chez TRUST’IT, nous plaçons l’épanouissement de nos collaborateurs au cœur de notre réussite. Nos avantages ✅ 25 CP + 10 RTT ✅ Mutuelle/prévoyance 100 % gratuite pour vous et votre famille ✅ Navigo intégralement remboursé + panier repas ✅ Prime d’intéressement & de cooptation (1 500 €) ✅ Chèques cadeaux, vacances, culture, rentrée scolaire ✅ Accès gratuit à + de 3 000 infrastructures sport & bien-être TRUST’IT, ce n’est pas une ESN comme les autres… c’est une famille ! Nous recherchons pour notre client spécialisé en banque, un Lead devops (H/F) Mission : Ce rôle n’est pas fait pour tout le monde. Il demande une combinaison de plusieurs qualités : excellence technique, posture d’accompagnement, et plaisir à coder pour les autres. Votre savoir-faire (Compétences Techniques) : Compétences Indispensables : C'est le socle non négociable. Nous attendons une maîtrise solide ou un niveau expert sur ces sujets. Expertise approfondie et pratique de Python. Excellente maîtrise de Pytest et de son écosystème. Solide expérience en automatisation de tests d'API REST. Maîtrise de Git et des pipelines CI/CD, notamment GitLab CI. Maîtrise des commandes de base Linux et du scripting shell. Maîtrise des pratiques BDD (Gherkin). Compréhension des principes d'ingénierie logicielle (DRY, Abstraction, Idempotence). Compétences Appréciées (Les plus) : Une connaissance pratique ou théorique de ces sujets est un avantage certain. Une connaissance d'Apache Airflow. Une connaissance des pratiques de Test-Driven Development (TDD). Une bonne connaissance des environnements de conteneurisation (Docker/Kubernetes). Une connaissance des outils modernes de gestion de dépendances Python (Poetry, pip). Une expérience sur Terraform ou Ansible. Environnement technique : Python Git & GitLab CI, Commandes Linux, BDD (Gherkin), Principes d'Ingénierie, Apache Airflow, Docker/Kubernetes, Poetry/pip, Terraform/Ansible, Scrum JIRA

Objectif : Renforcer l’équipe en charge du maintien en condition opérationnelle du DATAHUB en assurant un support de niveau 2-3 et l’optimisation des environnements critiques. Missions : Assurer le support N2/N3 en production sur Spark , Airflow et Starburst ( sur Kubernetes ) Participer à la gestion et résolution d’incidents , analyse des root causes. Optimiser les traitements Spark sur Kubernetes (tuning, configuration, dimensionnement). Améliorer l’orchestration Airflow et la gestion des catalogues Starburst. Contribuer à la documentation et l’amélioration continue des procédures d’exploitation. Accompagner les équipes métiers dans l’usage sécurisé et performant des plateformes.

Dans le cadre du renforcement de notre capacité de support N2, nous recherchons des prestataires spécialisés dans l’exploitation et le support de plateformes Big Data. Contexte : Notre équipe est responsable du maintien en condition opérationnelle des plateformes suivantes qui tournent sur Kubernetes et bientôt sur OpenShift : Apache Spark Apache Airflow/Astronomer Starburst (trino) La prestation visera à : Assurer le support de niveau 2 en production des plateformes mentionnées (PROD). Intervenir dans la gestion des incidents, l’analyse des root causes et la résolution. Participer à l’ optimisation des traitements Spark sur Kubernetes (tuning, configuration, dimensionnement), à l' optimisation de l'orchestration Airflow , à la gestion des catalogues Starburst Accompagner les équipes métiers dans l’utilisation efficace et sécurisée des plateformes. Contribuer à la documentation et à l’amélioration continue de l’écosystème d’exploitation.

Data/ML Engineer – Secteur bancaire (IDF) – DISPO ASAP – MISSION LONGUE Contexte : Accélération IA – chantier Knowledge Management pour constituer une base de connaissance à partir de documents non structurés (PDF, Word, HTML). Un pipeline initial existe et doit être industrialisé pour une exécution fiable, scalable et maintenable. Objectif : Développer les pipelines d’ingestion, transformation et alimentation de la base, en assurant versioning et traçabilité . Activités : Modéliser l’architecture technique (ingestion → stockage) Développer des flux ETL modulaires (OCR, transformation, enrichissement) Standardiser le format pivot et les conventions de métadonnées Assurer l’historisation, le versioning et la traçabilité des documents Implémenter un orchestrateur (Airflow/Dagster/Prefect) si nécessaire Suivre la robustesse sur des volumes variés Collaborer avec les équipes KM et Data Science Documenter l’ensemble des flux de traitement

Contexte et détails de la mission Définition du besoin La Direction Technique du Numérique mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data. La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques. La Direction Data a 3 grandes activités : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision. Au sein de l’équipe Bronze, la prestation se déroulera en collaboration avec les autres équipes de la Data, au coeur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs. Notre stack technique est principalement constitué de Python, Spark, SQL pour les traitements de données, Airflow pour l’orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l’infrastructure. Prestations attendues : Prestation de cette équipe 1. Collecter et centraliser les différentes sources de données non homogènes 2. Assurer la conformité et la sécurité des données 3. Participer aux initiatives de gouvernance des données Prestation en data engineering En interaction avec les membres de l’équipe, la prestation consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir de pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances de data engineering • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Modalités de la prestation : Présence sur site requise en fonction des besoins de la prestation et a minima équivalente à 50% du temps de la prestation. Astreintes week-end et jours fériés : Non Matériel performant à fournir par le prestataire : Pour ce faire, les postes informatiques utilisés par le prestataire lors des prestations doivent avoir : - Un antivirus à jour et activé - Un mécanisme de chiffrement du disque activé - Un système d'exploitation à jour de ses correctifs de sécurité - Un mécanisme de verrouillage du poste activé - Un moyen de stockage sécurisé des mots de passe. Usage de la langue française : L'exécution de chaque marché spécifique nécessite l'usage principal et permanent de la langue française dans les rapports avec les parties prenantes (documents, réunions, appels téléphoniques, courriers électroniques…). Les personnes en charge de l‘exécution des prestations doivent maîtriser parfaitement le français (et toute autre langue qui serait précisée après information dans le DCE du marché spécifique concerné) dans le contexte et environnement.

Dans le cadre du renforcement de la capacité de support sur la nouvelle offre DATAHUB , l’ingénieur support Data aura pour mission d’assurer le maintien en condition opérationnelle, le support de niveau 2 et l’optimisation des plateformes Apache Spark , Apache Airflow / Astronomer et Starburst (Trino) , déployées sur Kubernetes (IKS) et prochainement sur OpenShift . Le poste consiste à intervenir sur les incidents de production, analyser les causes racines, contribuer à l’optimisation des traitements et accompagner les équipes métiers dans l’utilisation efficace et sécurisée des plateformes. L’ingénieur participera également à la documentation technique, à la mise en œuvre des bonnes pratiques d’exploitation et à l’amélioration continue de l’écosystème DataHub. Il travaillera en étroite collaboration avec les équipes Data, Infrastructure et Sécurité afin de garantir la performance, la fiabilité et la scalabilité des environnements de production.

Nous cherchons un Tech Manager Data qui saura allier leadership technique et pilotage stratégique autour d’un sujet clé : l’exploitation des données issues des Property Management Systems. Ces données sont le cœur du fonctionnement : réservations, facturation, occupation, services. Ton rôle ? Les transformer en un actif stratégique fiable, pour booster la performance et la distribution des services. En tant que Tech Manager Data , tu seras : Le leader technique et managérial de deux équipes (internes & partenaires externes). Le chef d’orchestre des projets data PMS : collecte, intégration, fiabilisation et monitoring. Le binôme stratégique du Product Manager Data pour construire la roadmap et prioriser la valeur. Le garant de la fiabilité et de la performance des produits data : monitoring, alerting, optimisation FinOps/DevOps. L’ interface clé entre les équipes métiers, IT et les éditeurs PMS.

Dans le cadre du renforcement de notre capacité de support sur une nouvelle offre Data, nous recherchons des prestataires spécialisés dans l’exploitation et le support de ces plateformes. La prestation visera à : · Assurance de support de niveau 2 en production des plateformes mentionnées (PROD). · Intervention dans la gestion des incidents, l’analyse des root causes et la résolution. · Participation à l’optimisation des traitements Spark sur Kubernetes (tuning, configuration, dimensionnement), à l'optimisation de l'orchestration Airflow, à la gestion des catalogues Starburst · Accompagnement des équipes métiers dans l’utilisation efficace et sécurisée des plateformes. · Contribution à la documentation et à l’amélioration continue de l’écosystème d’exploitation.

Contexte : Notre client, un grand groupe du secteur retail, déploie une plateforme Dataiku pour industrialiser la préparation et le scoring de ses modèles analytiques. Missions : Concevoir et maintenir des pipelines Dataiku Automatiser les processus de traitement et de scoring des données Garantir la qualité et la traçabilité des datasets Travailler en lien étroit avec les Data Scientists et les équipes métier Stack technique : Dataiku, Python, SQL, Airflow, Git, Docker, AWS S3 Profil recherché : Expérience confirmée sur Dataiku (projets réels en prod) Bon niveau en Python / SQL Capacité à travailler en mode agile, avec un fort sens de la communication

Nous recherchons un Data Scientist Senior (H/F) pour rejoindre l'équipe E-commerce, Marketing & Relation Clients d’un acteur du retail. 🎯 L’objectif ? Concevoir, industrialiser et améliorer des solutions de machine learning visant à optimiser la performance opérationnelle et commerciale du e-commerce : qualité des opérations, rentabilité, productivité et personnalisation client. Tu évolueras au sein du pôle Data Science Customer , dans un environnement agile, collaboratif et cloud-native , où les approches data-driven et l’innovation sont au cœur de la stratégie omnicanale du groupe. 🚀 Tes missions principales : Identifier, avec les équipes métier et opérationnelles, les cas d’usage data à fort impact business Explorer et fiabiliser les données : nettoyage, agrégation, étude ad-hoc et préparation de datasets Concevoir, implémenter et évaluer des modèles de machine learning et d’analyse prédictive Définir et conduire des protocoles de test en conditions réelles (magasins, entrepôts, plateformes logistiques) Industrialiser et maintenir les solutions dans les environnements cloud (CI/CD, monitoring, itérations) Assurer la transmission des bonnes pratiques et le mentoring de data scientists juniors Participer activement à la communauté Data Science du groupe (séminaires, retours d’expérience, veille technologique) 🔧 Environnement technique : Langages & outils : Python, SQL, Terraform, Docker, GitLab, Jenkins Cloud & Orchestration : Google Cloud Platform (GCP), Cloud Composer / Airflow, Cloud Run, BigQuery, Cloud Batch, Kubernetes Engine, Vertex AI, Cloud Storage Méthodologies : Agile / Scrum, itérations rapides, revue de code et bonnes pratiques DevOps

Axone by Synapse, cabinet de conseil IT innovant, recherche pour l’un de ses clients pour une mission de longue durée un Lead Data Engineer H/F chargé de concevoir, développer et industrialiser des pipelines Big Data dans un environnement Azure et Databricks. Le rôle implique l’ingestion, le streaming, la mise en place de standards techniques et la participation active à une communauté de Tech Leads. Objectif et livrable: Concevoir et industrialiser des pipelines d’ingestion Big Data haute performance. Mettre en place des standards de développement, bonnes pratiques et guidelines techniques. Optimiser la performance, la fiabilité et la scalabilité des traitements Spark/Databricks. Assurer l’intégration et l’orchestration des flux via NiFi, Kafka et Airflow. Accompagner techniquement l’équipe et jouer un rôle de référent au sein de la communauté Tech Leads. Produire une documentation claire, complète et pérenne couvrant architectures, patterns, et flux d’ingestion. Compétences attendues: Spark (expert) Databricks Kafka NiFi Azure Airflow Ansible Scala/Java, Python, SQL CI/CD (Azure DevOps, Git) N'hésitez pas à m'envoyer votre CV!! (L’objectif est de pérenniser ce poste en interne, les pré-embauches sont fortement privilégiées.)

Nous recherchons pour le compte de notre client un Lead Data Engineer / Data Engineer Senior H/F pour une mission en freelance ou portage salarial de 6 mois renouvelable à pourvoir dès que possible dans le département 92 (Ile-de-France). Un début de mission en janvier 2026 peut-être envisageable. Notre client propose 2 jours de télétravail maximum par semaine. Responsabilités principales : Mise en place de standards de développement et bonnes pratiques Expertise en performance, fiabilité et scalabilité Participation à la communauté des Tech Leads avec les différentes Lines of Business de notre client Développement de flux d’ingestion