Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow
Votre recherche renvoie 71 résultats.
Offre d'emploi
Data Engineer – Plateforme Data AWS / Snowflake
EterniTech
Publiée le
Apache Airflow
AWS Cloud
Data Lake
3 mois
Magny-les-Hameaux, Île-de-France
Description du besoin : Data Engineer – Plateforme Data AWS / Snowflake Client : Grand Groupe Industriel International Localisation : Magny-les-Hameaux (78) + déplacements ponctuels Malakoff (92) Télétravail partiel : 2 jours / semaine Démarrage idéal : ASAP Information de type C3 - Contexte industriel ? Contexte Dans le cadre de l’évolution de sa plateforme Data, un grand groupe industriel souhaite renforcer son dispositif avec un profil senior spécialisé en orchestration de pipelines de données, avec une expertise forte sur Apache Airflow. Le client dispose d’un écosystème data déjà en place (AWS / Data Lake / Snowflake) et cherche à améliorer la fiabilité, la scalabilité et l’industrialisation des traitements. L’objectif est d’intégrer un profil capable de concevoir et structurer les workflows data, et non simplement d’utiliser Airflow pour exécuter des jobs existants. ? Objectif de la mission Le client recherche un Data Engineer senior avec une expertise avancée sur Airflow, capable de : -concevoir et développer des DAGs complexes -structurer l’enchaînement des traitements de données -gérer les dépendances entre pipelines -implémenter des stratégies de gestion des erreurs, retry et reprise -optimiser l’orchestration et la planification des workflows Le consultant interviendra sur la fiabilisation et l’industrialisation des pipelines data, avec une forte autonomie dans la conception des solutions. ? Prestations attendues ? Orchestration & Airflow (cœur de mission) Conception et développement de DAGs Airflow complexes Structuration des workflows data et gestion des dépendances Mise en place de stratégies de retry, reprise et gestion des erreurs Optimisation du scheduling et des performances des pipelines Industrialisation des workflows ? Data Engineering & intégration Intégration et orchestration de pipelines batch et temps réel Collaboration avec les équipes Data (Data Engineers / Data Scientists) Contribution à l’architecture globale des pipelines ? Cloud & environnement technique Intégration dans un environnement AWS Data Lake Interaction avec les services data (stockage, compute, etc.) Automatisation et bonnes pratiques de développement ? Environnement technique Airflow (expertise avancée requise) Python AWS (S3, Glue, etc.) Data Lake / Snowflake CI/CD / Terraform (apprécié) ? Profil recherché ? Expérience 5+ ans en Data Engineering Expérience significative sur Airflow en production Expérience sur des environnements data complexes ? Compétences indispensables Airflow avancé (design de DAGs, orchestration complexe) Python Conception de pipelines data Gestion des dépendances et workflows ? Compétences appréciées AWS / Data Lake Terraform / CI/CD Snowflake ? Points clés (critères éliminatoires) Profil ayant utilisé Airflow uniquement comme outil de déclenchement ? Absence d’expérience en conception de DAGs ? Pas de maîtrise de la logique d’orchestration ? ? Profil idéal Un profil capable de penser et concevoir une orchestration complète de pipelines data, avec une vraie maîtrise des mécaniques internes d’Airflow, et une capacité à intervenir en autonomie sur des environnements existants.naires Communication claire et structurée
Mission freelance
DATA Engineer - AWS (DataOps)
Cherry Pick
Publiée le
Apache Airflow
AWS Cloud
AWS Glue
6 mois
450-500 €
Paris, France
Nous recherchons un Data Engineer pour industrialiser un prototype d’application existant. Le projet implique une forte dimension infra et scalabilité , avec l’objectif de passer d’un prototype à une architecture robuste, maintenable et industrialisée. Le candidat interviendra également sur des sujets de refonte de la codebase et de préparation du déploiement en infrastructure as code . 🎯 Missions principales Industrialiser un prototype d’application data en environnement SaaS Revoir la codebase existante pour anticiper les enjeux de scalabilité Concevoir et mettre en place une architecture data robuste et évolutive Participer à la mise en place d’une approche Infrastructure as Code Construire et maintenir des pipelines de données fiables et scalables Travailler sur des problématiques d’architecture cloud et d’industrialisation Collaborer avec des interlocuteurs techniques (profil très orienté tech) 🛠 Stack technique Cloud : AWS (GCP apprécié mais non obligatoire) IaC : Terraform Orchestration : Airflow Langage : Python Environnement : SaaS / Data Engineering / Infra scalable
Mission freelance
Senior Data engineer IA (H/F)
CHARLI GROUP
Publiée le
Apache Airflow
AWS Cloud
CI/CD
2 ans
400-610 €
Île-de-France, France
Dans le cadre de son plan de transformation Data, le groupe poursuit un objectif central : développer des applications Data permettant aux directions métiers (pilotage, marketing, commerce, etc.) de gagner en autonomie dans l'analyse de leurs données et le suivi de leurs KPI mais aussi de mettre en place des applications customer-facing Pour répondre à cet enjeu, le groupe s'appuie sur un écosystème technologique étendu, comprenant notamment : AWS, GitLab, Terraform, DBT, Snowflake, GenAI, Braze, Scala, Spark, Python, Power BI, ainsi que des briques d'Intelligence Artificielle. La plateforme repose sur des architectures robustes et évolutives (Datalake, Lakehouse, des architectures multi-tenant, des architectures event-driven et streaming) conçues pour ingérer et gérer plus de 100 To de données par jour, dont une part majoritaire en temps réel. Description du poste : Notre environnement de travail combine rigueur, une ambiance décontractée au sein des équipes, et des méthodes Agiles (Scrum et Kanban). Votre mission principale, si vous l'acceptez, consistera à intervenir sur des architectures de Streaming Data et IA full AWS (notamment Lambda, Step Function, Kinesis Stream, S3, Batch, Firehose, EMR Serverless, DynamoDB, etc.), ainsi que sur des technologies comme Scala, Spark, SQL, Snowflake, GitLab CI/CD, DBT, Airflow, Terraform. Vous serez amené à : Concevoir et développer des pipelines de données performants Développer en utilisant des outils tels que Scala, DBT et Spark Implémenter des architectures de Streaming Data robustes Contribuer activement aux initiatives FinOps Développer et optimiser des traitements d'intégration de données en streaming Rejoignez une équipe dynamique où innovation et expertise se rencontrent !
Mission freelance
Architecte Data DevOps / FinOps (Expertise GCP)
Nicholson SAS
Publiée le
Apache Airflow
BigQuery
CI/CD
6 mois
650 €
Paris, France
Contexte de la mission Au sein d'une grande entité du secteur de l'énergie, vous interviendrez en tant qu' Architecte Data transverse avec une double expertise DevOps et FinOps . Votre rôle sera stratégique : concevoir des architectures cloud robustes, définir les standards d'urbanisation (Data, IA, MLOps) et piloter l'optimisation des coûts dans un environnement hybride et multi-cloud, avec un focus majeur sur GCP . Missions principales 1. Architecture & Urbanisation Définir les standards d'architecture et les règles d'urbanisation pour les domaines Data, IA, DevOps et MLOps. Concevoir et mettre en œuvre des architectures de données cloud performantes. Rédiger, maintenir et diffuser les bonnes pratiques (Data, On-Premise, Cloud et DevOps). Assurer la gouvernance des modèles et encadrer l'usage des LLM tout en gérant les risques éthiques et réglementaires. 2. Expertise DevOps & MLOps Industrialiser les pipelines de données et de Machine Learning (ML Pipelines). Superviser l'orchestration et la conteneurisation des services. Garantir la mise en œuvre des principes CI/CD et GitOps dans des environnements complexes. 3. Stratégie FinOps & Performance Intégrer les principes FinOps dès la conception (Architecture by design). Optimiser spécifiquement les coûts liés au Cloud et aux ressources GPU (Plan FinOps dédié à l'IA). Définir des modèles de refacturation interne et préconiser les outils de suivi de performance pour superviser les pipelines. Expertise Technique Requise Cloud : Maîtrise avancée de Google Cloud Platform (BigQuery, Composer, Airflow, DataProc, DataFlow). Infrastructure as Code & CI/CD : Terraform, Ansible, Git, Jenkins, GitLab-CI, GitOps, Helm. Conteneurisation : Docker, Kubernetes. Observabilité : ELK, Grafana, Prometheus, Google Monitoring. Environnement : Expérience significative en environnements hybrides (On-premise / Cloud). Modalités pratiques Lieu : Paris – Présence sur site obligatoire 2 à 3 jours/semaine . Date de démarrage : 01/06/2026. Date de fin : 31/12/2026 (Visibilité long terme). Prix d’achat max : 650 € HT / jour.
Mission freelance
Un(e) ML Engineer / MLOps Engineer
Keypeople Consulting
Publiée le
Apache Airflow
BigQuery
FastAPI
6 mois
400-500 €
Paris, France
Opportunité -| un(e) ML Engineer / MLOps Engineer – Projet Data & IA en production Dans le cadre du renforcement d’une équipe Data & IA dédiée à la personnalisation de l’expérience utilisateur , nous recherchons un(e) ML Engineer confirmé(e) pour intervenir sur des projets à fort impact, en environnement cloud et production. Vos missions Concevoir, développer et maintenir des pipelines ML robustes et scalables Industrialiser les modèles développés avec les équipes Data Science Déployer les modèles en production et accompagner les A/B tests Mettre en place le monitoring des performances et le contrôle qualité des modèles Exposer les modèles via des API REST Structurer et optimiser le stockage et la circulation des données Développer et maintenir les workflows CI/CD Garantir la stabilité, la sécurité et l’évolutivité des environnements Collaborer avec les équipes Data, Produit et Tech dans un cadre Agile 🛠️ Environnement technique Python / SQL Google Cloud Platform Vertex AI BigQuery Cloud Run Airflow FastAPI / Flask Terraform GitLab CI/CD TensorFlow / Scikit-learn 👤 Profil recherché Minimum 3 ans d’expérience en environnement Data / Machine Learning Expérience confirmée en mise en production de modèles ML Très bonne maîtrise de Python, SQL et des architectures data Solide expérience sur GCP Connaissances MLOps / industrialisation / infrastructure as code Aisance en communication avec des interlocuteurs techniques et métiers Français courant indispensable
Offre d'emploi
Data Engineer GCP
CAT-AMANIA
Publiée le
Apache Airflow
BigQuery
Data Engineering
1 an
40k-50k €
350-400 €
Lille, Hauts-de-France
Vous serez intégré dans une équipe pluridisciplinaire (Data Engineer, DevSecFinOps) Vous travaillerez sur un use case dédié en collaboration avec les équipes Data (tech lead, gouvernance et architectes). Vous devrez avoir une approche FINOPS (Maîtrise et diminution des coûts) BUILD - Interlocuteur lors de la contribution à des projets dans le domaine de la Supply - Conception de solutions en respectant les normes et framework data - Développement, Modélisation sous la gouvernance de l'architecture data - Contribution au développement d'appli - Tests - Reporting RUN : - Maintien en condition opérationnelle de notre périmètre de responsabilité (4 référentiels de données opérationnels (RDO) multi sourceurs, 6 applications) - gestion des incidents - mise en production (via Git) - suivi de flux EXPERTISE : - Montée en compétence sur notre SI et notre domaine de responsabilité
Offre d'emploi
data engineer DBT/Snowflake/DATAIKU
DATAMED RESEARCH
Publiée le
Dataiku
DBT
Microsoft Power BI
45k-55k €
Paris, France
Contexte du poste Au sein d'une Direction des Systèmes d'Information, vous intervenez dans un programme stratégique de transformation Data visant à moderniser les usages décisionnels et à migrer les solutions historiques vers une plateforme Data Analytics Cloud basée sur AWS. Dans le cadre d'un projet de sortie d'une infrastructure décisionnelle legacy, vous accompagnez la migration des usages BI vers une plateforme moderne reposant sur Snowflake, dbt, Airflow et Power BI . Vous participez à l'industrialisation des traitements de données, à la réduction du Shadow IT et au renforcement de la gouvernance des données au sein de l'entreprise. Enjeux du poste Accompagner la migration des usages décisionnels vers une plateforme Data Analytics cible. Industrialiser les traitements de données et les cas d'usage BI métiers. Garantir la qualité, la gouvernance et la maintenabilité des solutions Data. Concevoir des modèles de données robustes et des pipelines automatisés pour l'alimentation des restitutions décisionnelles. Contribuer à l'amélioration continue des pratiques Data Engineering. Missions principales Recueillir, analyser et challenger les besoins métiers. Concevoir et développer des modèles de données Silver et Gold sous dbt dans Snowflake selon une architecture médaillon. Mettre en œuvre des mécanismes de Data Quality , de tests automatisés et de documentation. Développer et administrer les datasets Power BI (modélisation en étoile, mesures DAX, sécurité RLS). Concevoir et maintenir les DAGs Airflow pour l'orchestration des pipelines de données. Participer aux cérémonies Agile, aux estimations de charge, aux revues de code et aux actions d'amélioration continue. Collaborer étroitement avec les Architectes Data, Tech Leads, Product Owners et équipes métiers. Livrables attendus Modèles de données développés sous dbt. Datamarts métiers et modèles sémantiques Power BI. Pipelines et DAGs Airflow d'orchestration. Spécifications techniques générales et détaillées. Documentation technique et fonctionnelle. Rapports de tests et de qualité des données. Environnements de recette configurés. Développements, correctifs et comptes rendus associés.
Offre d'emploi
Développeur Python F/H
AIS
Publiée le
Python
1 mois
40k-46k €
230-460 €
Toulouse, Occitanie
- Développer et maintenir les fonctionnalités backend en Python/Django, - Concevoir et faire évoluer les API et services applicatifs, - Participer aux choix techniques et à l'amélioration continue de l'architecture, - Assurer la qualité, la performance et la maintenabilité du code, - Participer aux phases de tests, d'intégration et de déploiement, - Collaborer avec les équipes techniques et fonctionnelles du projet, - Contribuer ponctuellement à des sujets frontend selon les besoins. ENVIRONNEMENT TECHNIQUE : Python, Django, Docker, Airflow, React, Next.js etc.
Mission freelance
Développeur Back-end JAVA Senior – Data Engineering (F/H)
CELAD
Publiée le
1 an
450-470 €
Lyon, Auvergne-Rhône-Alpes
A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 🏠 2 jours de télétravail / semaine - 📍 Lyon (07) - 🛠 Expérience de 5 ans minimum Envie de travailler sur des applications critiques, avec une stack moderne et des problématiques techniques variées ? Nous recherchons aujourd’hui un.e Développeur Back-end JAVA pour rejoindre une équipe qui intervient sur toute la chaîne technique : infrastructure, data, back-end et front-end. Ici, pas de rôle limité à “faire du code”. Vous participerez aux choix techniques, aux optimisations de performance et aux décisions qui impactent directement la qualité des applications en production. Pourquoi ce poste peut vous plaire ? Vous rejoignez un environnement où : - les sujets techniques sont variés et stimulants - les applications manipulées sont critiques - les équipes challengent les besoins métiers plutôt que d’exécuter des tickets - les échanges techniques et les revues de code font partie du quotidien - les problématiques de performance et de scalabilité sont centrales Vous aurez aussi l’occasion d’intervenir sur des sujets data engineering et traitement de données à grande échelle avec Spark, Kafka et Airflow. Ce que vous ferez concrètement au quotidien Une fois intégré.e à l’équipe, vous participerez à : 1/ La conception et le développement des applications - Concevoir des développements robustes et performants à partir des besoins fonctionnels, - Développer des fonctionnalités back-end en Java/Spring,Participer aux choix d’architecture et challenger les besoins techniques. 2/ La qualité et la fiabilité des applications - Renforcer la couverture de tests, - Corriger les anomalies fonctionnelles et techniques, - Participer activement aux revues de code, - Améliorer les performances et la stabilité des applications. 3/ Les sujets data et traitement distribué - Travailler sur des flux de données et traitements distribués, - Manipuler Spark, Kafka et Airflow sur des sujets à forte volumétrie, - Participer à l’industrialisation et à l’optimisation des pipelines. 4/ La vie de l’équipe - Participer aux ateliers techniques et fonctionnels, - Collaborer avec les différentes équipes produit et data, - Être force de proposition sur les bonnes pratiques de développement.
Offre d'emploi
Développeur Back-end JAVA Senior – Data Engineering (F/H)
CELAD
Publiée le
45k-50k €
Lyon, Auvergne-Rhône-Alpes
A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 🏠 2 jours de télétravail / semaine - 📍 Lyon (07) - 🛠 Expérience de 5 ans minimum Envie de travailler sur des applications critiques, avec une stack moderne et des problématiques techniques variées ? Nous recherchons aujourd’hui un.e Développeur Back-end JAVA pour rejoindre une équipe qui intervient sur toute la chaîne technique : infrastructure, data, back-end et front-end. Ici, pas de rôle limité à “faire du code”. Vous participerez aux choix techniques, aux optimisations de performance et aux décisions qui impactent directement la qualité des applications en production. Pourquoi ce poste peut vous plaire ? Vous rejoignez un environnement où : - les sujets techniques sont variés et stimulants - les applications manipulées sont critiques - les équipes challengent les besoins métiers plutôt que d’exécuter des tickets - les échanges techniques et les revues de code font partie du quotidien - les problématiques de performance et de scalabilité sont centrales Vous aurez aussi l’occasion d’intervenir sur des sujets data engineering et traitement de données à grande échelle avec Spark, Kafka et Airflow. Ce que vous ferez concrètement au quotidien Une fois intégré.e à l’équipe, vous participerez à : 1/ La conception et le développement des applications - Concevoir des développements robustes et performants à partir des besoins fonctionnels, - Développer des fonctionnalités back-end en Java/Spring,Participer aux choix d’architecture et challenger les besoins techniques. 2/ La qualité et la fiabilité des applications - Renforcer la couverture de tests, - Corriger les anomalies fonctionnelles et techniques, - Participer activement aux revues de code, - Améliorer les performances et la stabilité des applications. 3/ Les sujets data et traitement distribué - Travailler sur des flux de données et traitements distribués, - Manipuler Spark, Kafka et Airflow sur des sujets à forte volumétrie, - Participer à l’industrialisation et à l’optimisation des pipelines. 4/ La vie de l’équipe - Participer aux ateliers techniques et fonctionnels, - Collaborer avec les différentes équipes produit et data, - Être force de proposition sur les bonnes pratiques de développement.
Mission freelance
[SCH] enior Data Engineer — DBT / Snowflake - 1573
ISUPPLIER
Publiée le
10 mois
400-450 €
Massy, Île-de-France
Dans le cadre du développement de ses usages data, le client cherche à industrialiser ses campagnes marketing B2C via des pipelines de données structurés sous DBT. Il s'agit de modéliser les données, construire des datamarts et mettre en place les meilleures pratiques d'organisation et de documentation dans un environnement Snowflake. Mission : -Développer des pipelines DBT pour des campagnes triggers et parcours B2C -Modéliser les données et créer des datamarts dans Snowflake -Documenter les travaux sous Confluence et Collibra -Accompagner l'équipe sur les bonnes pratiques agiles et d'architecture -Assurer la gestion de version et l'organisation du projet via Git Profil attendu : -Maîtrise avancée de l'écosystème DBT / Snowflake / Airflow -Solide culture SQL, Python apprécié -Expérience en modélisation de données et conception de datamarts -Autonome, opérationnel rapidement, bon communicant en français -À l'aise dans un contexte agile avec enjeux de documentation
Mission freelance
TechOps – Intégration Technique & Fiabilité Opérationnelle N3
Hexagone Digitale
Publiée le
AIX (Advanced Interactive eXecutive)
Ansible
Apache Airflow
6 mois
400-560 €
Nanterre, Île-de-France
CONTEXTE La mission s'inscrit au sein de la Direction Technique d'une filiale bancaire commune à deux grands établissements financiers français. L'équipe Infrastructure assure la fiabilité, la disponibilité et la qualité d'exploitation des applications dont elle a la charge : supervision, diagnostic, résolution d'incidents et automatisation des activités récurrentes. Elle coordonne ses travaux avec les équipes Platform Engineering, la Maîtrise d'Œuvre et les équipes techniques du fournisseur IT. Dans le cadre d'une évolution vers un modèle SRE / DevOps, la direction souhaite renforcer la fiabilité opérationnelle (RUN), standardiser et automatiser les processus d'exploitation, et accélérer la montée en maturité vers le Platform Engineering. La ressource exercera 60 % de son activité au sein du Bureau Technique et 40 % en contributions transverses (documentation, automatisation, amélioration continue, outillage). RÔLE ET RESPONSABILITÉS PRINCIPALES ▸Préparer, coordonner et suivre les mises en production ; valider les livrables techniques associés. ▸Intégrer et paramétrer les solutions logicielles ; installer les nouveaux modules et évolutions applicatives. ▸ Réaliser les tests techniques (unitaires, intégration, exploitabilité) et contribuer aux analyses d'impact et d'évaluation des risques. ▸Vérifier la conformité aux normes de sécurité, d'architecture et d'exploitation ; appliquer les standards Run Ready. ▸ Déployer et maintenir des automatisations (scripts, pipelines CI/CD, supervision, IaC) ; standardiser les outils et patterns. ▸Contribuer aux services opérés par l'équipe Platform Engineering et participer à l'évolution des standards TechOps. ▸Produire et maintenir la documentation technique (DEX, référentiels, procédures) ; assurer un reporting régulier auprès du responsable Infrastructure et des ISM. ▸Accompagner les équipes internes dans la montée en compétences DevOps/SRE ; être force de proposition sur les axes d'amélioration. LIVRABLES ATTENDUS Réduction mesurable des incidents récurrents ou liés à une mauvaise intégration. Environnements stabilisés conformes aux critères Run Ready (supervision, logs, dépendances, API…). Suivi complet des incidents sur les périmètres confiés : root cause documentée et plans d'action pour chaque incident majeur. Aucune mise en production bloquée pour défaut de validation TechOps. Modèles standardisés : DEX, normes d'intégration, patterns d'infrastructure, supervision, logs, CI/CD. Contribution à au moins 3 chantiers de modernisation (automatisation, logs, observabilité, pipelines, inventaires…). Documentation TechOps (DEX, procédures, référentiels) : à jour, validée, réutilisable et conforme aux règles internes. Reporting structuré et régulier (indicateurs, risques, dépendances, problèmes) vers les managers et ISM.
Mission freelance
POT9205 - Un Concepteur / Développeur Python, SQL sur Paris 2ème
Almatek
Publiée le
Python
SQL
6 mois
Paris, France
Almatek recherche pour l'un de ses clients, Un Concepteur / Développeur Python, SQL sur Paris 2ème Compétences techniques Python - Expert - Impératif SQL - Expert - Impératif Connaissances linguistiques Anglais Professionnel (Secondaire) Description détaillée Pour renforcer un projet pour un Client bancaire, nous recherchons un profil Développeur Python (>= 6 ans d’expérience). Rôle : Techlead du backend applicatif, en charge des APIs et des traitements d’intégration de données complexes. Missions principales - Développer des APIs REST en Python FastAPI (Framework Web) - Concevoir et exposer des endpoints robustes et performants - Implémenter des traitements d’intégration de données à partir de fichiers XML complexes - Garantir de bonnes performances (traitements volumineux sans chargement complet en mémoire) - Gérer l’accès et l’écriture en base PostgreSQL - Industrialiser les traitements sur OpenShift Compétences attendues - Python avancé - FastAPI (conception d’API, validation de données, gestion des erreurs) - Traitement XML volumineux (lecture “streaming”, performance mémoire) - Bases de données PostgreSQL + Langage SQL - Connaissances OpenShift (déploiement, jobs, configuration) - Notions d’Airflow (intégration avec les traitements backend)
Offre d'emploi
CDI - Lead Data Engineer / Lead Data Platform (H/F)
CAPEST conseils
Publiée le
Apache
Data Engineering
Microsoft SQL Server
Rouen, Normandie
Lead Data Engineer / Lead Data Platform (H/F)Votre mission En tant que Lead Data, vous êtes responsable de la conception, de la fiabilité et de l’industrialisation de la plateforme data dans un environnement assurantiel fortement réglementé. Vous combinez un rôle de : référent technique, architecte data, lead d’équipe, garant de la qualité et de la sécurité des données. Vos responsabilitésLeadership & coordination Encadrer et accompagner une équipe de Data Engineers Définir les bonnes pratiques : qualité des données, documentation, monitoring, versioning Garantir la cohérence des choix techniques avec les équipes DevOps et Architecture Collaborer avec les équipes métiers (finance, actuariat, sinistres, marketing) Data Engineering Concevoir et maintenir des pipelines de données robustes et scalables Orchestrer les flux avec Apache Airflow Modéliser les données (schémas étoile / flocon) Garantir la performance, la sécurité et la traçabilité des données Industrialisation & DataOps Mettre en place les pratiques CI/CD pour les projets data Automatiser les tests et déploiements Superviser les traitements et gérer les incidents de production Travailler avec les équipes DevOps sur les environnements et la sécurité Profil recherché Formation supérieure en informatique ou data 7 à 10 ans d’expérience en Data Engineering Expérience significative en rôle de lead technique Une expérience en assurance, banque ou finance est appréciée Compétences indispensables SQL avancé Python Apache Airflow Git & CI/CD (GitLab CI, GitHub Actions, Jenkins…) Modélisation de données décisionnelles Bonne culture DataOps / industrialisation Compétences appréciées Spark / Databricks dbt Docker / Terraform Outils de data quality et observabilité Connaissance RGPD et données sensibles Soft skills Leadership et pédagogie Excellente communication Vision globale et sens des priorités Autonomie et rigueur Capacité à travailler avec des interlocuteurs techniques et métiers
Mission freelance
Consultant Kafka DevOps
BEEZEN
Publiée le
Ansible
Apache Kafka
Argo CD
12 mois
530-550 €
Montreuil, Île-de-France
Mon client recherche un Ingénieur DevOps senior Expert Kafka pour renforcer la Squad Kafka, en charge de plusieurs offres Kafka industrielles, opérées à la fois On‑Premise et sur IBM Cloud. Votre mission est de concevoir, développer et opérer des plateformes d’infrastructure modernes (PaaS, IaaS, CaaS) à destination de l’ensemble des métiers. Vous contribuerez au renforcement de l’équipe sur les sujets Kafka As Code et Kubernetes." La personne interviendra sur trois offres Kafka distinctes : Kafka On‑Premise Administration avancée de clusters Kafka Activités Build & Run Support niveau expert Automatisation via Ansible et Bash Kafka PaaS V4 (offre en fin de vie) Offre actuellement exploitée sur IBM Cloud Contributions Java / microservices Kafka Maintien en conditions opérationnelles Accompagnement de la fin de vie progressive de l’offre Kafka As Code Offre stratégique en forte montée en puissance Exploitée sur IBM Cloud Automatisation du provisioning Kafka Développement et maintenance d’outils et de pipelines internes (Python, Airflow, Terraform) Intégration CI/CD et GitOps Par ailleurs, certains composants et agents CI/CD sont déployés sur des environnements conteneurisés (Docker / Kubernetes / OpenShift). Astreinte et support opérationnel La mission inclut une participation aux dispositifs d’astreinte de la squad Kafka. les clusters Kafka On‑Premise, l’offre Kafka PaaS V4 opérée sur IBM Cloud (jusqu’à sa fin de vie), l’offre Kafka As Code opérée sur IBM Cloud. Le consultant devra être en capacité : Intervenir sur des incidents de production, Participer aux rotations d’astreinte selon les règles en vigueur, Contribuer à l’amélioration continue de l’automatisation et de la supervision afin de réduire la charge d’astreinte à moyen terme." Technologies indispensables : Apache Kafka (administration / exploitation avancée), Python, LINUX (Redhat), Git & GitLab C, Bash / scripting shell, Ansible Technologies optionnelles : Git Ops (ArgoCD), Apache Airflow (Python), Terraform (Infrastructure as Code), Docker/Kubernetes, Java / microservices Kafka, Helm / Kustomize Maitrise de l' anglais
Mission freelance
Développeur Python
CS Group Solutions
Publiée le
API
Openshift
PostgreSQL
6 mois
Paris, France
Nous recherchons un Développeur Python Objectif global : Conception/Développement Python, SQL Contrainte forte du projet- Les livrables sont: Rédiger les spécifications techniques détaillées Développer et tester Rédiger la documentation Compétences techniques: Python - Expert - Impératif SQL - Expert - Impératif Connaissances linguistiques: Anglais Professionnel Description détaillée: Pour renforcer un projet pour un Client bancaire, nous recherchons un profil Développeur Python (>= 6 ans d’expérience). Rôle : Techlead du backend applicatif, en charge des APIs et des traitements d’intégration de données complexes. Missions principales - Développer des APIs REST en Python FastAPI (Framework Web) - Concevoir et exposer des endpoints robustes et performants - Implémenter des traitements d’intégration de données à partir de fichiers XML complexes - Garantir de bonnes performances (traitements volumineux sans chargement complet en mémoire) - Gérer l’accès et l’écriture en base PostgreSQL - Industrialiser les traitements sur OpenShift Compétences attendues - Python avancé - FastAPI (conception d’API, validation de données, gestion des erreurs) - Traitement XML volumineux (lecture “streaming”, performance mémoire) - Bases de données PostgreSQL + Langage SQL - Connaissances OpenShift (déploiement, jobs, configuration) - Notions d’Airflow (intégration avec les traitements backend)
Déposez votre CV
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Derniers posts sur le forum
71 résultats
Contrats
Lieu
Télétravail
Taux Journalier Moyen min.
150 €
1300 € et +
Salaire brut annuel min.
20k €
250k €
Durée
0
mois
48
mois