Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Description Pour le compte de notre client grand compte, nous recherchons un Expert Data Engineer Spécialisé sur Google Cloud afin de rejoindre la Squad data pour le pilotage commercial Tâches principales Développement de pipeline de données sur Cloud Composer / Airflow Optimisation des performances et coûts des traitements sur GCP Participation aux choix d'outils et des solutions techniques sur GCP et développement de nouvelles application Modélisation des données sur BigQuery Maintenir l'existant en condition opérationnelle Préparer et mettre en œuvre l’interopérabilité avec de nouveaux systèmes opérationnels Proposer des simplifications et/ou optimisations selon les normes internes Compétences demandées GCP : Confirmé Big Query : Expert Base de donnée : Confirmé Python : confirmé Lieu : Paris

Le data engineer/Tech Lead intègre une équipe en charge du lakehouse pour le client. De nombreuses challenges techniques sont attendus. Focus sur ses activités : -Contribue à la conception de outils de traitement BigData (Ingestion / Traitement / Analyse) -Cadrage technique des besoins émis par les consommateurs de la plateforme Data -Est garant de la mise en production des traitements au sein de la plateforme -Optimisation du code et de la capacité des VMs mise en œuvre pour chaque traitement -Garantit la disponibilité et l'outillage pour les équipes métier, ainsi qu'aux utilisateurs de la plateforme (data scientists / data analystes / data engineer)

En tant qu'Applied Scientist, vous êtes la force motrice de la phase de recherche et de développement des modèles d'IA, en assurant l'alignement entre les avancées technologiques et les objectifs stratégiques de l'entreprise. Responsabilités clés 1. Recherche et développement de modèles IA/ML (Phase de recherche) : Mener la recherche, l'évaluation et l'expérimentation de modèles d'IA et d'apprentissage automatique (par exemple, Deep Learning pour la recommandation, Gen-AI, NLP/Vision pour la recherche) afin de résoudre des problèmes commerciaux complexes. Sélectionner les sources de données appropriées et déterminer les indicateurs clés à suivre et à optimiser Développer des prototypes et prouver la faisabilité ainsi que l'impact attendu des concepts avant leur industrialisation. 2. Collaboration et industrialisation (Phase de déploiement) : Travailler en étroite collaboration avec les ingénieurs en apprentissage automatique (MLE) pour garantir que les modèles développés sont robustes, évolutifs et prêts pour le déploiement en production. Contribuer activement à la phase de déploiement et d'intégration des modèles dans l'architecture technique (Snowflake, AWS). 3. Suivi et amélioration continue : Participer au suivi des modèles en production, en se concentrant sur la détection des dérives (drift) et la dégradation des performances. Concevoir et proposer des itérations (tests A/B) pour optimiser en continu les performances des produits d'IA. 4. Expertise et transmission des connaissances : Assurer une veille technologique constante sur les avancées en IA/ML. Documenter et partager les connaissances et les meilleures pratiques au sein de l'équipe et avec les autres parties prenantes (Chefs de produit, Métier).

Responsabilités Développer et optimiser des API (REST) en Python (FastAPI) Concevoir et maintenir des bases de données (PostgreSQL principalement) pour des requêtes performantes Collaborer avec les équipes DevOps pour automatiser les déploiements (Docker, CI/CD) Intégrer des tests automatisés (pytest) et participer aux revues de code Contribuer à l'amélioration continue de l'architecture back-end Compétences clés attendues Forte capacité de collaboration Autonomie pour définir et structurer les fondations d'un système d'envergure Expérience en modélisation et optimisation de bases de données fortement appréciée Capacité à concevoir une architecture robuste et évolutive

Dans le cadre du développement d’un nouveau système de détection automatisée d’objets d’intérêt sur des images satellites, nous recherchons un développeur back-end Python expérimenté. Ce projet stratégique vise à concevoir une nouvelle plateforme indépendante de l’application historique existante, avec une attention particulière portée à la robustesse et à la scalabilité de l’architecture dès les premières phases. Vous interviendrez au sein d’une petite équipe de développement composée de trois ingénieurs, dans un contexte où les choix techniques et l’architecture du système auront un impact structurant pour les évolutions futures de la solution. Les principales responsabilités incluent la conception et le développement d’API REST en Python (FastAPI), la modélisation et l’optimisation de bases de données — principalement PostgreSQL — ainsi que la structuration des fondations techniques d’un système destiné à monter en charge. Vous participerez également à l’automatisation des déploiements via des outils de conteneurisation et de CI/CD, et contribuerez à la mise en place de tests automatisés et à l’amélioration continue de l’architecture applicative

Dans le cadre de l’évolution d’une plateforme technologique stratégique, nous recherchons un développeur back-end Python expérimenté pour intervenir sur une application de traitement et d’analyse d’images satellites. Vous rejoindrez une équipe de développement déjà en place afin de contribuer à l’évolution fonctionnelle et technique d’une solution existante dédiée à la détection d’objets d’intérêt sur des données satellitaires. Votre mission consistera à travailler sur une base de code importante et mature, en participant à l’amélioration continue de l’architecture, des performances et des fonctionnalités. Vous interviendrez notamment sur l’analyse de problématiques complexes, l’optimisation de la gestion des données et la mise en place de solutions robustes permettant d’assurer la fiabilité et la scalabilité de la plateforme.

Dans le cadre d’un accroissement d’activité et afin de renforcer l’équipe Data d’un grand acteur bancaire, notre client recherche un Data Engineer GCP expérimenté. La mission s’inscrit dans un environnement Big Data / Cloud GCP en pleine transformation, avec des enjeux forts autour de l’industrialisation des pipelines, de la qualité de données et de la mise à disposition de datasets fiables pour les équipes métiers et analytiques. La mission est basée en Île-de-France (IDF) avec 2 jours de TT par semaine. Votre rôle consiste à: Mettre en place les chaînes d’ingestion, validation, croisement et enrichissement des données. Alimenter et exploiter le Data Lake GCP (GCS) et produire des agrégats (J/H/M). Développer des pipelines batch & streaming (Spark, Kafka, Scala). Industrialiser les traitements via Airflow / Composer et CI/CD. Mettre à disposition les données (API, fichiers, dashboards). Participer à la mise en production de modèles statistiques. Documenter, corriger les anomalies, assister les équipes d’exploitation. Travailler en mode Agile (Scrum/Kanban) .

Dans le cadre de la synergie IT et du développement de l’IA GEN au sein de ces applications, le chapitre DATA Entrepôt de données a en charge de porter les évolutions de pattern liés à la plateforme Data SNOWFLAKE dont il a la responsabilité. Au sein d’une équipe composée d’experts dans le domaine de l’IT et fort de vos expériences d’administration de plateforme SNOWFLAKE, vous aurez pour missions principales de : - Concevoir les nouveaux PATTERN nécessaires demandés, sur les périmètres ingestion de données, manipulation de données et restitution, que les données soient structurées ou non structurées. - Les mettre en œuvre sur la plateforme France ou à l’international pour qu’ils puissent être utilisés par les équipes DATA IT et métier - Accompagner les différentes équipes IT et métier France ou des Business Units dans le déploiement et la prise en main de la plateforme SNOWFLAKE Dans ce contexte, les principales activités : - Contribuer aux cadrages des nouveaux besoins techniques des métiers liés à la plateforme SNOWFLAKE - Participer à l’évolution de la plateforme Data (gouvernance, contrôles, automatisation, etc) - Participer aux choix technologiques de l’offre à mettre en place - Analyser les documents d’architecture des assets à faire évoluer et définir les nouveaux PATTERN (architecture fonctionnelle, applicative, technique) - Analyser, définir et cadrer les adaptations nécessaires de l’offre proposée - Documenter les PATTERN retenus à un niveau plus détaillé, de sorte à la rendre exécutable pour les autres Business Units - Être l’interlocuteur privilégié des équipes portant les besoins d’agent/usages IAGEN au sein du pôle DATA - Accompagner au déploiement de la solution définie auprès de la BU SOFINCO et des autres Business Units - Accompagner à la prise en main de la plateforme Data

Principales missions : - Contribuer aux cadrages des nouveaux besoins techniques des métiers liés à la plateforme SNOWFLAKE - Participer à l’évolution de la plateforme Data (gouvernance, contrôles, automatisation, etc) - Participer aux choix technologiques de l’offre à mettre en place - Analyser les documents d’architecture des assets à faire évoluer et définir les nouveaux PATTERN (architecture fonctionnelle, applicative, technique) - Analyser, définir et cadrer les adaptations nécessaires de l’offre proposée - Documenter les PATTERN retenus à un niveau plus détaillé, de sorte à la rendre exécutable pour les autres Business Units - Être l’interlocuteur privilégié des équipes portant les besoins d’agent/usages IA GEN au sein du pôle DATA - Accompagner au déploiement de la solution définie auprès de la BU et des autres Business Units - Accompagner à la prise en main de la plateforme Data

Contexte : Dans le cadre de la construction du datalake des équipes Group Digital & IT International Cybersécurité de notre client, nous recherchons un(e) Consultant Data Integration Senior . Missions : Organiser et piloter votre activité ainsi que celle d’un consultant junior Garantir le respect des délais, de la qualité de livraison et des bonnes pratiques Assurer une communication claire et régulière sur l’avancement Concevoir et implémenter les flux d’ingestion de données (API, SFTP, DB) Développer et orchestrer les pipelines avec Azure Data Factory Alimenter et structurer le datalake dans Snowflake Concevoir des modèles de données (tables de faits, dimensions) Préparer les données pour les usages analytiques et le reporting Collaborer à la restitution via Power BI Participer à la mise en place de futures briques techniques telles que Apache Airflow (via Astronomer) et DBT Contribuer à l’amélioration continue de l’architecture data Comprendre les enjeux cybersécurité (gestion des assets, conformité, outils de sécurité) Exploiter les données issues des outils cyber pour produire des indicateurs pertinents Compétences techniques: Expertise sur Snowflake (modélisation, performance, structuration) Maîtrise de Azure Data Factory Bonne expérience en modélisation décisionnelle (schémas en étoile : faits/dimensions) Expérience en intégration de données multi-sources (API, SFTP, bases de données) Bon niveau en SQL Appréciées Expérience avec Power BI Connaissance de Apache Airflow (ou Astronomer) Notions ou expérience avec DBT Connaissance des environnements cloud Azure

Présence sur site 3j/semaine Mission Construire et maintenir des pipelines de données fiables et scalables sur AWS et Snowflake. Responsabilités Développer des pipelines ETL/ELT Participer à une intégration d'SAP Intégrer et transformer les données Modéliser les données (data warehouse) Optimiser les performances et les coûts Assurer la qualité des données (tests, monitoring) Orchestrer les workflows (Airflow ou équivalent) Collaborer avec les équipes data et métier Stack technique AWS (S3, Glue, Lambda, Redshift) SAP Snowflake SQL Python Airflow / dbt / Git Profil Expérience en data engineering Bonne maîtrise SQL et modélisation Expérience cloud (AWS) Autonomie, rigueur Bonus Docker CI/CD Expérience data lake / lakehouse

Contexte de la mission Dans le cadre d’un programme structurant de modernisation du système d’information , nous recherchons un profil Data Engineer / DevOps senior pour renforcer une équipe existante. La mission s’inscrit au cœur du SI cible , au service de plusieurs applications critiques orientées data, intégration et services temps réel. Le poste vise à industrialiser les chaînes DevOps et à structurer les flux Data Lake dans un environnement cloud native, fortement automatisé et orienté open source . Démarrage souhaité : mai / juin Localisation : Rive gauche bordeaux, nécessite un véhicule Objectifs de la mission Le rôle est double : DevOps / Plateforme Industrialisation et sécurisation des chaînes d’intégration et de déploiement Standardisation des pratiques GitOps sur un socle Kubernetes multi‑environnements Renforcement de l’automatisation et de l’observabilité des plateformes applicatives et data Data / Streaming Accompagnement à la conception et à la standardisation des flux data temps réel Structuration d’un Data Lake orienté streaming et lakehouse Garantie de la performance, de la résilience et de la maintenabilité des flux Domaines d’intervention & compétences clés Socle Kubernetes & DevOps Orchestration : Kubernetes (Namespaces, Ingress, RBAC) GitOps : GitLab CI, Helm, ArgoCD Observabilité : Grafana, Prometheus, Loki, Tempo Sécurité CI/CD : SAST, DAST, Trivy Environnements : OpenStack Écosystème Data & Data Lake Streaming & CDC : Kafka, Debezium Processing : Spark SQL, Airflow Lakehouse : Apache Iceberg Query Engine : Trino (PrestoSQL) Stockage objet : Ceph (ou équivalent) Micro‑services & APIs Runtimes : Java / Quarkus, Python API Management : Kong Protocoles : MQTT (atout) Optimisation des performances applicatives et data Livrables attendus (exemples) Socle & automatisation Mise en place d’architectures ArgoCD (Application of Applications) Catalogue de Charts Helm industrialisés Bibliothèque de pipelines GitLab CI/CD standardisés et sécurisés Data & Streaming Provisionnement automatisé des clusters Kafka et connecteurs Debezium Configuration optimisée de Trino sur stockage objet Mise en place des DAGs Airflow pour l’orchestration des traitements Documentation & MCO Dashboards de supervision avancés Rédaction du Dossier d’Architecture Technique (DAT) Rédaction de Runbooks MCO / PRA Définition de standards techniques et bonnes pratiques cloud native Profil recherché Expérience confirmée (5 à 8 ans minimum) en DevOps, Data Engineer ou Platform Engineer Très bonne maîtrise de Kubernetes et des pratiques GitOps Expérience concrète sur des plateformes Kafka et Data Lake À l’aise dans des contextes SI complexes et structurants Capacité à travailler en collaboration étroite avec équipes de développement, architectes et chefs de projet Autonomie, rigueur, sens de l’industrialisation

Data Engineer Senior afin d’accompagner la conception, l’industrialisation et l’évolution de ses solutions data. Le prestataire interviendra sur les sujets d’architecture, de modélisation, d’optimisation des pipelines et contribuera activement à la stratégie Lakehouse de l’entreprise. Missions principales Concevoir, développer et optimiser des pipelines de données à grande échelle. Mettre en œuvre des flux batch , streaming et ingestion via API . Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold). Développer et industrialiser les pipelines via DBT , Spark et Iceberg . Contribuer à l’évolution de l’architecture Lakehouse de l’entreprise. Déployer et maintenir les pipelines dans un environnement cloud (AWS ou équivalent). Orchestrer les workflows ETL/ELT via Airflow . Mettre en œuvre l’ Infrastructure as Code ( Terraform ). Exécuter les traitements dans des environnements conteneurisés ( Docker , Kubernetes ). Garantir la disponibilité, la supervision et l’observabilité des traitements. Participer à la gestion des incidents et à l’amélioration continue. Définir et mettre en œuvre les règles de qualité des données (tests, validation, contrôles automatisés). Documenter les architectures, pipelines et règles métier. Garantir la conformité des flux, notamment dans le cadre RGPD .

Nous recherchons un Data Engineer pour intervenir chez un acteur majeur du secteur public , dans le cadre du développement de sa plateforme Data & Analytics . Vous évoluerez sur des problématiques de traitement de données à grande échelle , avec des enjeux forts autour de la qualité, de la gouvernance et de la valorisation de la donnée . Missions Développer et maintenir des pipelines de données Big Data Mettre en place des traitements distribués avec Spark Structurer les données dans un DataLake / DataWarehouse Assurer la qualité, la fiabilité et la traçabilité des données Réaliser des analyses de données avancées Construire et suivre des KPI métiers Participer à la valorisation des données pour les équipes métier Contribuer à des cas d’usage type : analyse de parcours détection d’anomalies segmentation de données Optimiser les performances des traitements Environnement technique Spark / PySpark Hadoop (HDFS, Hive…) Airflow Python SQL Git / CI-CD Environnement DataLake

Objectifs et livrables Build Technique (Framework RACE) : Développer les évolutions de la stack de lecture des métadonnées et de déploiement d'API pour la rendre plus automatisée et tendre vers un mode self-service pour l’utilisateur. Support et respect des SLI/SLO : Mettre en place une solution de suivi des SLI automatisée. Garantir la disponibilité et la performance des solutions d'exposition déployées. Accompagnement Utilisateurs : Produire une documentation de référence et guider les équipes dans l'intégration de leurs cas d'usage. Qualité: Garantir le respect des standards de la plateforme pour respecter le niveau de qualité attendu. Mise en place des tests unitaires et d’intégration. Notre stack technique Frameworks : Spring / Spring Boot (Back), Next.js / Angular (Front) Cloud & Infrastructure : AWS, Kubernetes Data & Orchestration : Airflow, Druid, DynamoDB, PostgreSQL (Aurora, Lekabase) CI/CD : GitHub, GitHub Actions Observabilité : Datadog Backlog management : JIRA

Dans le cadre du renforcement d’une équipe technique en charge de plateformes de streaming de données, la mission consiste à intervenir en tant que Lead DevOps senior au sein d’une squad dédiée à plusieurs offres Kafka opérées à la fois on-premise et dans le cloud. Le consultant participera à l’administration avancée des clusters Kafka, aux activités de build et de run, ainsi qu’au support de niveau expert en environnement de production. Il contribuera également au maintien en conditions opérationnelles d’une offre en fin de vie, tout en accompagnant le développement d’une offre stratégique basée sur une approche “Kafka as Code”, incluant l’automatisation du provisioning, le développement d’outils et de pipelines (Python, Terraform, Airflow), et l’intégration CI/CD et GitOps. L’environnement technique repose notamment sur Linux, Docker, Kubernetes et des outils d’automatisation tels qu’Ansible et GitLab CI. Le poste requiert une forte autonomie, une expertise technique solide sur Kafka, ainsi qu’une capacité à intervenir en contexte critique, incluant une participation aux astreintes et à l’amélioration continue des processus d’exploitation et de supervision.