Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow à Lille

Contexte Dans le cadre du développement de l’IA GEN au sein de ces applications, le chapitre DATA Entrepôt de données a en charge de porter les évolutions de pattern liés à la plateforme Data SNOWFLAKE dont il a la responsabilité. Au sein d’une équipe composée d’experts dans le domaine de l’IT et fort de vos expériences d’administration de plateforme SNOWFLAKE , vous aurez pour missions principales de : Missions Concevoir les nouveaux PATTERN nécessaires demandés, sur les périmètres ingestion de données, manipulation de données et restitution, que les données soient structurées ou non structurées, avec les capacités CLOUD, intégrées à SNOWFLAKE ou sur AWS Les mettre en œuvre sur la plateforme France ou à l’international pour qu’ils puissent être utilisés par les équipes DATA IT et métier Accompagner les différentes équipes IT et métier France ou des Business Units dans le déploiement et la prise en main de la plateforme SNOWFLAKE Dans ce contexte, les principales activités : Contribuer aux cadrages des nouveaux besoins techniques des métiers liés à la plateforme SNOWFLAKE Participer à l’évolution de la plateforme Data (gouvernance, contrôles, automatisation, etc) Participer aux choix technologiques de l’offre à mettre en place Analyser les documents d’architecture des assets à faire évoluer et définir les nouveaux PATTERN (architecture fonctionnelle, applicative, technique) Analyser, définir et cadrer les adaptations nécessaires de l’offre proposée Documenter les PATTERN retenus à un niveau plus détaillé, de sorte à la rendre exécutable pour les autres Business Units Accompagner au déploiement de la solution définie auprès de la BU Accompagner à la prise en main de la plateforme Data

Contexte Dans le cadre de la structuration de leur plateforme data, notre client recherche plusieurs profils Data et Flux pour intervenir sur la mise en place et l’optimisation de nos systèmes de gestion de données. Leur environnement technique s’appuie principalement sur : Snowflake (cœur de la plateforme data) AWS (EventBridge, Lambda) Airflow (orchestration des flux) Nous recrutons 4 profils avec des niveaux allant de très junior (sortie d’école) à très sénior (expert / architecte) . Vos missions 🔹 Volet Data Mise en place et structuration des données d’entreprise Contribution à la qualité des données (data quality) Modélisation et gestion des données dans Snowflake Participation aux bonnes pratiques Data (gouvernance, structuration) 🔹 Volet Flux / Data Engineering Développement et gestion des flux de données Mise en place des pipelines (ETL / ELT) Orchestration avec Airflow Intégration et gestion des événements via AWS EventBridge Développement serverless avec AWS Lambda 👉 Environnement orienté industrialisation des flux et qualité de la donnée (le décisionnel n’est pas la priorité à ce stade). INFORMATIONS COMPLEMENTAIRES Mission longue (minimum 1 an) Démarrage : 2 postes en juin 2 postes en septembre Localisation : Lille (59)

Informations Générales Rôle : Architecte Data Date de début : 29/06/2026 Date de fin : 31/12/2026 (Visibilité long terme) Localisation : Lille (Rythme : 3 jours par semaine obligatoires sur site) Tarif cible : 500 € / jour max Contexte et Mission Dans le cadre d'un programme de synergie IT et du développement de l’IA Générative (GenAI) au sein des applications, le chapitre DATA Entrepôt de données a la responsabilité de porter les évolutions de pattern liés à la plateforme Data SNOWFLAKE . Au sein d’une équipe d’experts IT, vos missions principales s'articuleront autour de deux axes : Conception & Mise en œuvre : Imaginer les nouveaux patterns nécessaires (périmètres ingestion, manipulation et restitution de données structurées ou non structurées) en tirant parti des capacités Cloud intégrées à Snowflake ou sur AWS. Vous les déploierez à l'échelle nationale et internationale. Accompagnement : Guider les différentes équipes IT et métiers (locales et filiales) dans le déploiement et la prise en main de la plateforme Snowflake. Activités Principales Cadrage & Architecture : Contribuer au cadrage des nouveaux besoins techniques métiers, analyser les documents d’architecture des assets existants et définir les nouveaux patterns (architectures fonctionnelle, applicative et technique). Évolution de la Plateforme : Participer activement à l’évolution de la plateforme Data (gouvernance, contrôles, automatisation) et aux choix technologiques de l’offre à mettre en place. Documentation & Industrialisation : Documenter les patterns retenus de manière détaillée afin de les rendre directement exécutables par les différentes Business Units. Déploiement & Change Management : Accompagner le déploiement de la solution définie et veiller à la bonne prise en main de la plateforme par les équipes utilisatrices. Compétences techniques requises : Data & Cloud : Architectures Data, Écosystème Snowflake, Services Cloud ( AWS en priorité), Infrastructure as Code ( Terraform ). DevOps & Conteneurisation : Kubernetes / EKS, CI/CD (Gitlab, Artifactory, SonarQube), IDC. Data Ops / MLOps : Airflow, MLFlow, Jupyter, DBT. Langages : SQL, Python, Shell. Sécurité : Forte sensibilité aux problématiques de sécurité des données et aux normes associées.

Vous serez intégré dans une équipe pluridisciplinaire (Data Engineer, DevSecFinOps) Vous travaillerez sur un use case dédié en collaboration avec les équipes Data (tech lead, gouvernance et architectes). Vous devrez avoir une approche FINOPS (Maîtrise et diminution des coûts) BUILD - Interlocuteur lors de la contribution à des projets dans le domaine de la Supply - Conception de solutions en respectant les normes et framework data - Développement, Modélisation sous la gouvernance de l'architecture data - Contribution au développement d'appli - Tests - Reporting RUN : - Maintien en condition opérationnelle de notre périmètre de responsabilité (4 référentiels de données opérationnels (RDO) multi sourceurs, 6 applications) - gestion des incidents - mise en production (via Git) - suivi de flux EXPERTISE : - Montée en compétence sur notre SI et notre domaine de responsabilité

Conception, Développement et Optimisation de Pipelines de Données sur GCP : ○ Concevoir, développer et maintenir des pipelines robustes et performants de collecte, transformation et chargement de données à partir de diverses sources (Oracle, fichiers, APIs, etc.) vers BigQuery et d'autres destinations. ○ Utiliser et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) pour construire des architectures de données scalables et fiables. ○ Assurer l'automatisation des traitements, la gestion des dépendances et l'ordonnancement des jobs de données. ○ Optimiser les performances des pipelines et la consommation des ressources GCP. Modélisation et Gestion des Données : ○ Participer à la conception et à l'évolution des modèles de données dans BigQuery, en collaboration avec les Data Analysts et les équipes métier. ○ Assurer la qualité, la cohérence et l'intégrité des données stockées et mises à disposition. ○ Mettre en place et gérer des stratégies de versioning des schémas de données et de cycle de vie des données. Run Opérationnel, Maintenance et Support N2/N3 : ○ Assurer le support opérationnel de niveau 2/3 du produit Topase dans ensemble (GCP + Solution éditeur). ○ Développer et maintenir des scripts Bash pour l'automatisation des tâches opérationnelles, la supervision des flux, l'extraction/transformation de données et les tâches de maintenance système. ○ Écrire, optimiser et exécuter des requêtes SQL complexes pour l'analyse, la qualification, le diagnostic d'incidents, la manipulation et la restitution de données dans BigQuery et Oracle. ○ Gérer les incidents en collaboration avec l'éditeur et les équipes internes. ○ Participer à la qualification des livraisons de patchs éditeur impactant les flux de données. ○ Gérer les incidents éditeur sur son CRM et participer aux ateliers de suivi.

Le contexte Notre client est une fintech européenne en forte croissance, spécialisée dans le crédit instantané et présente dans plusieurs pays. Sa plateforme 100% digitale traite des millions de dossiers par an et son équipe tech lilloise renforce ses capacités backend avec un Développeur Python Senior capable de prendre ownership sur des sujets critiques dès le premier sprint. V os missions Concevoir et développer des services backend Python robustes et scalables au sein d'une architecture microservices Contribuer à la construction et à l'évolution des pipelines de traitement de données (ETL, orchestration Airflow) Participer à la conception des APIs REST consommées par les équipes produit et les partenaires externes Garantir la qualité du code : tests unitaires, tests d'intégration, code review, documentation Collaborer étroitement avec les équipes Data, DevOps et Product dans un contexte Agile Contribuer aux choix d'architecture et aux décisions techniques en lien avec le Lead Dev Stack technique Langage : Python 3.10+ Frameworks : FastAPI, Django REST Framework Data / Orchestration : Airflow, Pandas, SQLAlchemy Bases de données : PostgreSQL, Redis DevOps / Infra : Docker, Kubernetes, GitLab CI/CD, AWS Qualité : Pytest, Mypy, Ruff Méthodo : Agile Scrum, Git Flow Pourquoi cette mission ? Une scale-up avec une vraie culture engineering, les décisions tech se prennent vite et avec du sens Un périmètre backend riche avec des enjeux de performance, de fiabilité et de sécurité réels Une équipe qui livre en continu sur un produit utilisé par des millions d'utilisateurs en Europe Un contexte freelance en mode ownership : vous venez pour contribuer, pas pour exécuter

Nous étudions uniquement les candidatures qui nous parviennent avec tous les éléments indiqués dans la rubrique "Pour candidater" ci-dessous. Nous cherchons pour notre client grand compte un Data Engineer GCP (Google Cloud Platform) Medium – Produit Data Supply Chain Contexte Intégration dans une équipe produit (PO – Product Owner / PPO – Proxy Product Owner + Data Engineer) pour opérer et faire évoluer une plateforme de prévision d'approvisionnement fournisseurs, en production, à forte volumétrie de données. Missions Conception, développement et optimisation de pipelines ETL/ELT (Extract, Transform, Load – processus de traitement de données) sur GCP (Google Cloud Platform) : BigQuery, Dataflow, Cloud Composer/Airflow, Pub/Sub, Cloud Storage Modélisation et gestion de la qualité des données dans BigQuery Run opérationnel N2/N3 (support technique avancé) : scripting Bash, requêtes SQL (Structured Query Language) complexes, gestion d'incidents Monitoring et alerting des flux de données (Grafana, Looker Studio, ELK Stack – Elasticsearch, Logstash, Kibana) IaC (Infrastructure as Code – gestion de l'infrastructure via du code) avec Terraform Collaboration Agile/Kanban avec les équipes produit et métier Stack technique GCP (Google Cloud Platform) · BigQuery · Oracle · Bash · Terraform · GitLab CI (Intégration Continue) · Grafana · Looker Studio · ELK (Elasticsearch, Logstash, Kibana) · RedHat 9.4 · Azure (périmètre éditeur)

4. Description de la prestation et des missions attendues Le/La Data Engineer sera intégré(e) à l'équipe produit TOPASE NLS et interviendra sur les missions suivantes : 🔹 Conception, développement et optimisation des pipelines de données (GCP) Concevoir, développer et maintenir des pipelines robustes et performants pour la collecte, la transformation et le chargement des données depuis diverses sources (Oracle, fichiers, API, etc.) vers BigQuery et autres cibles. Exploiter et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) afin de construire des architectures data scalables et fiables. Automatiser les traitements, gérer les dépendances et orchestrer les jobs de données. Optimiser les performances des pipelines ainsi que la consommation des ressources GCP. 🔹 Modélisation et gestion des données Participer à la conception et à l'évolution des modèles de données dans BigQuery, en lien avec les Data Analysts et les équipes métiers. Garantir la qualité, la cohérence et l'intégrité des données. Mettre en œuvre des stratégies de versioning des schémas et de gestion du cycle de vie des données. 🔹 Run opérationnel, maintenance et support N2/N3 Assurer le support opérationnel de niveau 2/3 de la solution TOPASE (environnement GCP + solution éditeur). Développer et maintenir des scripts Bash pour automatiser les tâches récurrentes (supervision, traitement de données, maintenance). Rédiger, optimiser et exécuter des requêtes SQL complexes (BigQuery et Oracle) pour l'analyse, le diagnostic d'incidents et la restitution de données. Gérer les incidents en collaboration avec les équipes internes et l'éditeur. Participer à la qualification des livraisons de patchs éditeur impactant les flux de données. Suivre les incidents via le CRM éditeur et contribuer aux comités de suivi. 🔹 Monitoring, logging et alerting Mettre en place et maintenir des dispositifs de supervision des flux de données, de la qualité, des performances et de l'utilisation des ressources (Stackdriver, Grafana, Looker Studio). Définir et implémenter des alertes permettant la détection proactive des anomalies. Concevoir des tableaux de bord pour le suivi des KPI opérationnels et métier. 🔹 Infrastructure as Code (IaC) Contribuer à la définition et à l'implémentation de l'infrastructure data via Terraform. Garantir la reproductibilité et la traçabilité des environnements (Dev, Recette, Pré-prod, Prod). 🔹 Collaboration et conseil Travailler en étroite collaboration avec les équipes Data (Data Scientists, Data Analysts), les Product Owners et les métiers. Proposer des solutions techniques adaptées et conseiller sur les bonnes pratiques en Data Engineering. Participer aux rituels Agile/Kanban de l'équipe produit. 5. Compétences et expériences requises5.1 Expertise technique Cloud GCP : Expertise confirmée des services data (BigQuery, Dataflow, Cloud Storage, Pub/Sub, Composer/Airflow, Stackdriver, Data Catalog). Bases de données : Maîtrise avancée SQL (optimisation, requêtes complexes), expérience sur BigQuery et Oracle 19 (MySQL/PostgreSQL appréciés). Scripting : Excellente maîtrise de Bash (indispensable pour le run). Systèmes : Bonne maîtrise des environnements Linux (RedHat). IaC : Solide expérience avec Terraform. CI/CD : Maîtrise d'un outil comme GitLab CI. Monitoring/Logging : Stackdriver, Grafana, ELK, Looker Studio. Versioning : Git (GitLab). Réseaux : Connaissances solides (TCP/IP, HTTP/S, DNS, load balancing, firewall). Data Engineering : Maîtrise des concepts ETL/ELT, Data Warehouse, Data Lake et streaming. 5.2 Environnement technique TOPASE NLS OS : RedHat Enterprise 9.4 Cloud : Azure (solution éditeur) & GCP (data, monitoring, pipelines) CI/CD : GitLab CI IaC : Terraform Monitoring : Looker Studio, GANTI, Grafana, ELK Bases : Oracle, BigQuery Langage : Bash 5.3 Méthodologies et soft skills Expérience en environnement Agile (Scrum, Kanban). Excellentes capacités d'analyse et de résolution de problèmes, notamment en situation d'incident. Autonomie, proactivité et sens de l'amélioration continue. Bonnes compétences de communication (français courant, anglais technique). Esprit d'équipe et partage des connaissances. Sens des responsabilités, notamment en environnement de production. 5.4 Expérience Minimum 3 ans d'expérience en tant que Data Engineer, idéalement sur GCP. Expérience sur des environnements à forte volumétrie, avec des enjeux de performance, fiabilité et disponibilité.

La mission consiste à : - Exposer les données utiles à l’entreprise pour les analyser et les utiliser afin d’améliorer l’expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l’entreprise - Travailler en lien avec des Data Scientists sur les données qu’il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Formation supérieure en école d’ingénieur, école d’informatique ou Master spécialisé dans la Data Science - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais

Au sein d'un acteur majeur du retail européen, l'équipe Data & IA Marketplace traite des volumes massifs de données issues de vendeurs tiers. L'objectif est d'automatiser la qualification, la classification et l'enrichissement des catalogues produits pour garantir une expérience utilisateur optimale. Le défi réside dans l'industrialisation de modèles complexes au sein d'une architecture Data Mesh en forte croissance. La Stack Technique Langages : Python, Bash. Cloud : GCP (Google Cloud Platform). Orchestration & MLOps : Airflow, Kubeflow, ZenML, MLflow, Vertex AI. Infrastructure & DevOps : Docker, Kubernetes, Terraform, Ansible, Gitlab CI. Data Quality & Feature Store : Great Expectations, Feast. Ta Mission & Ton Impact : Concevoir et maintenir des pipelines MLOps automatisés (CI/CD) pour l'entraînement et le déploiement des modèles en production. Gérer l'infrastructure cloud via Terraform et assurer le versioning complet des modèles et des données. Implémenter le monitoring de performance (détection de drift, latence) et configurer l'alerting pour garantir la fiabilité des solutions. Accompagner les Data Scientists dans l'adoption des meilleures pratiques de développement (code quality, tests, industrialisation). Intégrer des validations de schémas et des filtres de qualité de données au sein des pipelines de production.

Objectifs et livrables Build Technique (Framework RACE) : Développer les évolutions de la stack de lecture des métadonnées et de déploiement d'API pour la rendre plus automatisée et tendre vers un mode self-service pour l’utilisateur. Support et respect des SLI/SLO : Mettre en place une solution de suivi des SLI automatisée. Garantir la disponibilité et la performance des solutions d'exposition déployées. Accompagnement Utilisateurs : Produire une documentation de référence et guider les équipes dans l'intégration de leurs cas d'usage. Qualité: Garantir le respect des standards de la plateforme pour respecter le niveau de qualité attendu. Mise en place des tests unitaires et d’intégration. Notre stack technique Frameworks : Spring / Spring Boot (Back), Next.js / Angular (Front) Cloud & Infrastructure : AWS, Kubernetes Data & Orchestration : Airflow, Druid, DynamoDB, PostgreSQL (Aurora, Lekabase) CI/CD : GitHub, GitHub Actions Observabilité : Datadog Backlog management : JIRA

Dans le cadre de sa transformation digitale, notre client, grand acteur du retail, cherche à renforcer son équipe produit Data pour faire évoluer une plateforme stratégique de gestion et d’optimisation des approvisionnements. Cette plateforme traite des volumétries importantes de données et joue un rôle clé dans la prise de décision métier . 🎯 Vos missions Intégré(e) à une équipe produit agile, vous intervenez sur : 🔧 Data Engineering (GCP) Conception et développement de pipelines ETL/ELT Traitement et intégration de données (APIs, fichiers, bases) Optimisation des performances sur BigQuery Orchestration des flux (Airflow / Composer) 🛠️ Run & support Analyse et résolution d’incidents (N2/N3) Écriture de scripts Bash pour automatisation Requêtes SQL complexes pour diagnostic et exploitation 📊 Data & monitoring Garantie de la qualité et cohérence des données Mise en place de monitoring et alerting (Grafana, outils GCP) Création de dashboards de suivi ☁️ Infrastructure & industrialisation Participation à l’IaC (Terraform) Contribution à la CI/CD (GitLab CI) Amélioration continue des pipelines et process 🧰 Environnement technique Cloud : GCP (BigQuery, Dataflow, Pub/Sub, Composer) Data : SQL avancé, ETL/ELT Scripting : Bash CI/CD & IaC : GitLab CI, Terraform Monitoring : Grafana, outils GCP Bases de données : BigQuery, Oracle OS : Linux