Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Votre recherche renvoie 61 résultats.
CDI

Offre d'emploiSenior Data Analyst

█ █ █ ██ █ █
Publiée le
Apache Spark
BigQuery
Data analysis

Grand Londres, Royaume-Uni

Offre importée

Offre issue du marché tech, identifiée automatiquement pour vous donner une vue complète des opportunités.

Accès restreint à la communauté

Rejoignez notre plateforme pour accéder aux détails de cette offre et obtenir un accès aux meilleures offres du marché.

Voir cette offre
Freelance

Mission freelanceOps - Dataiku - Data Engineering, DevOps ou DataOps  Vitrolles

WorldWide People
Publiée le
Dataiku

6 mois
Vitrolles, Provence-Alpes-Côte d'Azur
Ops - Data Engineering, DevOps ou DataOps Vitrolles ASAP Missions principales Assurer le maintien en conditions opérationnelles des plateformes Data. Gérer les incidents et les demandes des équipes projets et des utilisateurs. Participer à l'automatisation et à l'industrialisation des solutions. Réaliser les déploiements sur les différents environnements (intégration, préproduction, production). Contribuer à l'amélioration continue des outils d'exploitation et de déploiement. Participer au troubleshooting et à l'optimisation des performances des plateformes. Compétences requises Administration Dataiku Administration et optimisation Starburst / Trino Control-M (création de jobs, calendriers, dépendances, profiles de connexion) Cloud Public : AWS et/ou Azure DevOps et automatisation des déploiements Gestion des environnements de production critiques Compétences appréciées CI/CD Apache Airflow Kubernetes GitLab Grafana Power BI Docker Connaissances Agile / Scrum Notions de cryptographie Profil recherché Formation Bac+5 en informatique, systèmes d'information ou équivalent. Expérience de 3 à 7 ans dans des environnements Data Engineering, DevOps ou DataOps. Bonne capacité d'analyse et de résolution d'incidents. Autonomie, rigueur et esprit d'équipe. Appétence pour les environnements Big Data et Cloud. 2 seniors 2 confirmés
Voir cette offre
Freelance
CDI

Offre d'emploiTech lead Data & Retrieval – IA Générative / RAG F/H

SMARTPOINT
Publiée le
IA Générative
Large Language Model (LLM)
Python

1 an
55k-85k €
500-680 €
Île-de-France, France
Au sein d'une équipe spécialisée en Data et Intelligence Artificielle, vous intervenez sur des problématiques à forte dimension technique autour de la gestion de données, de l'Information Retrieval et de l'IA générative. Votre mission consiste à concevoir et industrialiser les pipelines permettant de collecter, transformer, indexer et rechercher de grands volumes de données, afin d'alimenter des applications basées sur les LLM et les architectures RAG. Vous serez également impliqué dans les choix d'architecture, l'amélioration de la pertinence des recherches et l'industrialisation des solutions en production. Vos principales missions Data Engineering & Indexation Concevoir et industrialiser des pipelines d'ingestion de données provenant de sources hétérogènes. Mettre en œuvre les traitements de parsing, nettoyage, normalisation et chunking. Concevoir et maintenir des systèmes d'indexation à grande échelle. Mettre en œuvre des bases vectorielles et des embeddings. Garantir la qualité, la fraîcheur, la traçabilité et la scalabilité des données et des index. Retrieval & RAG Concevoir des stratégies de recherche sémantique et hybride. Combiner recherche lexicale (BM25), embeddings, filtrage et reranking. Mettre en place des indicateurs de pertinence : Recall, Precision, nDCG, MRR. Optimiser les mécanismes de Retrieval alimentant les LLM et architectures RAG. Travailler sur la gestion du contexte, la déduplication et la qualité des résultats. Architecture & qualité Participer aux choix techniques et à l'évolution de la stack Data/IA. Mettre en place les bonnes pratiques de développement : Clean Code, SOLID, tests automatisés. Assurer l'observabilité des pipelines et des services. Contribuer à la sécurité et à la conformité des données. Accompagner techniquement les équipes et partager les bonnes pratiques. Environnement technique Indispensable : Python 3.11+ Data Engineering / Information Retrieval Embeddings / NLP Recherche sémantique et hybride RAG / LLM Bases vectorielles : Qdrant, Weaviate, pgvector, OpenSearch PostgreSQL Tests avec Pytest Environnement apprécié : LangChain OpenAI, Mistral, Amazon Bedrock BM25 / reranking Kafka Redis Airflow / Spark Docker / Kubernetes CI/CD Go ou Java
Voir cette offre
Freelance
CDI

Offre d'emploiIngénieur Devops

Deodis
Publiée le
Ansible
Kubernetes
Terraform

12 mois
43k-48k €
430-450 €
Sophia Antipolis, Provence-Alpes-Côte d'Azur
Sur site à Sophia Antipolis, 2/3 jours de TT / semaine Au sein du Pôle Institutions, Economie, Lutte Contre la Fraude de la BU Digital platforms, vous avez pour mission de garantir le maintien en conditions opérationnelles et l'infogérance du socle technique de la DataPlateforme, en respectant les engagements contractuels (SLA, disponibilité, GTI/GTR) et en assurant : • La mise en place et l'administration des environnements (dev, recette, production), • La supervision et la sécurité de l'infrastructure (Kubernetes, Postgres, Kafka/Debezium, Airflow, S3, réseau, Grafana, Keycloak, Teleport, Forgejo, gateway Power BI…), • La gestion des incidents infrastructurels et l'implémentation des patchs de sécurité, • Les sauvegardes / restaurations et la mise en œuvre du PRA/PCA, • L'exposition technique des données IRIS vers la DataPlateforme (flux, APIs, CDC), • La production du reporting technique et des indicateurs SLA. Pour l'exploitation et le maintien en conditions opérationnelles du socle DataPlateforme, vos actions sont les suivantes : • Administrer le cluster Kubernetes (nœuds, pods, scheduler, autoscaling). • Administrer et superviser PostgreSQL (instances, sauvegardes, réplications, restaurations). • Administrer les composants Kafka / Debezium (connecteurs, topics) et Airflow (scheduler, workers). • Administrer le stockage objet S3 et les composants réseau associés (NAT, load balancers). • Gérer les outils de supervision et de logs (Grafana, Prometheus, Loki/ELK/OpenSearch…). • Mettre en œuvre et suivre les sauvegardes, les plans de restauration et le PRA/PCA selon la convention de services. • Appliquer les patchs de sécurité et opérations de durcissement sur les composants infra. Pour la supervision, l'alerting et la gestion des incidents, vos actions sont les suivantes : Mettre en place et maintenir les mécanismes de supervision et d'alerting sur l'ensemble des composants DataPlateforme. Assurer la surveillance proactive des performances, de la disponibilité et des capacités (CPU, RAM, stockage). Prendre en charge les incidents infrastructurels : Analyse technique, diagnostic des causes racines, Mise en œuvre des actions de correction ou de contournement, Respect des SLA (GTI/GTR) définis par la convention de services. Documenter les incidents, les actions menées et les solutions dans l'outil de ticketing. Pour l'exposition technique des données IRIS vers la DataPlateforme, vos actions sont les suivantes : Assurer la mise à disposition technique des données IRIS vers la DataPlateforme (CDC, APIs, flux). Participer à la conception et à la maintenance des flux techniques (Debezium, Kafka, API) en coordination avec les équipes projet. · Produire, en lien avec l'équipe projet, les analyses d'impacts techniques des évolutions IRIS sur les consommateurs (dont DataPlateforme) · Garantir l'intégrité et la stabilité des flux techniques en production, en cohérence avec les engagements contractuels. Pour l'exposition technique des données IRIS vers la DataPlateforme, vos actions sont les suivantes : Concevoir et mettre en œuvre l'automatisation des déploiements et des opérations courantes : Utilisation de Terraform et Ansible pour l'infrastructure, Utilisation d'ArgoCD ou équivalent pour la chaîne de déploiement sur Kubernetes. Contribuer aux pipelines de CI/CD pour les composants infrastructurels de la DataPlateforme. Participer à l'industrialisation des procédures (déploiement, monitoring, alerting, PRA) et à leur documentation. Sur le reporting, les SLA, et les relations avec l'AGS, vos actions sont les suivantes : Produire les indicateurs mensuels : disponibilité, GTI/GTR, incidents, capacité. Préparer et présenter les reportings techniques en comité de pilotage (en lien avec le directeur de projet). Proposer des plans d'actions en cas de non-performance (indicateurs en dessous des objectifs, incidents récurrents). Contribuer aux mises à jour de la convention de services, du PAQ et des documents de référence techniques. Sur la sécurité et la conformité, vos actions sont les suivantes : Mettre en œuvre les politiques de sécurité infra (pare-feu, réseau, IAM technique). Paramétrer et administrer Keycloak / Teleport pour les accès administratifs et techniques à la DataPlateforme. Contribuer aux audits techniques de sécurité (journaux, traces, conformité des accès). S'assurer de la conformité des pratiques aux exigences de sécurité AGS et aux engagements contractuels.
Voir cette offre
Freelance
CDI

Offre d'emploiIngénieur ITOps DataOps

VISIAN
Publiée le
Kubernetes
Python

1 an
Île-de-France, France
MissionsAu sein d'une organisation Agile et DevOps, l'ITOps est le garant de l'exploitabilité, de la disponibilité et de la résilience des solutions IT, il accompagne les équipes projets dans l'intégration des exigences de production, de sécurité et d'infrastructure tout au long du cycle de vie des applications et plateformes. En complément, la dimension DataOps consiste à assurer le déploiement et l'architecture Data autour des solutions Databricks & Dataiku. Le rôle consiste à garantir la stabilité, la performance et la sécurité des environnements, en collaboration avec les équipes techniques et métiers de la direction Data & IA d'une grande entreprise du secteur financier. Attention : nous ne recherchons pas un Data Engineer ni quelqu'un ayant simplement exploité ces solutions en tant qu'end user, mais un profil ITOps possédant de l'expérience dans le déploiement et l'industrialisation de solutions Data, notamment Databricks et/ou Dataiku. Responsabilités principalesAdministrer les environnements Databricks et Dataiku : gestion des clusters, sécurité et gouvernance (Databricks Azure, Dataiku on prem) Automatiser le déploiement et la configuration IaC Administrer des environnements Airflow, Starburst … et rétablir le service en cas d'incident Assurer la fiabilité, l'intégrité et la qualité de la plateforme en production Participer à la conception d'architectures data end-to-end (ingestion, stockage, transformation, exposition) et anticiper les impacts sur la production
Voir cette offre
Freelance

Mission freelanceData Engineer Senior

Keypeople Consulting
Publiée le
Amazon S3
AWS Cloud
AWS Glue

12 mois
400-480 €
Paris, France
Nous recherchons actuellement un(e) Data Engineer Senior pour accompagner une équipe Data sur des sujets à forts enjeux autour de la Data Engineering, du Big Data et des architectures Lakehouse. 🔎 1 Data Engineer Senior 🎯 Missions principales : · Concevoir, développer et optimiser des pipelines de données à grande échelle · Mettre en œuvre des flux batch, streaming et ingestion via API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Développer et industrialiser les pipelines avec DBT, Spark et Iceberg · Contribuer à l'évolution et à l'optimisation de l'architecture Lakehouse · Déployer et maintenir les pipelines dans un environnement Cloud AWS · Orchestrer les workflows ETL / ELT avec Airflow · Mettre en œuvre l'Infrastructure as Code avec Terraform · Travailler sur des environnements conteneurisés avec Docker / Kubernetes · Garantir la disponibilité, la supervision et l'observabilité des traitements · Participer à la gestion des incidents et à l'amélioration continue · Définir et mettre en œuvre les règles de qualité des données : tests, validations et contrôles automatisés · Documenter les architectures, pipelines et règles métier · Garantir la conformité des flux, notamment dans le respect des exigences RGPD ⚙️ Environnement technique : · DBT / Data Catalog · Apache Spark · Apache Iceberg · AWS : Glue, EMR, S3… · Terraform · Airflow · Python · Trino / Starburst · Datadog · Docker / Kubernetes · Architectures Big Data / Lakehouse · Modélisation et collecte de données 🧑‍💻 Profil recherché : · Minimum 8 ans d'expérience en Data Engineering · Expertise confirmée des architectures Big Data et Lakehouse · Très bonne maîtrise de DBT, Spark, Iceberg, AWS et Terraform · Solide expérience sur les services AWS, notamment Glue, EMR et S3 · Connaissance de Trino / Starburst et Datadog · Bon niveau en Python · Forte capacité d'analyse et de compréhension des enjeux métiers · Expérience dans l'accompagnement et l'encadrement de profils juniors · Autonomie, rigueur et forte culture de l'amélioration continue 🌍 Contexte : · Environnement Data à grande échelle · Projets autour de la modernisation et de l'industrialisation des plateformes Data · Forts enjeux Lakehouse, Data Quality, Observabilité et Cloud · Collaboration avec des équipes Data, IT et métiers 📍 Localisation : Île-de-France – Hybride 🏠 Télétravail : 3 jours par semaine 📅 Démarrage : fin août 2026 💼 Mission longue durée Si vous êtes intéressé(e) ou connaissez un(e) Data Engineer Senior correspondant à ce profil, n'hésitez pas à me contacter en MP ou directement par téléphone. Cordialement,
Voir cette offre
Freelance

Mission freelanceData Engineer Big Data / PySpark

DATAMED RESEARCH
Publiée le
Kubernetes

1 an
400-490 €
Île-de-France, France
Contexte: Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer confirmé(e) pour intervenir sur une plateforme Big Data dédiée à la collecte, au traitement et à l'exploitation de données à grande échelle. Vous intégrerez une équipe en charge de la mise à disposition de données fiables et exploitables pour les équipes Data et participerez activement à l'évolution d'une plateforme moderne reposant sur des architectures distribuées et des technologies Cloud Native. Vos missions: Concevoir, développer et maintenir des pipelines de traitement de données avec PySpark / Spark. Préparer, nettoyer et mettre à disposition des jeux de données destinés aux équipes Data. Développer des indicateurs de performance (KPI) et des tableaux de bord sous Tableau. Superviser et maintenir une plateforme Big Data fonctionnant sur Kubernetes / OpenShift. Diagnostiquer et résoudre les incidents techniques liés aux traitements de données et aux applications. Participer à l'évolution des traitements Spark et des datasets. Déployer et maintenir les applications via Helm. Administrer les composants de la plateforme (Airflow, MinIO, MySQL, JupyterHub, etc.). Gérer les environnements de déploiement continu avec GitLab. Participer à l'administration du Data Lake (stockage, utilisateurs, règles de gestion). Contribuer à l'amélioration continue des performances, de la sécurité et de la disponibilité de la plateforme. Environnement technique : Python PySpark Apache Spark Scala Pandas Hadoop / HDFS Tableau Software Kubernetes OpenShift Helm GitLab Docker Airflow MinIO MySQL Data Lake Parquet
Voir cette offre
Freelance

Mission freelanceData Scientist expérimenté / IA H/F

LeHibou
Publiée le
BigQuery
Dataiku
Docker

12 mois
550 €
Paris, France
Contexte Dans le cadre de sa transformation data et digitale, une institution financière souhaite renforcer son département Data Science, en charge de la conception, du développement, de l'industrialisation, du suivi, de la documentation et de l'amélioration continue des modèles de Data Science et d'IA à forte valeur métier. La mission s'inscrit dans un environnement réglementé, avec des exigences de conformité et de gouvernance incluant notamment le RGPD, l'anonymisation des données, DSP2, IDD, Solvency II, Bâle IV ainsi que les principes de sécurité, de traçabilité et de confidentialité applicables aux traitements de données. Les cas d'usage couverts incluent notamment la détection de fraude, la modélisation des valeurs résiduelles, le data lineage IA, les agents IA, ainsi que des sujets marketing et d'optimisation du parcours client. Parmi les priorités figure un projet de moteur d'offres personnalisées / personnalisation CRM, avec un objectif d'industrialisation, de réutilisation et de déploiement potentiel dans d'autres pays. Mission La prestation vise à renforcer l'équipe Data Science avec un profil capable d'accompagner des projets Data Science et IA, avec un focus prioritaire sur les sujets marketing, connaissance client et personnalisation CRM. Le consultant interviendra sur la conception, le développement, l'évaluation, l'industrialisation et le suivi de modèles de Data Science et d'IA. Il devra produire des solutions robustes, explicables, industrialisables et réutilisables, tout en garantissant leur performance, leur traçabilité et leur conformité aux standards internes. La mission portera en priorité sur le MVP France du moteur d'offres personnalisées / personnalisation CRM, construit à partir des données disponibles pour la France, avec un objectif d'appropriation par les équipes internes. Un second périmètre optionnel pourra couvrir l'extension à d'autres pays ainsi que d'autres cas d'usage marketing et connaissance client. Principales responsabilités Intervenir de manière autonome sur des cas d'usage complexes, du cadrage métier à l'industrialisation Réaliser l'exploration, l'analyse, la qualité et la préparation des données ainsi que la constitution des jeux d'apprentissage, de validation et de test Concevoir, entraîner, comparer et évaluer des modèles de Machine Learning, statistiques ou d'IA avec des métriques adaptées Développer des cas d'usage de marketing analytique et personnalisation CRM : moteur d'offres personnalisées, scoring d'appétence, ciblage de campagnes, segmentation client, recommandation produit, next best action / next best offer, mesure de performance marketing et optimisation de la conversion des leads Produire du code structuré, maintenable et documenté et préparer les modèles pour la mise en production Mettre en place des indicateurs de monitoring des performances, dérives de données, dérives de modèles, qualité et stabilité des traitements Concevoir des solutions réutilisables, documentées et industrialisables, intégrables dans des processus CRM ou commerciaux Garantir l'explicabilité, la traçabilité, l'auditabilité, l'identification des biais et la conformité aux standards internes Collaborer avec les équipes métier, Product Owners, Data Engineers, Architectes, équipes IT, Gouvernance et Sécurité Participer aux instances de suivi, assurer le transfert de compétences et restituer clairement résultats, limites et recommandations Environnement technique Langages : Python, SQL Cloud / Data : GCP, BigQuery, Vertex AI Data Science : Dataiku Orchestration : Airflow Versioning : Git Restitution : Looker Industrialisation : CI/CD, DevOps, MLOps, Docker Conformité et gouvernance : RGPD, anonymisation des données, explicabilité, auditabilité, monitoring ML Livrables attendus Analyses et diagnostics de données Scripts, notebooks, traitements ou composants analytiques documentés Modèles Data Science / IA entraînés, évalués et documentés Éléments d'explicabilité, de monitoring et de suivi des risques modèles lorsque pertinent Supports d'industrialisation, de mise en production et de suivi Documentation de transfert de compétences et recommandations d'amélioration continue Supports de restitution aux parties prenantes métier et techniques Livrables en anglais pour les éléments destinés à être partagés à l'international Compétences / Qualités indispensables : Python, SQL, Machine Learning / IA, GCP (BigQuery, Vertex AI), Dataiku, MLOps / industrialisation Compétences / Qualités qui seraient un + : Expérience en environnement bancaire, financier ou réglementé ; expérience en marketing analytique et personnalisation CRM
Voir cette offre
Freelance
CDI

Offre d'emploi MLOps / AI Platform Engineer (AWS | GCP | Terraform | Kubernetes)

OMICRONE
Publiée le
AI
AWS Cloud
Google Cloud Platform (GCP)

2 ans
40k-45k €
400-550 €
Île-de-France, France
🚀 Opportunité – MLOps / AI Platform Engineer (AWS | GCP | Terraform | Kubernetes) Dans le cadre du renforcement d'une équipe dédiée aux plateformes IA, nous recherchons un(e) MLOps / AI Platform Engineer passionné(e) par les environnements Cloud, l'automatisation et les technologies d'Intelligence Artificielle. 📍 Localisation À définir (mode hybride selon le client) 📅 Démarrage ASAP 🎯 Vos missions En tant que MLOps / AI Platform Engineer, vous contribuerez à la conception, l'industrialisation et l'évolution d'une plateforme IA moderne. Vos principales responsabilités : Concevoir et faire évoluer des architectures IA robustes sur des environnements AWS et Google Cloud Platform (GCP). Déployer et maintenir les infrastructures via Terraform (Infrastructure as Code). Industrialiser les environnements IA et garantir leur cohérence entre les différents Clouds. Concevoir, maintenir et optimiser les pipelines CI/CD afin d'automatiser les déploiements. Administrer et optimiser les plateformes conteneurisées basées sur Docker et Kubernetes. Participer à la mise en œuvre des solutions MLOps autour de Databricks, MLflow et Airflow. Définir les standards techniques, bonnes pratiques, templates et documentations de la plateforme. Assurer une veille technologique active autour du Cloud, de l'IA et de l'IA Générative. Accompagner les équipes techniques et métiers dans l'adoption des solutions et partager votre expertise. 🛠 Stack technique Cloud AWS Google Cloud Platform (GCP) Infrastructure & DevOps Terraform Git CI/CD Docker Kubernetes Data & MLOps Databricks MLflow Apache Airflow 👤 Profil recherché Minimum 4 ans d'expérience sur un poste de : MLOps Engineer ML Engineer Platform Engineer DevOps Engineer Solide expérience sur AWS et/ou GCP. Maîtrise de Terraform et des approches Infrastructure as Code. Expérience significative avec les pipelines CI/CD. Bonne connaissance des environnements Kubernetes et Docker. Expérience des outils MLOps (MLflow, Databricks, Airflow) appréciée. Excellentes capacités de communication et de vulgarisation technique. Esprit collaboratif, autonomie et sens du service. Anglais professionnel indispensable. ⭐ Les plus Expérience sur des plateformes IA à grande échelle. Connaissances en IA Générative (GenAI). Forte culture DevOps et automatisation. Goût pour la veille technologique et l'innovation.
Voir cette offre
CDI

Offre d'emploiCHEF DE PROJET BI / DATA (H/F)

Savane Consulting
Publiée le

55k-65k €
Gennevilliers, Île-de-France
Contexte du poste Dans le cadre de la transformation de son système d'information, notre client fait évoluer sa plateforme BI traditionnelle vers une plateforme Data Big Data et souhaite accompagner cette transformation par la mise en place de nouveaux usages autour de la donnée. Au sein de la DSI, vous rejoignez une équipe dédiée aux projets BI / Data et intervenez à la fois sur le pilotage des projets, l'AMOA, la conception fonctionnelle et le suivi des solutions en production. Vous travaillez en étroite collaboration avec les équipes métiers, les équipes Data et les prestataires externes, dans un environnement Agile. Missions principales Pilotage des projets BI / Data Réaliser les études d'opportunité et cadrer les projets avant décision Go / No Go. Piloter les projets de bout en bout : planning, budget, risques, qualité et coordination des contributeurs. Animer les comités projet et assurer le reporting auprès des parties prenantes. Coordonner les équipes métiers, techniques et les prestataires externes. Élaborer et suivre les charges projet en jours/homme. Analyse fonctionnelle et conception Data Recueillir et analyser les besoins métiers lors d'ateliers de cadrage. Traduire les besoins métiers en exigences fonctionnelles et techniques. Rédiger les expressions de besoins, spécifications fonctionnelles et User Stories. Construire et suivre le backlog produit ainsi que les sprints et releases. Participer à la définition des règles de gestion. Concevoir les Data Products : ingestion, modélisation et intégration au sein de la plateforme Data. Garantir la cohérence, la performance, l'exploitabilité et la continuité des solutions. Tests et déploiement Concevoir les scénarios et cas de tests. Réaliser les tests unitaires et d'intégration. Accompagner les métiers lors des phases de recette. Piloter les mises en production et accompagner les déploiements. Organiser la conduite du changement et, si nécessaire, former les utilisateurs. RUN et amélioration continue Assurer le maintien en condition opérationnelle des applications. Analyser les incidents et dysfonctionnements et proposer des actions correctives et préventives. Suivre et prioriser le backlog des évolutions. Assurer l'interface avec les équipes d'exploitation. Capitaliser la connaissance fonctionnelle et contribuer à l'amélioration continue des solutions. Gestion des partenaires et reporting Superviser les interventions des prestataires externes. Participer à la sélection et au pilotage des intervenants. Mettre en place des indicateurs de suivi : délais, coûts, qualité et satisfaction. Assurer un reporting régulier auprès du management. Environnement technique Data & Big Data : Kafka, Confluent Cloud, NiFi, Spark, Scala, Iceberg, Starburst, Kudu, Hadoop Data Platform : Cloudera, Databricks, Dataiku Orchestration : Airflow / Astronomer BI & Reporting : Power BI, SAP BI, Business Objects Bases de données : SQL Server, T-SQL Data Engineering : Data Warehouse, Data Mart, modélisation de données, ETL
Voir cette offre
Freelance

Mission freelanceExpert Data Quality

Cherry Pick
Publiée le
Data quality
DBT

8 mois
600-650 €
Paris, France
Langues : Français courant, Anglais professionnel Contexte de la Mission Le client opère une plateforme Data Lakehouse pour ses activités de banque et d'assurance à travers 9 pays européens. L'architecture "médaillon" repose sur une stack moderne et code-centric (Snowflake, DBT, Airflow MWAA, AWS, Collibra, Elementary). Aujourd'hui, la qualité des données est assurée par des tests techniques (DBT tests, Elementary). L'enjeu de cette mission est de pallier le manque d'un framework structuré couvrant l'ensemble des dimensions de qualité, les besoins métiers et les fortes exigences d'audit. Le consultant devra notamment adresser deux recommandations d'audit : définir des KPIs centraux croisés sur l'ensemble des pays (JV) et évaluer/déployer un outil central de monitoring de la Data Quality. Objectifs & Phases du Projet La mission s'articule autour de la structuration d'un Data Quality Framework Cadrage et Définition : Récupération du framework historique, inventaire des pistes d'audit, définition des KPIs centraux cross-JV et évaluation de l'Open Data Contract Standard (ODCS). Structuration & Outils : Benchmark et recommandation d'outils DQ (Elementary, Snowflake DMF/Cortex, Dataiku, Great Expectations). Implémentation : Mise en place de data contracts sur 3 couches (Standard, Target, Business) et développement de contrôles métiers auditables. Industrialisation : Déploiement de tableaux de bord DQ cross-JV (Power BI), gestion structurée des rejets et implémentation de quality gates dans le CI/CD. Innovation & Transfert : Exploration de solutions IA pour la Data Quality (Snowflake Cortex, Dataiku), documentation complète et transfert de compétences aux équipes internes. Environnement Technique Le socle technique est orienté "code-centric". La solution DQ proposée devra s'aligner sur ce principe (Git, DBT, Airflow, CI/CD). Technologie Usage dans le cadre du projet Snowflake Data warehouse, métriques DQ, DMF (complément IA) DBT + Elementary Tests DQ, observabilité, détection d'anomalies Apache Airflow (MWAA) Orchestration, alerting, SLA AWS Ingestion multi-sources (S3, Glue, DMS, AppFlow) Collibra Gouvernance, catalogage des règles DQ Power BI Dashboards qualité (IT et métier) Git / CI-CD TeamCity, GitHub Actions, Quality gates Python Scripts, intégrations API Profil Recherché Nous recherchons un profil Senior (5 ans d'expérience minimum en Data Engineering / Data Quality) doté d'une forte vision architecturale et d'une rigueur liée aux contextes réglementaires. Compétences techniques exigées : Expertise : Data Quality (frameworks, dimensions DAMA, data contracts, scoring). Niveau Avancé : DBT (tests, macros, Elementary, dbt-expectations) et Snowflake (SQL avancé, monitoring, DMF). Niveau Confirmé : Apache Airflow (DAGs, sensors, SLA, alerting), Python, Git et CI/CD. Les petits plus (Nice-to-have) : Expérience pratique avec les Data Contracts (idéalement ODCS). Connaissance des solutions Snowflake Cortex Data Quality / DMF, ou d'outils comme Great Expectations / Soda. Connaissance de Collibra (module data quality). Expérience des exigences réglementaires bancaires (BCBS 239, DORA) et/ou environnement multi-pays.
Voir cette offre

Au service des talents IT

Free-Work est une plateforme qui s'adresse à tous les professionnels des métiers de l'informatique.

Ses contenus et son jobboard IT sont mis à disposition 100% gratuitement pour les indépendants et les salariés du secteur.

Free-workers
Ressources
A propos
Espace recruteurs
2026 © Free-Work / AGSI SAS
Suivez-nous