Nous recherchons actuellement un(e) Data Engineer Senior pour accompagner une équipe Data sur des sujets à forts enjeux autour de la Data Engineering, du Big Data et des architectures Lakehouse. 🔎 1 Data Engineer Senior 🎯 Missions principales : · Concevoir, développer et optimiser des pipelines de données à grande échelle · Mettre en œuvre des flux batch, streaming et ingestion via API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Développer et industrialiser les pipelines avec DBT, Spark et Iceberg · Contribuer à l'évolution et à l'optimisation de l'architecture Lakehouse · Déployer et maintenir les pipelines dans un environnement Cloud AWS · Orchestrer les workflows ETL / ELT avec Airflow · Mettre en œuvre l'Infrastructure as Code avec Terraform · Travailler sur des environnements conteneurisés avec Docker / Kubernetes · Garantir la disponibilité, la supervision et l'observabilité des traitements · Participer à la gestion des incidents et à l'amélioration continue · Définir et mettre en œuvre les règles de qualité des données : tests, validations et contrôles automatisés · Documenter les architectures, pipelines et règles métier · Garantir la conformité des flux, notamment dans le respect des exigences RGPD ⚙️ Environnement technique : · DBT / Data Catalog · Apache Spark · Apache Iceberg · AWS : Glue, EMR, S3… · Terraform · Airflow · Python · Trino / Starburst · Datadog · Docker / Kubernetes · Architectures Big Data / Lakehouse · Modélisation et collecte de données 🧑💻 Profil recherché : · Minimum 8 ans d'expérience en Data Engineering · Expertise confirmée des architectures Big Data et Lakehouse · Très bonne maîtrise de DBT, Spark, Iceberg, AWS et Terraform · Solide expérience sur les services AWS, notamment Glue, EMR et S3 · Connaissance de Trino / Starburst et Datadog · Bon niveau en Python · Forte capacité d'analyse et de compréhension des enjeux métiers · Expérience dans l'accompagnement et l'encadrement de profils juniors · Autonomie, rigueur et forte culture de l'amélioration continue 🌍 Contexte : · Environnement Data à grande échelle · Projets autour de la modernisation et de l'industrialisation des plateformes Data · Forts enjeux Lakehouse, Data Quality, Observabilité et Cloud · Collaboration avec des équipes Data, IT et métiers 📍 Localisation : Île-de-France – Hybride 🏠 Télétravail : 3 jours par semaine 📅 Démarrage : fin août 2026 💼 Mission longue durée Si vous êtes intéressé(e) ou connaissez un(e) Data Engineer Senior correspondant à ce profil, n'hésitez pas à me contacter en MP ou directement par téléphone. Cordialement,
Notre client, acteur majeur du secteur de l'énergie, renforce son équipe Data afin d'accompagner la transformation et la modernisation de son écosystème de données. Au sein d'une équipe d'expertise Data, vous interviendrez sur la conception, l'évolution et l'automatisation de chaînes de traitement de données, dans un contexte de migration progressive vers une nouvelle Data Platform. L'objectif est notamment de reprendre des traitements existants, de migrer les flux historiques vers la plateforme cible et de développer de nouveaux besoins Data exprimés par les métiers. La mission nécessite une opérationnalité immédiate : vous serez amené(e) à reprendre des chaînes de traitement existantes et à intervenir directement sur des sujets métier en cours. Missions : Concevoir et développer des pipelines d'ingestion et de transformation de données complexes et/ou volumineuses ; Construire les tables et modèles de données destinés aux utilisateurs de la Self-BI ; Développer principalement en SQL sur Snowflake et dbt ; Utiliser Python pour certains traitements spécifiques ; Mettre en place et maintenir l'orchestration des traitements avec Airflow ; Optimiser les traitements afin de garantir leur performance sur de très gros volumes de données ; Respecter les principes d'urbanisation et les standards de la Data Platform. Les données traitées peuvent représenter des volumétries très importantes, jusqu'à plusieurs dizaines de milliards de lignes. Modélisation et valorisation des données Une partie importante de la mission consiste à accompagner la migration de traitements historiques vers la nouvelle Data Platform. À ce titre, vous serez amené(e) à : Lire, comprendre et reprendre des flows Dataiku DSS existants ; Analyser les traitements historiques développés sur Oracle Exadata ; Participer à leur migration vers Snowflake / dbt ; Garantir la continuité et la cohérence fonctionnelle des traitements migrés ; Documenter les travaux de migration ; Identifier les éventuels écarts ou adaptations nécessaires. La plateforme cible repose principalement sur Snowflake, dbt et Airflow, tandis que certains traitements historiques doivent encore être repris depuis Dataiku DSS et Oracle Exadata.
La mission consiste à intervenir en tant qu'Ingénieur Data dans le cadre d'un programme majeur de transformation du système d'information pour un acteur du secteur bancaire. Le programme inclut la modernisation de la plateforme data existante, la migration vers une nouvelle cible décisionnelle basée sur Snowflake et l'industrialisation de nouveaux usages data à forte valeur métier. Le consultant participera à la conception, au développement, au pilotage et à la livraison de datamarts décisionnels, à la migration des usages Talend vers DBT, ainsi qu'à l'alimentation des données brutes vers Snowflake. Il interviendra sur l'ensemble du cycle de vie des usages, depuis l'analyse des besoins métier jusqu'aux développements, tests, mise en production, documentation et suivi post-déploiement.
Votre rôle au sein de NSI Dans le cadre du renforcement de son équipe Data, un acteur majeur du secteur bancaire recherche un Data Engineers expérimenté H.F pour contribuer à l'évolution de son Data Lake et au déploiement de nouveaux cas d'usage sur la plateforme Databricks. Descriptif des missions Développer et maintenir des pipelines de données batch et temps réel Concevoir et industrialiser des flux d'ingestion et de transformation Développer des traitements Python / PySpark sur Databricks Concevoir et maintenir des workflows Talend Mettre en œuvre des flux CDC (Change Data Capture) Participer à l'automatisation, aux tests et aux déploiements CI/CD Garantir la qualité, le monitoring et l'observabilité des traitements Développer des composants réutilisables et frameworks d'industrialisation Environnement technique Databricks Python / PySpark Talend SQL dbt CDC / Qlik Replicate Git, CI/CD Kafka (plus) GénAI appliquée au développement
Dans le cadre de la réalisation d'un projet en assistance technique, nous recherchons un(e) Data Engineer pour l'un de nos clients du secteur aéronautique. Vous interviendrez sur le site client situé dans les Hautes-Pyrénées (65). Vos missions seront les suivantes : - Développer des évolutions de notre plateforme permettant de récolter et distribuer les données d'activité en vue de permettre la construction de produits de données : .dbt ; snowflake ; power BI ; streamlit : azure ; - Réaliser des travaux de data engineering (scriptes, modélisations, …) pilotés en DevOps (via la solution Azure DevOps) par le Lead Data Engineer du périmètre concerné ; - Compléter toutes les documentations IT obligatoires : CDM, HLD (high level Design du système), DAT (dossier d'architecture technique), DEX (dossier d'exploitation) ; - Prendre en charge et corriger des incidents liés à ces composants après livraison.
• Concevoir et implémenter des pipelines d'ingestion et de transformation de données (batch et temps réel), robustes et scalables. • Développer et maintenir les flux ETL Talend qui alimentent le datalake et les systèmes consommateurs. • Développer des traitements Python / PySpark sur Databricks et mettre en œuvre les modèles de données cibles. • Automatiser les transformations, la documentation et les tests de données avec dbt. • Configurer les pipelines d'acheminement des données, y compris les flux CDC. • Mettre en place les bonnes pratiques de qualité de données, de monitoring, d'alerting et de logging. • Développer des modules réutilisables (templates de pipelines, librairies communes, CI/CD) et exploiter les modules existants dans les nouveaux projets. • Réaliser les développements et les tests associés, et accompagner les mises en production.
Dans le cadre d'un projet stratégique au sein d'un grand environnement bancaire, nous recherchons un Data Engineer / Data Lake Developer expérimenté pour renforcer une équipe IT Data et accompagner le déploiement d'une nouvelle plateforme Databricks. Le consultant interviendra sur la conception, le développement et l'industrialisation des composants nécessaires à l'alimentation et à l'exploitation du Data Lake, au sein d'un environnement Agile et international. MissionsConcevoir et développer des pipelines d'ingestion et de transformation de données robustes et scalables, en batch et temps réel. Développer et maintenir les flux ETL Talend alimentant le Data Lake et les systèmes consommateurs. Développer des traitements Python / PySpark sur Databricks. Mettre en œuvre et optimiser les modèles de données cibles. Automatiser les transformations, la documentation et les tests avec dbt. Développer et configurer des flux CDC (Change Data Capture). Mettre en place les bonnes pratiques de Data Quality, monitoring, alerting et logging. Développer des composants réutilisables : templates de pipelines, librairies partagées et frameworks CI/CD. Réaliser les développements et tests associés. Participer aux mises en production et à l'industrialisation des solutions. Compétences techniques recherchéesForte expertise sur Talend ETL : développement, debugging et industrialisation. Bonne maîtrise de Python et PySpark. Expérience significative sur Databricks : Jobs, Workflows, Delta Lake, Notebooks et optimisation. Excellente maîtrise de SQL, notamment sur les requêtes complexes et l'optimisation des performances. Expérience pratique de dbt pour la transformation et la modélisation des données. Bonne connaissance des problématiques CDC / Change Data Capture. Une expérience sur Qlik Replicate / Attunity est fortement appréciée. Connaissance de Kafka appréciée. Connaissances en Java. Expérience DevOps : Git, CI/CD, automatisation des tests et des déploiements. Utilisation d'outils d'IA générative pour accélérer les développements Python, PySpark et SQL, le refactoring et les tests. Profil recherchéVous justifiez d'au moins 3 ans d'expérience en Data Engineering / Data Lake. Vous êtes autonome, rigoureux, proactif et disposez de solides capacités d'analyse. Vous êtes également à l'aise dans des environnements exigeants et possédez un bon relationnel client. Anglais courant obligatoire.
Dans le cadre d'un projet stratégique pour un de nos clients nous recherchons un(e) Data Analyst Senior expérimenté(e), capable d'évoluer dans un environnement exigeant et de communiquer efficacement avec les équipes métiers et techniques. Environnement:SQL et gestion de bases de données Power BI Microsoft Fabric Python Modélisation et analyse de données Méthodologie ITIL ServiceNow Snowflake Framework DBT Mission basée à Lyon centre ..........;;..........,........,........ ..........,..........,.......;
La chaîne data suit le parcours suivant : collecte et stockage dans Google Cloud Storage, orchestration des pipelines par DAG sous Airflow (on-premise et managé), transformation et nettoyage avec dbt, entreposage dans BigQuery, puis restitution dans Looker. L"nfrastructure est gérée en code avec Terraform et Terragrunt, et les développements passent par une CI Git. Objectifs et activités de la mission La mission consiste à concevoir, livrer et maintenir des tableaux de bord financiers et extra-financiers dans Looker, en lien direct avec les équipes métiers. 1. Cadrage des besoins Animer les ateliers avec les équipes métiers (investissement, finance, conformité, relations investisseurs). Formaliser les besoins en indicateurs, règles de calcul et maquettes. 2. Modélisation des données Définir le modèle de données adapté dans BigQuery, en cohérence avec les transformations dbt existantes. Concevoir la couche sémantique Looker en LookML (views, explores, models). 3. Développement des tableaux de bord Développer les dashboards et visualisations dans Looker. Contrôler la qualité et la cohérence des chiffres restitués avec les métiers. 4. Administration de Looker Contribuer à l'administration de l'instance : gestion des utilisateurs, des groupes et des droits d'accès. Appliquer les bonnes pratiques de versioning Git et de déploiement. 5. Maintien en conditions opérationnelles Garantir la continuité de production des tableaux de bord existants. Assurer la maintenance corrective et évolutive. Documenter les modèles, indicateurs et dashboards. Exemples de tableaux de bord et livrables attendus Les tableaux de bord couvrent le pilotage de l'activité et le suivi des fonds, par exemple : pilotage de l'activité de la société de gestion ; suivi des investissements et du portefeuille ; calcul et suivi des frais de gestion ; indicateurs extra-financiers (ESG, finance durable). Livrables attendus : modèles LookML versionnés et documentés ; tableaux de bord validés par les métiers ; documentation fonctionnelle (définition des indicateurs, règles de calcul) et technique ; suivi des évolutions et des incidents de production.
RésuméLe poste de Data Engineer sur Snowflake a pour objectif principal d'intégrer l'équipe Data & AI Procurement, en se concentrant sur l'ingestion et la transformation des données, afin de répondre aux besoins des métiers. Responsabilités :Assurer l'ingestion et la transformation des données à partir de sources variées. Créer et maintenir des pipelines de données de bout en bout. Collaborer avec les Data Analysts pour comprendre les besoins métiers. Travailler avec d'autres Data Engineers pour optimiser les meilleures pratiques de développement. Must Haves :Maîtrise avancée de SQL. Maîtrise avancée de Python. Expérience sur Snowflake. Connaissance de dbt pour la modélisation et les transformations. Expérience avec Airflow pour l'orchestration des pipelines. Nice to Have :Bonne maîtrise de Gitlab. Connaissance des bonnes pratiques de développement (clean code, tests, documentation, CI/CD). Détails contextuels :Localisation : International, les échanges se font en anglais. Équipe : Intégration au sein de l'équipe Data Foundation. Contexte : Projet lié à la Data Foundation.
La mission consiste à : - Exposer les données utiles à l'entreprise pour les analyser et les utiliser afin d'améliorer l'expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l'entreprise - Travailler en lien avec des Data Scientists sur les données qu'il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Data Analyse sur Power BI un + - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais
