ContexteLe consultant intégrera l'équipe Data & AI, dont la principale mission est d'ingérer, centraliser et transformer les données issues de différents systèmes afin de répondre à différents usages métiers : Self-service BI — mise à disposition de données exploitables en autonomie par les équipes métier Dashboards — visualisation et pilotage de la performance Reporting — production de rapports structurés Applications Data — développement de solutions applicatives orientées usage métier MissionsL'équipe Data & AI poursuit la construction et le maintien de sa Data Foundation. Ce socle repose sur une plateforme data composée : d'un outil interne pour la récupération des sources de données, Snowflake comme entrepôt de données, DBT pour la modélisation et les transformations, et Airflow pour l'orchestration des pipelines. Dans le cadre d'un remplacement, nous recherchons un Data Engineer qui interviendra exclusivement sur la partie Data Foundation, et plus précisément sur la création de nouvelles pipelines et la maintenance des pipelines existantes. Le consultant prendra en charge ces pipelines de bout en bout : de la récupération des données sources jusqu'à leur mise à disposition — ingérée dans Snowflake, modélisée et testée — pour les usages métiers. Le consultant évoluera au sein de l'équipe Data Foundation et travaillera en étroite collaboration avec : Business Data Analysts : expression et cadrage des besoins de données, compréhension des usages métiers. Data Engineers de l'équipe Data Foundation : conception, développement et maintenance des pipelines, partage des bonnes pratiques.
Nous recherchons un(e) data Engineer DBT Snowflake capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : fye2oc8v9v
Nous recherchons un(e) data engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : krlv60nmtr
Nous recherchons un Data Engineer confirmé pour rejoindre l'équipe de la Direction des Systèmes d'Information au sein d'un grand groupe industriel. Vous serez responsable de la conception, du développement et de la maintenance d'un datalake stratégique, en travaillant étroitement avec les équipes de production applicative et DevOps pour mettre en œuvre des solutions de traitement de données robustes et performantes. Votre mission s'inscrit dans un environnement technologique moderne et agile. Vous participerez à l'évolution continue d'une plateforme données complexe, contribuerez à l'architecture des pipelines ETL et assurerez la qualité et la fiabilité des ingestions de données. L'environnement de travail est collaborative, dynamique et fondé sur les bonnes pratiques d'ingénierie logicielle (versioning, intégration continue, tests automatisés). Le datalake traite des volumes de données significatifs et nécessite une expertise technique pointue. Vous aurez l'occasion de travailler sur des sujets variés : conception de schémas de données, optimisation des performances, debugging en environnement distribué, et exploration de nouvelles technologies pour améliorer la stack existante. Responsabilités : - Mettre en œuvre et industrialiser de nouvelles ingestions de données, en respectant les standards de qualité et de performance du datalake - Concevoir et développer des transformations de données complexes en PySpark et Hive, optimisées pour les environnements Hadoop - Maintenir, documenter et faire évoluer les outils et scripts de gestion des pipelines de données (PySpark, shell scripting Unix/Linux) - Collaborer avec l'équipe DevOps pour l'évolution et l'optimisation de l'infrastructure de la plateforme données - Rédiger des spécifications techniques détaillées et participer à la validation des livrables avec les parties prenantes - Identifier et proposer des améliorations technologiques pour maintenir la compétitivité de la plateforme - Travailler en méthodologie Agile/Scrum, participer aux cérémonies d'équipe et contribuer à l'amélioration continue - Assurer le debugging et la résolution d'incidents en production, en coordination avec les équipes de support
La Direction des Systèmes d'Information recrute un Data Engineer pour concevoir, développer et maintenir les architectures Data nécessaires à l'exploitation des données par les analystes métiers et data scientists. Principales missions : - Mener les projets d'intégration (temps réel) et data (big data & insights) - Comprendre, analyser et proposer des solutions techniques répondant aux besoins des divers acteurs de la donnée (spécialistes métier, domain managers, architecte, data analystes et scientists) - Apporter un éclairage technique sur les architectures Cloud, dialoguer avec les fournisseurs de solutions et les consultants techniques - Dans une logique de mise en production, créer et déployer des pipelines de données robustes pour les data scientists et data analysts (collecte, stockage, transformation et exploitation) - Assurer une bonne qualité des données pour les projets Machine Learning (préparation, complétude, épuration, enrichissement) dans le but d'optimiser les performances des modèles - Améliorer les processus internes : localisation et traçabilité de la donnée, standardisation des flux et des scripts de traitement des données, documentation - Collaborer avec les équipes basées aux Pays-Bas pour faciliter le Data-Sharing, échanger sur les best-practices et les moyens d'optimiser les architectures - Contribuer à l'amélioration de la gouvernance sur la protection et la confidentialité des données Conception et mise en œuvre d'une plateforme d'intégration Azure à grande échelle, servant de hub central pour 20+ applications métier et orchestrant ~150 flux d'intégration batch et temps réel répartis sur 7 ODS. Développement de flux d'intégration avec Azure Service Bus, Azure Functions, Event Grid et Azure Data Factory pour synchroniser les données entre les différents systèmes. Développement d'orchestrations distribuées et persistantes avec Azure Durable Functions pour gérer des processus métier asynchrones. Conception et gouvernance des API d'intégration via Azure API Management selon une approche spec-first avec validation des contrats d'échange. Modélisation et optimisation des ODS afin de garantir la cohérence et la disponibilité des données opérationnelles. Optimisation des requêtes SQL et des traitements de données pour améliorer les performances et la fiabilité des flux. Développement de composants mutualisés (librairies Python, modules Bicep et Terraform) afin de standardiser les développements et accélérer l'intégration de nouveaux flux. Mise en place des pipelines CI/CD, automatisation des déploiements et amélioration de l'observabilité via la standardisation des logs et des métriques personnalisées.
RésuméLe poste de Data Engineer sur Snowflake a pour objectif principal d'intégrer l'équipe Data & AI Procurement, en se concentrant sur l'ingestion et la transformation des données, afin de répondre aux besoins des métiers. Responsabilités :Assurer l'ingestion et la transformation des données à partir de sources variées. Créer et maintenir des pipelines de données de bout en bout. Collaborer avec les Data Analysts pour comprendre les besoins métiers. Travailler avec d'autres Data Engineers pour optimiser les meilleures pratiques de développement. Must Haves :Maîtrise avancée de SQL. Maîtrise avancée de Python. Expérience sur Snowflake. Connaissance de dbt pour la modélisation et les transformations. Expérience avec Airflow pour l'orchestration des pipelines. Nice to Have :Bonne maîtrise de Gitlab. Connaissance des bonnes pratiques de développement (clean code, tests, documentation, CI/CD). Détails contextuels :Localisation : International, les échanges se font en anglais. Équipe : Intégration au sein de l'équipe Data Foundation. Contexte : Projet lié à la Data Foundation.
Au sein de la Data Tribe, vous participez à la conception, au développement et à l'exploitation de produits Data au service des équipes métier et des utilisateurs de la plateforme stratégique. L'équipe travaille à l'intersection de la Data Engineering, de l'Analytics et des plateformes Data, avec un fort enjeu autour de la fiabilité, de la performance et de la mise en production des solutions. La plateforme Data repose principalement sur Databricks et PySpark. Vous intervenez sur l'ensemble du cycle de vie des produits Data, de la compréhension du besoin métier jusqu'à leur exploitation en production. Vos missions En tant que Senior Data Engineer, vous serez notamment amené(e) à : Concevoir, développer et maintenir des pipelines Data robustes et industrialisés. Traduire les besoins métier en solutions Data scalables, performantes et maintenables. Travailler en étroite collaboration avec les Product Owners, équipes métier et équipes Analytics. Garantir la qualité, la fiabilité et la performance des données en production. Assurer le monitoring des pipelines et contribuer à la résolution des incidents. Identifier et mettre en œuvre des améliorations sur les modèles de données et les processus Data. Contribuer aux standards d'architecture, aux bonnes pratiques et aux décisions techniques. Participer aux revues de code et à l'amélioration continue des développements. Intervenir dans un contexte multi-BU, notamment sur le partage et la sécurisation des données avec des mécanismes de RLS / CLS. Prendre progressivement le rôle de référent Data Engineering sur un domaine métier.
Je recrute un Lead Data Engineer - Microsoft Fabric / Azure Databricks Je recherche un profil Lead Data Engineer senior (7+ ans d'expérience) capable de combiner expertise technique, architecture Data et posture de consultant. Je recherche un Lead Data Engineer senior (10+ ans d'expérience) capable de combiner expertise technique, architecture Data et posture de consultant. Prérequis indispensables * Expertise hands-on Microsoft Fabric ET/OU Azure Databricks * Solide maîtrise de l'écosystème Data Microsoft / Azure * Expérience en architecture de plateformes Data modernes * Anglais courant / fluent * Excellente posture client : workshops, conseil, communication avec les stakeholders et leadership technique ⚠️ Microsoft Fabric ou Azure Databricks est indispensable. Si vous n'avez travaillé sur aucune de ces deux technologies, inutile de postuler à cette opportunité. Les sujets * Concevoir des plateformes Data greenfield * Moderniser des environnements Data & BI existants * Piloter techniquement des migrations vers le Cloud * Définir et challenger les choix d'architecture * Encadrer les équipes techniques * Intervenir comme référent Data & Analytics en avant-vente Je cherche donc quelqu'un qui ne soit pas uniquement un très bon Data Engineer : il faut pouvoir porter une architecture, challenger un client, prendre le lead techniquement et embarquer une équipe. 📍 CDI - 100 % full remote, avec une localisation obligatoire en France. 📩 Intéressé(e) ? Envoyez-moi directement votre CV en MP. #DataEngineering #MicrosoftFabric #AzureDatabricks #Azure #DataArchitecture #LeadDataEngineer #Microsoft Montreal Associates is acting as an Employment Agency in relation to this vacancy.
Au sein de la Direction Technique d'un groupe industriel majeur, le/la Data Engineer joue un rôle clé dans la transformation et la valorisation des données industrielles. Votre mission principale consiste à concevoir, structurer et maintenir le socle technique des données métier. Vous transformez les données brutes issues du terrain en actifs de données fiables, documentés et directement exploitables par les équipes Data, procédé et projets. MISSIONS: Architecture & Pipelines de Données : Concevoir, industrialiser et maintenir les pipelines d'ingestion et de transformation de données brutes industrielles. Qualité & Fiabilité : Garantir la propreté, la documentation, la traçabilité et la disponibilité des bases de données métier. Mutualisation : Développer des indicateurs et actifs Data réutilisables pour éviter les retraitements projet par projet et accélérer la mise à disposition des données. Support aux Projets Data & Analytics : Mettre à disposition les données nécessaires aux modèles de Data Science, applications métier et outils d'aide à la décision. Collaboration : Travailler en synergie étroite avec le Responsable Data Science & Innovation, l'Ingénieur Analyse & Modélisation, les experts métier opérationnels et la DSI.
La DSI déploie un système d'information unifié pour son siège et son réseau national. Nous recherchons un Data Engineer pour reprendre le poste sur un chantier de migration de données déjà engagé. Le modèle de données est en place, les premiers imports sont réalisés et un référentiel de règles de normalisation existe. Il s'agit de poursuivre les imports avec un niveau de qualité irréprochable. L'architecture de reprise Un entrepôt de données qui sert de source de référence, dont les données ne sont jamais modifiées. Une base cible PostgreSQL alimentée uniquement avec les données utiles, après transformation, normalisation et contrôle qualité. Un socle applicatif Symfony 7 / API Platform / Doctrine, avec CI/CD et Docker. Vos missions S'approprier l'existant : modèle de données, scripts, imports réalisés, règles de normalisation, documentation. Dresser l'état des lieux : agences importées et restantes, anomalies ouvertes, points de qualité à arbitrer. Proposer dès les premières semaines un plan d'action priorisé (lots, calendrier par agence, risques), le faire valider par la DSI et le mettre en œuvre. Conduite des imports Planifier et conduire les imports (extraction, transformation, chargement). Garantir rejouabilité, checkpoints, rollback et traçabilité, sans jamais altérer les données sources. Développer, maintenir et fiabiliser les scripts d'automatisation. Qualité des données Appliquer et enrichir les règles de normalisation : casse, caractères spéciaux, doublons, formats d'adresses et de téléphones. Mettre en œuvre le dédoublonnage et les contrôles de cohérence. Suivre les indicateurs de qualité (complétude, cohérence, doublons) avant et après chaque import. Accompagnement des agences Être l'interlocuteur direct de chaque agence : inventaire des données, jeux d'essai, validation des résultats. Expliquer les anomalies de façon claire et pédagogique à des interlocuteurs non techniques. Formaliser les échanges (comptes rendus, points de suivi). Pilotage et documentation Produire le suivi d'avancement et les reportings, et rendre compte à la DSI et au Product Owner. Alerter au plus tôt sur les risques et blocages. S'intégrer aux rituels agiles et travailler avec l'équipe de développement CRM. Maintenir les runbooks et la documentation.
Dans le cadre du développement et de l'industrialisation des plateformes de données, le Data Engineer intervient sur la conception, le développement et l'exploitation de chaînes de traitement de données dans un environnement Cloud GCP. Ses principales missions sont les suivantes : Collecte et traitement des donnéesRécupérer et intégrer des données provenant de différentes sources externes. Exploiter les capacités d'un Datalake pour le stockage et le traitement des données. Mettre en œuvre des traitements permettant de produire automatiquement des agrégats journaliers, hebdomadaires et mensuels. Concevoir et maintenir les chaînes : d'ingestion des données ; de validation et de contrôle de la qualité des données ; de croisement et d'enrichissement des données ; de déversement des données enrichies dans le Datalake. Développement et industrialisationDévelopper les solutions dans le respect des règles et principes d'architecture définis. Concevoir et documenter les user stories en collaboration avec le Product Owner et les chefs de projet. Développer les scripts nécessaires au déploiement des solutions. Participer à la mise en œuvre et à l'amélioration de la chaîne de Continuous Delivery. Automatiser les tests fonctionnels afin de garantir la qualité et la fiabilité des traitements. Assurer la maintenance corrective et évolutive des développements. Support et amélioration continueAnalyser et prioriser les corrections d'anomalies. Assurer le suivi des incidents liés aux traitements de données. Accompagner et assister les équipes d'exploitation. Contribuer à l'amélioration continue des processus, outils et pratiques de développement. Assurer une veille sur les évolutions technologiques liées aux environnements et frameworks utilisés.
Contexte Notre client, acteur majeur du retail, recherche un Data Engineer Expert pour rejoindre son domaine Digital Data et intégrer une Squad Data en charge d'un périmètre fonctionnel. La mission s'inscrit dans le cadre de la création d'une nouvelle plateforme Data, ainsi que du développement, de l'optimisation et de la maintenance de solutions Data Analytics, avec une forte composante Google Cloud Platform. Missions - Participer aux rituels agiles de l'équipe ; - Recueillir, analyser, challenger et formaliser les besoins utilisateurs ; - Animer les échanges avec les interlocuteurs métiers et proposer des solutions adaptées ; - Traduire les besoins en spécifications fonctionnelles et techniques ; - Développer des solutions Data de bout en bout : alimentation, stockage, modélisation et restitution ; - Valider la qualité des développements de l'équipe ; - Améliorer et optimiser le patrimoine Data existant ; - Assurer le maintien en conditions opérationnelles et le RUN des solutions ; - Contribuer à la construction du nouveau socle et des services sur Google Cloud Platform ; - Accompagner les métiers sur les bonnes pratiques d'exploitation de la donnée. Responsabilités Data Le consultant sera garant de la qualité d'accès aux données et contribuera à leur bonne structuration et à leur exploitation. - Intégrer des données structurées et non structurées ; - Structurer et normaliser la donnée ; - Cartographier les données disponibles ; - Nettoyer et valider les données ; - Garantir la qualité des données alimentant le Data Lake ; - Créer, si nécessaire, des référentiels ; - Contribuer à la politique Data et au cycle de vie de la donnée. Environnement technique Compétences impératives - SQL - Expert - ETL - Expert Compétences importantes - CI/CD - GitHub - Terraform - Kafka BI / Restitution - Power BI - Looker Cloud - Google Cloud Platform - GCS - BigQuery Une expertise GCP / BigQuery est particulièrement intéressante pour le besoin.
Développer les mécanismes d'ingestion de données internes et externes ; Participer à la mise en place d'un moteur de recherche de bases de données pour les métiers ; Concevoir et maintenir les pipelines de transformation de données ; Mettre en place et orchestrer les workflows de traitement ; Connecter les données aux outils d'analyse métier ; Garantir la qualité, la disponibilité et la fiabilité des données. Compétences obligatoires GCP : Cloud Run, IAM, BigQuery, GCS Terraform SQL Ingestion de données publiques et internes (Python, Fivetran, Rclone ou équivalent) Orchestration de workflows (Airflow, Argo Workflow ou équivalent) Transformations de données avec dbt
🏢 Qui sommes-nous ? Visian Azur, filiale du Groupe Neurones, est une société de conseil spécialisée dans les projets data et applicatifs. Présents à Marseille, Aix-en-Provence, Sophia Antipolis, Montpellier, Toulouse et Lyon, nous accompagnons de grands comptes sur des projets techniquement exigeants. 💼 Le poste Vous rejoindrez le pôle Data de la Direction Technique d'un grand groupe français. Référent de l'exploitation de la plateforme Big Data, vous prendrez en charge son run en production et contribuerez à son évolution, au service des équipes projet et des utilisateurs. 🎯 Vos missions Maintenir la plateforme Datalake en conditions opérationnelles : traitement des incidents et des demandes des projets et des utilisateurs Participer à la mise en œuvre et à l'automatisation de nouvelles solutions Réaliser les mises en production Faire évoluer et améliorer les outils d'exploitation Informer et accompagner les utilisateurs de la plateforme Assurer le suivi de votre activité : bilan mensuel des tickets traités et point bimensuel sur l'avancement des projets 🛠️ Environnement technique Big Data : Hadoop, Spark, Kafka, Hive, HBase Conteneurisation : Docker, Kubernetes Automatisation et CI/CD : Ansible, Jenkins, GitHub Langages : Scala, Python Système : Unix / Linux
Dans le cadre d'un renforcement de nos équipes chez l'un de nos clients grands comptes dans le secteur bancaire. Nous recherchons un(e) Data Engineer/ Développeur pour intervenir dans un équipe Big Data & API qui développe et gère un datalake (GTLake) Votre objectif de mission : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets CASH et Trade A noter que notre client a démarré une phase de mutation du GTLake vers une gestion en code python/spark ( afin de remplacer informatica DEI ) La prestation demande donc faire preuve d'autonomie de curiosité et de rigueur pour traiter en toute sécurité de la modernisation de nos solutions de pipeline data ( migrations de workflows informatica ou des implémentations des projets) Ceci avec une approche moderne et industrielle.
ContexteDans le cadre d'un projet pour une compagnie aérienne, nous recherchons un Data Engineer GCP pour rejoindre une équipe IT internationale d'environ 15 personnes, réparties entre la France, l'Inde et les équipes métiers basées à Amsterdam. L'équipe intervient sur un périmètre BI & Big Data, autour de la gestion et de l'exploitation des données liées au parcours passager, depuis son arrivée à l'aéroport jusqu'à son embarquement, ainsi que sur les flux de données associés aux activités Cargo. MissionsAu sein de cette équipe, vous interviendrez notamment sur : Le développement et la maintenance des évolutions applicatives. La prise en charge des incidents et des activités de RUN. L'amélioration et l'optimisation du code existant. La gestion et l'optimisation des référentiels Git. L'amélioration des performances des traitements de données. L'analyse et l'optimisation des traitements BigQuery. La participation aux pratiques d'intégration et de déploiement continu avec GitHub et GitHub Actions.
