Le rôle du développeur senior dans ce projet consistera à concevoir et mettre en œuvre les composants suivants de la plateforme : L'ingestion des données Le traitement et la normalisation des données La distribution des données aux différents acteurs La construction et l'amélioration d'un framework commun incluant le monitoring, la CI/CD, les tests, la performance, la résilience, les pratiques de développement et la qualité du code MissionsDévelopper et maintenir les composants de la plateforme Big Data « One Pulse » Garantir la conformité avec les frameworks internes et les directives d'architecture Collaborer avec les parties prenantes du projet afin de promouvoir les bonnes pratiques et proposer des fonctionnalités communes pour la plateforme Concevoir et mettre en œuvre des pipelines d'ingestion, de traitement, de normalisation et de distribution des données Construire et améliorer les frameworks liés au monitoring, à la CI/CD, aux tests, à la performance, à la résilience et à la qualité du code Outils & EnvironnementIngénierie logicielle en Python : conception, tests, processus de développement Architecture et technologies Big Data Conception, modélisation et optimisation de pipelines de données dans des environnements distribués Connaissance du cloud AWS : un plus, mais non indispensable
Nous recrutons un Data Engineer expérimenté DBT pour intégrer un CDS Data et contribuer à la data plateforme d'un acteur majeur de son secteur. Vous interviendrez sur différents projets stratégiques dans un environnement technique moderne basé sur Snowflake et AWS. Votre rôle : concevoir, développer et optimiser les modèles de données avec DBT, mettre en place les bonnes pratiques DataOps, et assurer une qualité et une performance optimales des pipelines. Une expertise solide sur DBT est impérative, ainsi qu'une capacité à travailler en équipe sur des projets variés dans un contexte exigeant.
Notre client, acteur évoluant dans un environnement data complexe et exigeant, recherche un Data Engineer confirmé pour concevoir, construire et opérer une infrastructure de données robuste, couvrant l'ensemble de la chaîne de valeur — de l'ingestion jusqu'à la mise à disposition des données aux équipes métier — au sein d'un écosystème technologique moderne centré sur SQL Server, dbt et Power BI Reporting Services. Intégré(e) à une équipe pluridisciplinaire et travaillant en méthodologie Agile, vous interviendrez sur la conception et l'évolution d'une plateforme data structurée autour d'une architecture médaillon (Bronze / Silver / Gold), garantissant qualité, traçabilité et performance des données. Vous jouerez un rôle central dans la fiabilisation des pipelines ETL/ELT, la gestion des mécanismes d'alimentation (flux delta et flux plein, gestion de l'historique) ainsi que dans l'optimisation des traitements sur des volumes de données importants. Vous collaborerez étroitement avec les Product Owners, les équipes produit, plateforme et administration, afin de cadrer les projets, qualifier les besoins et produire des livrables à forte valeur ajoutée. La mise en œuvre de pratiques CI/CD (Azure DevOps ou GitLab) sera au cœur de votre démarche, assurant l'intégration continue, les tests automatisés, la qualité de code et l'orchestration des déploiements. Responsabilités : - Concevoir et développer des jobs ETL/ELT réutilisables et maintenables (SSIS, Talend, Azure Data Factory) - Modéliser et structurer les couches de données (Data Lake, Data Warehouse, Data Marts, Cubes SSAS) selon l'architecture médaillon - Gérer les mécanismes d'alimentation des flux de données : chargements delta et plein, gestion de l'historique et de la rejouabilité - Intégrer des sources de données hétérogènes via API, transferts de fichiers et autres mécanismes d'ingestion - Assurer le tuning et l'optimisation des requêtes SQL, DAX et MDX pour garantir les performances en production - Assurer le maintien en condition opérationnelle de la plateforme data et traiter les incidents de production - Participer aux phases de cadrage et de scoping des projets data avec les parties prenantes métier et techniques - Mettre en œuvre et maintenir les pipelines CI/CD, les tests de qualité de données et les processus de déploiement automatisés
Dans le cadre d'un projet à forte valeur ajoutée, nous recherchons un(e) Data Engineer / BI Developer disposant d'au moins 3 ans d'expérience pour rejoindre une équipe spécialisée dans les solutions Data & Analytics. Vos missionsConcevoir, développer et maintenir des pipelines de données performants sur Microsoft Fabric. Développer et optimiser des modèles de données ainsi que leur modélisation sémantique. Concevoir et réaliser des tableaux de bord et reportings décisionnels sous Power BI. Exploiter et transformer les données à l'aide de SQL et Python. Garantir la qualité, la fiabilité et la performance des flux de données. Collaborer avec les équipes métiers afin de répondre aux besoins en matière d'analyse et de reporting.
ACCROCHE SI TU PENSES QU'UN MODÈLE BIEN ENTRAÎNÉ VAUT MIEUX QU'UN LONG DISCOURS, CETTE ANNONCE EST FAITE POUR TOI CE QUE TU RECHERCHES : Développer des applications performantes et évolutives Concevoir et piloter des projets de développement logiciel Relever des défis techniques dans des environnements complexes et exigeants Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi Au sein d'un acteur majeur du secteur de l'assurance, tu piloteras des projets de développement logiciel en garantissant qualité, performance et innovation : Analyse des besoins et rédaction des spécifications techniques, tu réaliseras Conception et développement des applications, tu piloteras Mise en production et suivi des performances, tu assureras Encadrement des équipes de développement, tu animeras Intégration des bonnes pratiques DevOps et CI/CD, tu impulseras Les équipes métier et IT, tu accompagneras Aux instances de gouvernance technique, tu contribueras QUI TU ES : Diplômé(e) de la formation qui va bien Expérience de 5 ans minimum en gestion de projets de développement Expert(e) en langages de programmation : Machine Learning, Python, , Voice boot Habile avec les outils : LLM, NLP, IA Générative AU-DELÀ DES COMPÉTENCES TECHNIQUES, TU ES / AS : Dynamique : tu aimes coder, mais encore plus voir tes projets prendre vie Autonome : tu sais organiser et prioriser les développements Esprit de synthèse : tu simplifies des architectures complexes Visionnaire : tu anticipes les évolutions technologiques Méthodique : tu structures et documentes chaque projet avec rigueur Communicant(e) : tu facilites les échanges entre les équipes métier et technique Réactif(ve) : tu sais gérer les imprévus et résoudre les incidents rapidement Pragmatique : tu développes des solutions adaptées aux besoins des utilisateurs Pédagogue : tu partages tes connaissances et fais monter les équipes en compétences Organisé(e) : tu sais gérer plusieurs projets en parallèle sans rien laisser au hasard
Rejoignez une grande structure du secteur de la distribution et du retail, où la data et les capacités analytiques sont au cœur de la transformation stratégique du groupe. Vous intégrez l'Analytics Factory, un centre d'excellence directement rattaché à la direction générale, pilotant la modernisation des processus analytiques et IA au service de tous les métiers : marketing, marchandises, exploitation, e-commerce, supply chain et services financiers. Dans un environnement hautement concurrentiel où les marges sont réduites, la fiabilité des prévisions de chiffre d'affaires est critique pour optimiser les investissements commerciaux et opérationnels. Vous contribuez à la conception et l'industrialisation de pipelines de données robustes et d'une plateforme d'exploitation analytique intégrant des modèles de machine learning avancés, exploitant de nombreux inducteurs (historique des ventes, tendances marché, calendrier commercial). Ces solutions doivent être intuitives et maintenables par les équipes métier de la finance et les différents départements. Vous évoluerez dans une stack technologique moderne basée sur Python, SQL et une infrastructure cloud native. Le projet s'inscrit dans une démarche agile et de craftsmanship logiciel, avec un fort accent sur la qualité, l'observabilité et les bonnes pratiques de développement. Vous travaillerez en étroite collaboration avec une équipe pluridisciplinaire (data scientists, développeurs, business analysts) et participerez à toutes les phases du cycle de vie logiciel, de la conception à la production et au run opérationnel. Responsabilités : - Concevoir, développer et industrialiser des pipelines de données complexes en SQL et Python, traitant des volumes significatifs et respectant les standards d'une infrastructure cloud moderne - Développer et maintenir une webapplication Python permettant aux utilisateurs métier d'interagir avec les prévisions et les modèles analytiques - Assurer l'industrialisation et l'observabilité des modèles de machine learning en production, en mettant en place des mécanismes de monitoring, logging et alerting robustes - Mettre en œuvre les principes de qualité logicielle (SOLID, YAGNI, couverture de tests, code review systématique avec Sonar) et les bonnes pratiques de craftsmanship - Participer à l'architecture technique des solutions, notamment dans une approche microservices et event-driven, et contribuer aux décisions d'arbitrage technique et fonctionnel - Encadrer, mentorer et animer une équipe de développeurs, en favorisant l'apprentissage continu et l'amélioration des pratiques - Collaborer étroitement avec les équipes métier pour analyser les besoins, valider les solutions et identifier les axes d'amélioration - Assurer la maintenance, l'évolution et l'optimisation des applications existantes en production - Participer activement aux rituels agiles (dailys, refinements,...
Vos missionsReprendre et faire évoluer un produit Data existant dans une logique de robustesse, de scalabilité et de maintenabilité. Concevoir, développer et optimiser les pipelines de données sur Google Cloud Platform. Modéliser et optimiser les Data Marts et le Data Warehouse. Développer et optimiser les traitements SQL et les requêtes BigQuery. Orchestrer les workflows de données et automatiser les déploiements. Participer à l'intégration avec des applications tierces et des APIs. Garantir la qualité, la performance et la sécurité des données. Contribuer aux choix d'architecture et aux bonnes pratiques de développement. Collaborer avec plusieurs équipes techniques et métiers dans un environnement international. Environnement techniqueGoogle Cloud Platform BigQuery Cloud Storage Cloud Run Cloud Functions Workflows SQL avancé Python Terraform Git / CI-CD AppSheet Compétences Machine LearningUne première expérience sur des sujets ML est attendue, notamment autour de : Forecasting / séries temporelles Vertex AI BigQuery ML Compréhension et évolution de modèles existants Capacité à vulgariser des sujets techniques auprès d'interlocuteurs non techniques Profil recherchéSolide expérience en Data Engineering sur GCP. Excellente maîtrise de BigQuery, SQL et de la modélisation de données. Expérience sur des architectures Data industrielles et des pipelines de données. Capacité à reprendre un produit existant et à le faire évoluer. Bon relationnel et aisance dans les environnements transverses. Esprit de synthèse et bonnes capacités de communication. Anglais courant indispensable. Montreal Associates is acting as an Employment Business in relation to this vacancy.
Rôle et responsabilités des Développeurs • Développement et expertise Réaliser des développements de complexité moyenne. Assurer la maintenance applicative (Gestion des obsolescence et vulnérabilités) • Contribution agile Participer aux rituels techniques (estimation de charge, engagement sur le sprint). • Architecture et standards Concevoir et mettre en oeuvre l'architecture applicative et technique. Veiller au respect des normes, bonnes pratiques et standards Groupe. • Qualité et documentation Garantir la qualité des livrables (revues de code, bonnes pratiques). Assurer la production et la maintenance de la documentation projet. • RUN Assurer le suivi d'exploitation des traitements PySpark en production : supervision, résolution des incidents, analyse des performances et amélioration continue des traitements - Maîtrise avancée des environnements de conteneurisation et d'orchestration, notamment Kubernetes et Docker, ainsi que de la gestion sécurisée des secrets avec HashiCorp Vault - Maîtrise avancée des traitements Big Data, incluant PySpark 3 ainsi que la manipulation de formats de données distribués (Parquet, gestion des buckets). - Maîtrise opérationnelle de l'orchestration de workflows de données à l'aide de l'outil Apache Airflow. - Maîtrise confirmée des bases de données relationnelles, particulièrement PostgreSQL. - Maîtrise des outils de gestion de code et de qualité logicielle, incluant GitLab, Fortify et SonarQube. - Maîtrise des outils de stockage objet, notamment via l'utilisation des commandes MinIO. - Maîtrise des outils de transfert de fichiers, en particulier CFT (Cross File Transfer). Pour l'ensemble du projet de titrisation Bail : • Dossiers d'architecture (schémas, principes techniques, choix structurants). • Backlog enrichi et priorisé en lien avec les parties prenantes. • Composants applicatifs développés, testés et documentés. • Comptes rendus des revues de code et plan d'amélioration continue. • Documentation projet à jour (Spécifications techniques, JIRA, Page Confluence, Runbook). • Reporting d'avancement sur le périmètre confié. • RUN : Reporting de type Morning check
Un acteur majeur de la grande distribution fait évoluer sa Digital Factory pour concevoir des services digitaux innovants au service de ses activités commerciales et de la valorisation de ses données. Vous rejoindrez une équipe chargée de développer des solutions d'automatisation et d'intelligence métier pour améliorer l'efficacité opérationnelle, l'expérience client et générer des insights à forte valeur ajoutée. Dans ce contexte, nous recherchons un Data Engineer confirmé pour piloter un projet stratégique : la collecte, la transformation et l'exposition de données volumineuses en vue de générer automatiquement des planogrammes personnalisés pour chaque point de vente. Vous travaillerez dans un environnement cloud moderne (GCP) en collaboration étroite avec les équipes métier, les analystes et les architectes data. Vous êtes responsable du cycle complet de gestion des données : conception et implémentation des pipelines d'extraction et de transformation sur BigQuery, optimisation des requêtes SQL sur des volumétries importantes, structuration des données selon les standards de qualité définis, et mise à disposition fiable des données aux équipes consommatrices. Vous évoluez dans une méthodologie agile (Scrum), avec une présence de 2 jours par semaine sur site. Responsabilités : - Concevoir et développer des pipelines data robustes et performants sur Google Cloud Platform (BigQuery), traitant des volumes de données conséquents - Écrire et optimiser des requêtes SQL avancées pour l'extraction, la transformation et l'enrichissement des données - Mettre en place une architecture data modulaire et maintenable en utilisant les meilleures pratiques du cloud - Collaborer avec les équipes métier pour comprendre les besoins et transformer les exigences fonctionnelles en spécifications techniques - Assurer la qualité, la performance et la fiabilité des flux de données en production - Documenter les processus, les transformations et les architectures pour faciliter la collaboration et la maintenance - Participer activement aux réunions d'équipe, partager les connaissances techniques et proposer des axes d'amélioration continus - Respecter les calendriers de livraison tout en maintenant des standards élevés de qualité
Dans le cadre d'un projet de valorisation de la donnée au sein d'un acteur majeur du secteur public, nous recherchons un Data Engineer confirmé pour intervenir sur une plateforme de traitement et d'exploitation des données (Dataiku, Vertica, Tableau Software). La mission s'inscrit dans un contexte sensible et réglementé, nécessitant un profil habilitable. L'environnement de travail est structuré autour d'une plateforme analytique interne — le Datalab — dont l'objectif est de centraliser la production de rapports et de tableaux de bord à destination des équipes métier. Le projet consiste à migrer et reproduire, au sein de ce Datalab, un ensemble de rapports et tableaux de bord existants, initialement développés via des univers Business Objects, en les adaptant aux standards et outils de la nouvelle plateforme. Vous interviendrez en mode sprint, dans une organisation Agile, avec des délais à respecter et une capacité de restitution de vos travaux attendue auprès des parties prenantes. Le périmètre technique couvre la modélisation en étoile (star schema), l'intégration et la transformation de données (ETL/ELT), la gestion des flux initiaux et différentiels (init/delta), ainsi que la validation et les tests de données. Vous contribuerez à l'industrialisation du socle de données selon les bonnes pratiques en vigueur, en assurant la qualité, la traçabilité et la maintenabilité des livrables produits. Responsabilités : - Reproduire les rapports et tableaux de bord existants au sein de la plateforme Dataiku/Vertica/Tableau Software - Concevoir et implémenter des modèles en étoile (faits/dimensions) selon les règles de l'art - Développer et maintenir les pipelines de données (ETL/ELT) via Talend et SQL avancé - Gérer les flux de données initiaux (init) et différentiels (delta) dans le respect des standards d'industrialisation - Assurer la qualité des données à travers des tests et des processus de validation - Collaborer avec les équipes métier pour comprendre les besoins et restituer les travaux réalisés - Contribuer à la documentation technique et au respect des bonnes pratiques de mise en production (MEP) - Travailler en mode sprint et respecter les jalons définis dans le cadre du projet
La Direction des Systèmes d'Information recrute un Data Engineer pour concevoir, développer et maintenir les architectures Data nécessaires à l'exploitation des données par les analystes métiers et data scientists. Vos principales missions consisteront à : - Mener les projets d'intégration (temps réel) et data (big data & insights) - Comprendre, analyser et proposer des solutions techniques répondant aux besoins des divers acteurs de la donnée (spécialistes métier, domain managers, architecte, data analystes et scientists) - Apporter un éclairage technique sur les architectures Cloud, dialoguer avec les fournisseurs de solutions et les consultants techniques - Dans une logique de mise en production, créer et déployer des pipelines de données robustes pour les data scientists et data analysts (collecte, stockage, transformation et exploitation) - Assurer une bonne qualité des données pour les projets Machine Learning (préparation, complétude, épuration, enrichissement) dans le but d'optimiser les performances des modèles - Améliorer les processus internes : localisation et traçabilité de la donnée, standardisation des flux et des scripts de traitement des données, documentation - Collaborer avec les équipes basées aux Pays-Bas pour faciliter le Data-Sharing, échanger sur les best-practices et les moyens d'optimiser les architectures - Contribuer à l'amélioration de la gouvernance sur la protection et la confidentialité des données Toute activité en dehors de celles énumérées au titre des fonctions principales pourra être confiée au collaborateur dans le cadre de son activité en fonction de son évolution au sein du service et des besoins de l'entreprise.
Conception et Développement • Concevoir et développer des vues de données virtualisées dans Denodo (base views, derived views, interface views) à partir des spécifications techniques fournies • Intégrer les sources de données hétérogènes (bases relationnelles, APIs REST/SOAP, fichiers, cloud, web services) • Optimiser les performances des requêtes (cache management, query optimization, data movement) • Créer et maintenir les data services et APIs pour exposer les données aux applications consommatrices • Implémenter les mécanismes de gouvernance et de traçabilité des données • Réaliser des tests de qualité, performance et cohérence des données • Documenter l'ensemble des développements et bonnes pratiques (wiki, Jira, Data Catalog) • Participer à la mise en production et au suivi des services de données Collaboration agile et gouvernance - Travailler en étroite collaboration avec le PO pour assurer la livraison des différents projets - Participer aux rituels agiles : daily, sprint planning, review, retrospectives. - Contribuer à la documentation fonctionnelle et technique du produit Data. - Promouvoir les bonnes pratiques Dataiku (modularité, réutilisabilité, qualité, performance).
🏭 Secteurs stratégiques : Asset management 🗓 Démarrage : ASAP PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 💡 Contexte /Objectifs : Dans le cadre d'un projet au sein d'un client grand compte, nous sommes à la recherche d'un Data engineer avec une expertise sur la suite MSBI. Le profil recherché, Bac + 4/5 idéalement issu d'une école d'ingénieur, aura une expérience au minimum de 7/8 ans. Passionné par le développement, il aura la capacité de travailler en équipe et saura apporter une vraie valeur ajoutée par ses compétences techniques et humaines
Rejoignez une grande organisation du secteur de la distribution et du retail pour accompagner sa transformation digitale en matière de données et d'intelligence commerciale. Vous intégrerez une équipe de Data Engineering au sein d'une usine digitale dédiée à l'optimisation des services marchands, la valorisation des données commerciales et l'amélioration de l'expérience client. Vous serez chargé de concevoir, développer et maintenir des pipelines de données performants et scalables sur Google Cloud Platform. Votre mission consiste à collecter, transformer, enrichir et exposer les données relatives à la gestion des assortiments, des promotions et de l'agencement des produits en magasin. Vous travaillerez dans un environnement technique moderne et agile, en étroite collaboration avec les équipes métier et les partenaires pour fournir des insights à forte valeur ajoutée et automatiser les processus commerciaux. Ce rôle requiert une expertise confirmée en SQL avancé, BigQuery et Data Build Tool (DBT) pour structurer et orchestrer des transformations de données robustes sur de gros volumes. Vous serez également amené à concevoir et optimiser des flux temps réel, à automatiser les workflows via CI/CD et à participer activement à l'évolution continue de l'architecture data. Responsabilités : - Concevoir et développer des pipelines ETL/ELT performants et maintenables sous DBT pour la transformation et l'enrichissement de données volumineuses sur BigQuery - Rédiger et optimiser des requêtes SQL avancées pour l'extraction, l'analyse et la manipulation de données complexes - Structurer et versionner le code data selon les bonnes pratiques (Git, architecture modulaire, tests) - Automatiser les workflows data et les déploiements via GitLab CI/CD, Docker Compose et orchestration cloud - Collaborer avec les équipes métier et les partenaires techniques pour recueillir les besoins et valider les livrables - Optimiser les performances des pipelines et gérer les coûts d'exécution sur GCP - Documenter les solutions, les processus et les décisions techniques pour faciliter la collaboration et la maintenabilité - Participer à des rituels agiles (Daily, Sprint Planning, Rétrospectives) et contribuer à l'amélioration continue des pratiques d'équipe - Exploiter les services Google Cloud avancés (Pub/Sub pour les flux temps réel, Cloud Storage, etc.) selon les besoins du projet - Proposer des axes d'amélioration et des optimisations technologiques pour renforcer la qualité et l'efficacité des solutions
Contexte Dans le cadre des activités Data de la R&D Michelin, nous recherchons un Data Engineer Référent au sein du domaine DOTI / BS / RD / Analytics. Le rôle consiste à construire, transformer et fiabiliser les données afin d'alimenter les produits numériques utilisés par la Recherche & Développement, tout en jouant un rôle de leader technique et coach auprès des autres Data Engineers. L'environnement est en Agile à l'échelle (SAFe), avec des équipes proches des métiers. Positionnement Équipe : Data – Domaine Analytics R&D Rôle : Data Engineer Référent (Leader technique) Collaboration avec : Tech Lead du domaine Feature Teams DORD Data Engineers Niveau attendu : Leader / Coach (IS3) Missions principalesData Engineering Concevoir et développer des pipelines de données : intégration transformation nettoyage Connecter les systèmes sources et structurer les flux de données Mettre à disposition des données exploitables pour les produits Data Développement & intégration Développer des traitements en : Python Talend DI ponctuellement Java Spring Boot Intégrer les développements dans les pipelines CI/CD Participer à la gestion des versions (GitLab) Qualité & tests Réaliser : tests unitaires automatisés tests de qualification Rédiger les plans de tests Garantir la qualité et la fiabilité des données Documentation Rédiger la documentation : technique fonctionnelle Formaliser les modèles de données et les flux Support & maintien en conditions opérationnelles Assurer le support niveau 3 sur les flux Data (DataLake D1) Analyser et corriger les incidents Participer à l'amélioration continue des traitements Référent technique & coaching Accompagner les Data Engineers : bonnes pratiques de développement qualité de code industrialisation Contribuer à la montée en compétences de l'équipe Participer à la diffusion des standards techniques
La mission consiste à : - Exposer les données utiles à l'entreprise pour les analyser et les utiliser afin d'améliorer l'expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l'entreprise - Travailler en lien avec des Data Scientists sur les données qu'il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Formation supérieure en école d'ingénieur, école d'informatique ou Master spécialisé dans la Data Science - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais
