Dans le cadre de la modernisation d'une plateforme décisionnelle au sein d'un acteur de l'épargne salariale et de la retraite, nous recherchons un Data Engineer / Data Architect Senior. La mission s'inscrit dans un programme de transformation visant à faire évoluer une plateforme BI existante vers une architecture moderne de type Lakehouse, tout en garantissant la continuité des services actuellement proposés. Vous rejoindrez l'équipe Cœur-Data, composée de cinq personnes, et travaillerez en étroite collaboration avec les équipes métier, la MOA et les équipes techniques transverses. Objectifs de la missionL'objectif principal sera de concevoir et mettre à disposition des données structurées, fiables et exploitables par l'équipe Marketing. Vous interviendrez notamment sur : La définition de l'architecture et de l'organisation du Lakehouse ; La conception de solutions de collecte, de stockage et de transformation des données ; La migration et la modernisation progressive des traitements existants ; L'industrialisation et le suivi des pipelines de données ; La mise à disposition de données brutes et transformées pour les usages analytiques et la datavisualisation. Principales responsabilitésEn tant que Data Engineer / Data Architect Senior, vous serez amené à : Concevoir l'organisation des données et des flux au sein d'un environnement Lakehouse basé sur S3 ; Développer des pipelines de traitement avec Python, Spark et PySpark ; Mettre en place et maintenir les traitements d'ingestion et de transformation ; Participer à l'ordonnancement des traitements avec Dagster ; Contribuer à l'exposition des données via Trino et les outils de datavisualisation ; Développer les solutions de collecte et de stockage répondant aux besoins métiers ; Mettre en place les tests unitaires et les contrôles nécessaires à la qualité des développements ; Assurer le suivi des traitements et identifier les éventuels incidents ou blocages ; Rédiger et maintenir la documentation technique ; Participer à la recette avec la MOA et les utilisateurs ; Estimer les charges et contribuer au suivi de l'avancement du projet ; Réaliser des études en collaboration avec les équipes transverses ; Participer à l'amélioration continue des processus de développement et d'exploitation. Environnement techniquePlateforme ciblePython ; Apache Spark / PySpark ; SQL ; Amazon S3 ; Dagster ; Trino ; Git ; Jenkins. Environnement existantInformatica ; DAC ; Oracle 19 ; Outils BI et de reporting. Outils projetJira ; Confluence ; Windows 10 avec WSL.
Intégration / Modélisation / Restitution de données – Sustainability Contexte de la mission Dans le cadre de l'optimisation et de l'unification de ses capacités analytiques transversales, une grande entreprise internationale recherche un consultant Data Analytics Engineer autonome pour une mission d'intégration, de modélisation et de restitution de données Sustainability stratégiques. Cette initiative vise à fournir une vision consolidée et exploitable des indicateurs clés provenant de diverses sources externes, essentielles à la prise de décision stratégique et opérationnelle. Contrainte forte du projet Couvrir des cas d'usage analytiques à destination du département Sustainability avec une forte contrainte de qualité et de traçabilité de la donnée. Livrables Dashboard de suivi des consommations d'eau Dashboard de suivi des consommations d'énergie Dashboard de suivi du gaspillage alimentaire Objectifs de la mission Établir et sécuriser des connexions techniques robustes et évolutives avec les systèmes sources identifiés (Ressource Advisor, référentiels internes). Extraire et charger les données des domaines fonctionnels Corporate clés : finance, ressources humaines, référentiels, achats, etc. Concevoir et implémenter des pipelines d'ingestion automatisés, fiables et performants, garantissant l'intégrité et la fraîcheur des données. Structurer et modéliser les données dans un Data Warehouse Snowflake de manière logique, modulaire, réutilisable et optimisée pour l'analyse et la restitution. Mettre en place des mécanismes de gouvernance des données : gestion des métadonnées, logiques de rafraîchissement, suivi de la qualité des données et gestion des erreurs. Développer des vues et agrégats de données spécifiques aux besoins de restitution et d'analyse pour les départements Sustainability et leurs collaborateurs en région. Documenter de manière exhaustive les pipelines d'ingestion, les modèles de données (logique et physique), les règles de transformation et les points de reprise afin d'assurer la maintenabilité et la transférabilité. Environnement technique Sources : multiples systèmes (Ressource Advisor, référentiels internes – via APIs, exports ou connecteurs natifs) Destination : Snowflake – Data Warehouse Cloud Orchestration : Airflow Transformation : DBT Core / SQL, Python (Pandas/PySpark) ou équivalent Modélisation : DrawIO, Lucidchart ou autre outil libre Visualisation / Restitution : Tableau CI/CD / Versioning : GitLab, GitHub Documentation : Confluence, Jira, SharePoint Compétences techniques Snowflake : Confirmé – Impératif DBT : Confirmé – Important Airflow : Confirmé – Important Tableau : Confirmé – Souhaitable Data modeling analytique : modèles dimensionnels, Data Vault, architecture médaillon ou autres architectures d'entrepôt de données Ingestion et transformation de données dans un environnement cloud Orchestration de pipelines de données Versioning et pratiques CI/CD Documentation technique et fonctionnelle Profil recherché Maîtrise des techniques d'ingestion et de transformation de données dans un environnement cloud, notamment Snowflake. Solides compétences en data modeling analytique. Excellentes pratiques en matière d'orchestration de pipelines de données, de versioning de code et de documentation technique et fonctionnelle. Capacité à travailler efficacement au sein d'une équipe Agile suivant la méthodologie Scrum. Forte capacité à travailler en autonomie, à prendre des initiatives et à interagir efficacement avec les équipes techniques et les interlocuteurs métiers. Capacité à comprendre et traduire des besoins métiers complexes en solutions techniques de données. Anglais professionnel – Impératif Bonus importants Connaissance des structures de données et des processus métier typiques d'un grand groupe international dans l'hôtellerie ou un secteur similaire. Expérience dans l'utilisation de l'IA et des Agent LLM dans le delivery, que ce soit pour la conception, la documentation, le développement ou les tests.
Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Engineer AWS / Snowflake (H/F) à Gémenos, France. Contexte : Dans le cadre d'un projet stratégique de plateforme de données, nous recherchons un Data Engineer confirmé pour concevoir, industrialiser et maintenir des pipelines de données en environnement Cloud sécurisé. Le consultant intégrera une équipe en charge de l'infrastructure de données et travaillera en étroite collaboration avec les équipes Data, DevOps, Architecture et Sécurité. Les missions attendues par le Data Engineer AWS / Snowflake (H/F) : MissionsConception et optimisation de pipelines ETL / ELT. Mise en œuvre de flux CDC (Change Data Capture). Intégration et ingestion de données dans Snowflake. Développement et industrialisation des traitements de données. Automatisation des déploiements et intégration CI/CD. Garantir la qualité, la performance et la sécurité des données. Participation aux échanges avec les équipes métier et techniques. Compétences indispensablesSnowflake AWS (S3, Kinesis, IAM) SQL avancé ETL / ELT DBT CDC / Debezium idéalement MariaDB ou bases relationnelles équivalentes Git / CI-CD Méthodologie Agile Scrum Anglais professionnel Compétences appréciéesAWS Glue Terraform / Infrastructure as Code Kafka DataOps / DevOps Sécurité des données Connaissance des environnements réglementés (PCI-DSS) Utilisation d'outils IA de développement (Copilot, Agentic Coding) ProfilBac+5 / Ingénieur Informatique. 3 à 5 ans d'expérience minimum en Data Engineering. Autonome, rigoureux et force de proposition. Capable d'intervenir sur l'ensemble de la chaîne de valeur Data
Fiche de poste – Senior Data Engineer / Expert Dataplatform (GCP) Contexte & Organisation Le Pôle Data est structuré autour du modèle Spotify : Une Dataplatform en pleine transformation, composée de 4 experts Architectes / Développeurs GCP & BigQuery Maintenance de l'existant + évolution de la plateforme Début d'un chantier majeur de construction début 2025 (v1 en cours, forte ambition d'évolution) Outils & écosystème : GCP (Cloud Run, Cloud Function, Pub/Sub, Vertex AI, BigQuery) Airflow (orchestration) Dataform (concurrent DBT – SQL) Terraform pour le provisioning Modèle Data type médaillon Pratique Data Engineer moderne + enjeux d'observabilité / finops / sécurité Objectifs du poste Renforcer l'équipe Dataplatform avec un profil senior ayant déjà participé à la construction d'une Dataplatform et capable d'accélérer l'industrialisation des pipelines et des outils d'ingestion. Le rôle vise à : Faciliter et accélérer le travail des Data Engineers Améliorer l'expérience de construction de pipelines de données Structurer et fiabiliser l'ingestion et le transfert de données, encore peu industrialisés Apporter une expertise de haut niveau sur GCP & Data Engineering Missions principales 1. Gouvernance & Contrôle de la plateforme Assurer un contrôle global de la Dataplatform et accompagner les Data Engineers dans les bonnes pratiques d'industrialisation. Identifier les axes d'amélioration techniques et proposer des solutions robustes. Participer aux choix d'architecture technique et Data (modèle médaillon). 2. FinOps, Observabilité & Sécurité Définir et mettre en œuvre les standards d'observabilité. Garantir la performance, la robustesse et la sécurité de la plateforme. Suivre les coûts et proposer des optimisations FinOps. Automatiser le provisioning via Terraform. 3. Développement & Industrialisation Concevoir et industrialiser les pipelines : Cloud Run, Cloud Functions, Pub/Sub, Airflow, Vertex AI. Contribuer à résorber la dette technique. Développer et industrialiser les briques d'ingestion et de transformation. 4. Animation & Documentation Participer à la mise à disposition de nouveaux outils et à la documentation associée. Assurer une démarche d'amélioration continue du run. Animer une équipe de Data Engineer chaque vendredi: partage de bonnes pratiques suivi des évolutions de la Dataplatform retours d'expérience et recommandations 5. Innovation & IA Apporter une vision sur l'usage de l'IA (générative et traditionnelle) pour : réduire les coûts améliorer la productivité faciliter le travail des collaborateurs Contribuer à des projets Vertex AI / ML (ambition forte vers l'IA)
Envie d'un nouveau challenge dans un environnement Data Cloud ? CELAD vous attend ! 🚀 Nous recherchons un(e) Data Engineer GCP pour rejoindre un projet stratégique au sein de la DSI d'un grand groupe bancaire. Vous interviendrez sur le projet DatOps, avec pour objectif de mettre en œuvre les demandes métiers et de faire évoluer les pipelines et traitements de données, en collaboration étroite avec les équipes Production Applicative et DevOps. 🎯 Vos missions Mettre en œuvre de nouvelles ingestions de données. Concevoir et développer les traitements de Data Preparation / Data Transformation. Maintenir et faire évoluer les pipelines de données. Participer aux évolutions techniques de la plateforme Data. Collaborer avec les équipes DevOps et Production Applicative pour traiter les demandes d'évolution de la plateforme. Analyser et résoudre des problématiques techniques complexes. Rédiger des spécifications techniques claires et précises. Participer à l'amélioration continue des traitements et des outils Data. Évoluer dans un environnement Agile / Scrum avec des équipes internationales.
Contexte de la mission: Dans le cadre du développement de nos activités data et de la montée en puissance de nos plateformes analytiques, nous recherchons un Data Engineer pour concevoir, construire et optimiser les pipelines de données alimentant nos applications métiers, nos plateformes analytiques et nos modèles d'intelligence artificielle.Vous rejoindrez une équipe Data pluridisciplinaire (Data Engineers, Data Scientists, Data Analysts, Architectes) et interviendrez sur toute la chaîne de traitement de la donnée : ingestion, transformation, structuration, optimisation, industrialisation et monitoring. Vos responsabilités: Vous serez en charge de: - Concevoir, développer et maintenir des pipelines de données robustes (batch & streaming) - Industrialiser la collecte, la transformation et la mise à disposition des données (ETL/ELT) - Assurer la qualité, la fiabilité et la disponibilité des datasets critiques - Participer à la modélisation et à la structuration des données (Data Lake, Data Warehouse) - Collaborer avec Data Scientists & Analysts pour fournir des données fiables et exploitables - Contribuer aux choix techniques et à l'évolution de l'architecture data - Documenter les pipelines, les schémas et les bonnes pratiques d'exploitation
Contexte : La mission s'inscrit dans le cadre du projet DatOps. Le Data Engineer interviendra en lien étroit avec les équipes de production applicative / DevOps afin de mettre en œuvre techniquement les demandes métiers et de faire évoluer la plateforme Data. Missions principales Mettre en œuvre de nouvelles ingestions de données. Réaliser les opérations de Data Preparation et transformation. Maintenir et faire évoluer les pipelines de données. Participer aux évolutions techniques de la plateforme. Formaliser et transmettre à l'équipe DevOps les demandes d'évolution. Contribuer au maintien et à l'amélioration des solutions Data existantes. Rédiger des spécifications techniques claires et précises. Compétences indispensables Très bonne maîtrise attendue de : GCP – Google Cloud Platform BigQuery Cloud Storage SQL Python orienté objet Pandas et/ou Dask Bash scripting Git Une expérience en environnement Agile / Scrum est également attendue. Anglais professionnel indispensable à l'écrit et à l'oral Compétences appréciées / différenciantes Les technologies suivantes constituent des atouts supplémentaires : Cloud Functions – SAS – Alteryx – XLD/XLR – Control-M – Hadoop – Spark.
Raison d'être du poste : Le Data Integration Engineer intervient en renfort de l'équipe technique pour construire et faire évoluer les flux d'intégration et de diffusion de données de la data platform, dans le cadre de la roadmap V3 pilotée par le Head of Data. Il conçoit et développe les pipelines ETL/ELT ainsi que les API et connecteurs permettant à la plateforme d'exposer et de diffuser les données vers les outils consommateurs de l'écosystème. Il intervient sous la double supervision du volet transformation data (priorités métier) et du volet chef de projet roadmap technique (priorités d'architecture et de delivery). Finalités et Résultats Attendus : 1. Développement des flux d'intégration de données Concevoir, développer et maintenir les pipelines ETL/ELT sur Azure Synapse (et outils associés : Data Factory, éventuellement Fabric/Databricks), en garantissant la fiabilité, la performance et la traçabilité des flux entre systèmes sources et data platform. 2. Développement d'API et de connecteurs Développer des API et connecteurs permettant à la data platform d'exposer et d'envoyer des données vers les autres outils de l'écosystème (BI, applicatifs métier, outils tiers), en respectant les standards d'architecture définis avec le Head of Data. 3. Contribution à la roadmap V3 de la data platform Participer à la mise en œuvre des chantiers techniques de la roadmap V3 (évolution d'architecture, industrialisation des flux, migration ou ajout de briques technologiques), en lien avec le chef de projet roadmap technique. 4. Qualité, fiabilité et documentation Mettre en place des contrôles de qualité et de cohérence sur les flux développés, documenter les logiques de transformation et les spécifications techniques, et contribuer aux bonnes pratiques de développement (Git, CI/CD). 5. Collaboration avec les équipes data et métier Travailler en lien avec les data ingénieurs et les équipes data pour comprendre les besoins d'intégration, remonter les contraintes techniques, et challenger les solutions proposées. Les conditions 📍 Lille 🏢 Présentiel requis durant les 4 premiers mois, puis possibilité de 2 jours de télétravail par semaine. Un poste technique et polyvalent au sein d'une équipe Data, pour un profil qui souhaite travailler à la croisée du développement, de l'intégration et de la Data Platform.
Pour notre client basé à Paris , nous sommes à la recherche d'un profil Data Engineer-BI Garant de l'accès qualitatif aux sources de données. Il s'assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d'en faciliter l'exploitation par les équipes (Data Analysts et Data Scientists). Compétences SQL - Expert - Impératif .. .. XDI Semarchy - Confirmé - Important .. .. .. .. Cloudbees - Confirmé - Important .. .. .. .. ..
Envie d'un nouveau challenge dans un environnement Data Cloud ? CELAD vous attend ! 🚀 Nous recherchons un(e) Data Engineer GCP pour rejoindre un projet stratégique au sein de la DSI d'un grand groupe bancaire. Vous interviendrez sur le projet DatOps, avec pour objectif de mettre en œuvre les demandes métiers et de faire évoluer les pipelines et traitements de données, en collaboration étroite avec les équipes Production Applicative et DevOps. 🎯 Vos missions Mettre en œuvre de nouvelles ingestions de données. Concevoir et développer les traitements de Data Preparation / Data Transformation. Maintenir et faire évoluer les pipelines de données. Participer aux évolutions techniques de la plateforme Data. Collaborer avec les équipes DevOps et Production Applicative pour traiter les demandes d'évolution de la plateforme. Analyser et résoudre des problématiques techniques complexes. Rédiger des spécifications techniques claires et précises. Participer à l'amélioration continue des traitements et des outils Data. Évoluer dans un environnement Agile / Scrum avec des équipes internationales.
Database Engineer with SQL Server and SSIS Our Client is a bank based in Central London who are looking to recruit a Database Engineer with the ability to work with SSIS. You must have solid expertise of at least 5 years experience of working with MS SQL Server and SSIS – SSIS is very important for this position. Responsible for the development and delivery of new systems to automate and streamline processes required by different departments. To support the internal IT department with changes and upgrades to software platforms. To be primary contact for all technical questions relating to in-house bespoke systems and interfacing. Database Support Supporting budgeting and financial planning processes for Finance department, including loading and refreshing of data based on requirements. Understand and conduct the front-end functionality to amend and change hierarchical structures within the environment. Debug and analyse errors and anomalies within Hyperion system as raised by Finance and to pinpoint areas of failure and correct any issues. Liaise with Finance on a daily basis to ensure smooth running of the Hyperion environment. Build data flows within the SQL environment in SSIS packages. Risk & Regulatory Duties Maintain knowledge of all applicable regulatory requirements including the Bank's Risk and Compliance policies and procedures and adhere to these to avoid exposing the Bank to undue risk. Report policy/procedure breaches and areas of potential non-compliance and suspicions promptly upon identification in accordance with the Bank's Risk and Compliance policies. Accurately execute all controls within own area to minimise risk of policy, procedure, and/or regulatory breaches. Identify new risks/control gaps within own area and escalate accordingly to your Line Manager and/or Head of Department. Qualifications/Experience Degree level qualified or equivalent. SQL Programming. Knowledge and Skills Software analysis and design. SQL query language. Data warehouse design concepts, (Inmon or Kimball) Must have solid experience of working with SSIS and building data warehouses and some knowledge of reporting using SSRS. The Client is a Bank based in the Central London. This is a 12 month FTC position with a salary of circa £55K - £70K. You will be required to be in the office at least 3 days week. Do send your CV to us in Word format along with your salary and availability.
Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Engineer (H/F) à Lyon, France. Contexte : Les missions attendues par le Data Engineer (H/F) : Rédaction des spécifications fonctionnelles afin de couvrir l'ensemble des exigences métiers et IT (IHM, interfaces, ...) Elaborer des cahiers de tests détaillés permettant de couvrir l'ensemble des fonctionnalités de l'outil et des interfaces; Participer à la recette avec les différents interlocuteurs : métiers et leurs DSI, équipe projet. Contribuer à la mise à jour de la cartographie applicative existante et cible, Rédiger et/ou contribuer aux livrables du projet : spécifications fonctionnelles, users stories, conception de service, dans le respect des priorités données par le référent fonctionnel applicatif du domaine pour respecter les jalons Rédiger les cahiers de tests Contribuer aux qualifications et recettes Contribuer à la mise en production Reporter au référent fonctionnel applicatif du domaine et aux instances opérationnelles (comités, suivi de recette) et alerter si besoin Produire les documents nécessaire à l'exploitation de la solution (procédures et mode opératoires pour le mode run dont conception de service). Expérience significative dans la gestion de flux financiers (virements, prélévements, flux bancaires)
Le contexte : Vous rejoignez une équipe BI/Data qui délivre et opère les produits data du domaine Marketing & Ventes. Périmètre à la fois build (nouveaux usages, évolutions) et run (support, incidents, qualité de service). Environnement Azure, stack moderne, utilisateurs business exigeants et proches. Votre mission : • Concevoir, développer et industrialiser des rapports et modèles Power BI (modélisation, DAX, performance, sécurité RLS) — pas seulement de la mise en page • Développer et maintenir les pipelines d'ingestion et de transformation (Azure Data Factory, Databricks / PySpark) • Écrire et optimiser le SQL sur des volumétries significatives • Assurer le support niveau 2/3 sur votre périmètre : analyse d'incidents, correction, communication aux utilisateurs • Participer aux rituels agiles de l'équipe (refinement, daily, revue) et à la documentation technique • Contribuer à la fiabilisation : monitoring, tests, qualité de données Le profil : Indispensable : • 3 à 6 ans d'expérience en développement BI/Data • Power BI en développement : modélisation, DAX avancé, optimisation • SQL solide (requêtes complexes, lecture de plan d'exécution, optimisation) • Databricks et PySpark en usage réel projet • Azure Data Factory (orchestration, gestion des erreurs, paramétrage) • Autonomie sur le run : savoir prendre un incident, investiguer, tenir un utilisateur informé Apprécié : • Git / CI-CD / Azure DevOps • ADLS et modèles de type médaillon / lakehouse • Anglais professionnel (échanges avec des équipes internationales) • Connaissance des données Marketing/Ventes
