Trouvez votre prochaine mission ou futur job IT.

Vous maîtrisez le métier d'ingénieur données sur Databricks (sur AWS). Vos responsabilités seront les suivantes : • Concevoir, développer et maintenir des pipelines de données évolutifs sur la plateforme Databricks. • Gérer les processus d'ingestion de données provenant de diverses sources dans l'environnement Databricks (ingestion XML, Kakfa, etc.). • Mettre en œuvre et optimiser les processus ETL (Extraction, Transformation, Chargement) afin de garantir une transformation et une intégration efficaces des données. • Garantir la qualité, l'intégrité et la sécurité des données sur l'ensemble des pipelines. • Surveiller et résoudre les problèmes de performance des pipelines de données, en mettant en œuvre les maintenances et mises à jour nécessaires. • Documenter les processus, les spécifications techniques et les bonnes pratiques des pipelines de données. • Assurer le transfert de connaissances vers l'équipe d'ingénieurs données qui prendra en charge la gestion de la plateforme à l'avenir. Parler couramment l'anglais/néerlandais ou l'anglais/français est un impératif.

Contexte de la mission Au sein de la Direction des Systèmes d'Information Métier (DSIM) d'un acteur majeur du secteur de l'assurance vie et de la finance, nous recherchons un Ingénieur Data expérimenté (niveau III) pour rejoindre une équipe DATA Vous interviendrez sur la construction, le maintien et l'optimisation des plateformes et pipelines de données, avec pour objectif de garantir la fiabilité et l'accessibilité de la donnée à l'échelle de l'organisation. Les missions principales incluront : Conception de pipelines (ETL/ELT) : développement et optimisation de flux de données pour l'alimentation des entrepôts et DataMarts (Dataiku, ODI, DBT) Modélisation : conception et mise en œuvre de modèles de données (MCD, modélisation dimensionnelle) adaptés aux besoins métier de l'assurance vie Industrialisation : structuration des processus de préparation, transformation et gouvernance de la donnée via Dataiku Visualisation & Reporting : intégration des données pour exploitation dans des outils BI, notamment Tableau Maintenance & Optimisation : garantir la performance et la qualité des flux et de l'infrastructure data

Bonjour à tous ! Dans le cadre d'un projet stratégique, nous recherchons un Data Engineer expérimenté disposant d'une solide expertise Azure Databricks. Missions Développement et optimisation de pipelines de données Big Data Traitement et transformation de données volumineuses avec PySpark Conception et évolution d'une architecture Lakehouse Manipulation de données complexes (JSON imbriqués) Industrialisation des traitements et amélioration des performances Participation aux évolutions de la plateforme Data Collaboration avec les équipes métiers et techniques Environnement technique Azure Azure Databricks PySpark / Spark Python SQL Delta Lake JSON Git / GitLab / GitHub Azure Data Factory (plus) Profil recherché Minimum 5 ans d'expérience en Data Engineering / Big Data Forte expérience Databricks et PySpark Maîtrise des environnements Azure Autonomie sur le développement et l'industrialisation de traitements Data Expérience des architectures Data Lake / Lakehouse Compétences appréciées Power BI Azure Synapse Analytics 📍 Localisation : Île-de-France 🏠 Télétravail : hybride 📅 Démarrage : ASAP

Missions Le rôle vise à apporter l’expertise nécessaire pour soutenir les projets data et l’écosystème Databricks au sein du groupe. L’équipe met à disposition des environnements d’évaluation et de test, définit les standards et bonnes pratiques d’usage, et accompagne les entités ayant des besoins spécifiques sur des périodes dédiées. Les interlocuteurs sont principalement des Data Specialists et Data Citizens. Les environnements techniques s’appuient sur Databricks AWS et Azure . Les activités se structurent autour de trois axes : Data Engineering : développement et opérations data DevOps / DataOps : déploiement, automatisation, Infrastructure-as-Code, administration des plateformes Expertise : veille technologique, anticipation des évolutions, test et validation des nouvelles fonctionnalités Dans ce contexte, les responsabilités confiées sont les suivantes : Administrer, surveiller et maintenir les espaces de travail Databricks du COE. Élaborer, documenter et faire évoluer les standards, bonnes pratiques et blueprints groupe. Garantir la qualité et la conformité des services fournis aux entités. Accompagner les équipes métiers et data dans l’adoption de l’écosystème Databricks et leur transition vers les normes groupe. Tester, évaluer et recommander les nouvelles fonctionnalités de l’éditeur ou d’outils complémentaires pour améliorer l’expérience globale. Veiller au respect des politiques groupe et accompagner leur mise en œuvre. Contribuer à la conception et à la réalisation des use cases stratégiques portés par les entités.

Dans le cadre du renforcement de ses équipes Data, notre client recherche un profil Analytics Engineer / Data Engineer GCP pour intervenir sur la transformation, la modélisation et l’industrialisation de données à destination des équipes métiers. Le profil attendu doit être à l’aise à la frontière entre data engineering et analytics, avec une forte maîtrise de DBT et de l’écosystème GCP / BigQuery. Missions Développer et maintenir des modèles de données avec DBT Concevoir des transformations fiables, documentées et industrialisées Travailler sur des datasets dans BigQuery Participer à la qualité, la cohérence et la fiabilité des données Optimiser les requêtes, modèles et traitements data Collaborer avec les Data Analysts, Data Engineers et équipes métiers Contribuer aux bonnes pratiques de développement data : documentation, versioning, tests, CI/CD Participer à la mise à disposition des données pour des usages BI / reporting, notamment Power BI Compétences attendues Obligatoire : DBT LookML Confirmé : GCP BigQuery SQL avancé Modélisation de données Data Quality / tests / documentation Souhaitable : Terraform Power BI Git / GitHub / GitLab CI/CD Expérience en environnement data platform / data product

Nous recherchons un Data Engineer Data Engineer Confirmé / Senior Compétences techniques: SQL - Confirmé - Impératif TALEND - Confirmé - Important DATAIKU - Confirmé - Important STAR SCHEMA - Confirmé - Important Description détaillée: Dans le cadre du développement de services de valorisation de données, notre client a conçu et mis en place une plateforme de traitement de ses données appelée « Datalab ». Le Datalab facilite la création de requêtes, et la production de rapports et tableaux de bords évolutifs et adaptés aux besoins des utilisateurs sous le contrôle du client Il s’agit de reproduire au sein du Datalab (Dataiku, Vertica, Tableau Software) une liste de rapports et tableaux de bord existants dans les infocentres actuels conçus à travers des Univers Business Object. Compétences attendues : Relationnel Bon relationnel Capacité à travailler en équipe Capacité à présenter son travail Capacité à travailler en mode sprint et à respecter les délais Outils Très bonne connaissance du modèle en étoile / star schema DATAIKU PYTHON TALEND BDD VERTICA SQL avancé Socle de données De formation data Connaissance et expérience significative des principes et bonnes pratiques de développement d'un socle data industrialisé dans les standard Connaissance et expérience significative des principes et bonnes pratiques de MEP Expérience significative dans les gestions des init et delta de données Sujets attendus avec connaissance théoriques et expérience significative : collecte de données, implémentation du star schema en faits/dimensions dans les règles de l'art Expérience des tests et validation de données (secondaire) Full présentiel sur les premiers mois.

Dans le cadre du développement d’une plateforme Big Data à l’échelle internationale, le consultant interviendra sur la conception et la mise en œuvre d’un socle permettant de centraliser, traiter et distribuer un volume important de données issues de plusieurs pays. Les principales missions incluent : La conception et le développement de pipelines de données (ingestion, traitement, normalisation, distribution) La mise en place d’architectures Big Data robustes et scalables L’amélioration continue du framework technique (monitoring, CI/CD, tests, performance, résilience, qualité de code) Le respect des standards d’architecture et des guidelines internes La collaboration avec les parties prenantes du projet pour promouvoir les bonnes pratiques et les solutions communes L’environnement est international avec une équipe basée principalement à Paris et des interactions possibles avec d’autres sites en Europe.

Dans un environnement de transformation data, l’équipe construit et maintient des plateformes et produits data permettant de répondre aux besoins métiers tout en s’intégrant à une architecture groupe basée sur des standards modernes (Snowflake, cloud, data governance). Missions principales Concevoir des architectures data scalables (Raw / Curated / Consumption) Développer et optimiser des pipelines ETL/ELT Construire des modèles de données (star schema, data marts, KPI) Mettre en place des workflows Airflow et transformations dbt Garantir la qualité, la gouvernance et la sécurité des données (RBAC) Optimiser les performances et les coûts (notamment Snowflake) Collaborer avec les équipes métiers et BI

Contexte du Projet : Le projet "Verbatim Unlock" vise à transformer les retours clients (verbatims) en insights actionnables via l'Intelligence Artificielle. Notre objectif est de doter nos équipes opérationnelles et stratégiques d'outils performants pour analyser et comprendre en profondeur l'expérience client. Mission Principale : En tant que Data Engineer BI & Vizualisation, vous serez le pont entre les données brutes, les modèles d'IA complexes et les utilisateurs finaux. Votre mission sera de concevoir, développer et déployer des solutions interactives et performantes, qu'il s'agisse de tableaux de bord ou d'applications dédiées, permettant l'exploration visuelle des insights verbatims. Vous garantirez que nos données deviennent des leviers de décision concrets et immédiatement exploitables. Responsabilités Clés : Développement d'applications interactives : Concevoir et construire des applications data sur Streamlit pour offrir des interfaces utilisateur sur-mesure et riches, permettant l'exploration des outputs des modèles d'IA et la découverte d'insights sur l'expérience client. Visualisation de données avancée : Au-delà des applications, développer des tableaux de bord interactifs sur Tableau pour des analyses spécifiques, garantissant clarté et pertinence. Modélisation et transformation des données avec dbt : Collaborer avec les Data Engineers pour définir et implémenter des pipelines de transformation des données en utilisant dbt. Vous serez responsable de la modélisation des données dans Snowflake pour les rendre optimales pour la visualisation et l'utilisation dans les applications. Optimisation des performances : Garantir la rapidité et la fiabilité des requêtes et des chargements de données dans les interfaces utilisateur, en tirant parti des capacités de Snowflake . Gestion et optimisation des ressources cloud : Surveiller et analyser l'utilisation des ressources de calcul et de stockage, notamment sur Snowflake , afin d'optimiser les coûts sans compromettre la performance ou la qualité des services. Conception UI/UX : Appliquer les meilleures pratiques d'expérience utilisateur (UX) et d'interface utilisateur (UI) pour créer des applications et dashboards intuitifs, ergonomiques et engageants. Définition des exigences techniques : Spécifier les prérequis techniques pour le passage en production des solutions développées (performance, sécurité, évolutivité).

Le rôle du développeur senior dans ce projet consistera à concevoir et mettre en œuvre les composants suivants de la plateforme : L’ingestion des données Le traitement et la normalisation des données La distribution des données aux différents acteurs La construction et l’amélioration d’un framework commun incluant le monitoring, la CI/CD, les tests, la performance, la résilience, les pratiques de développement et la qualité du code Missions Développer et maintenir les composants de la plateforme Big Data « One Pulse » Garantir la conformité avec les frameworks internes et les directives d’architecture Collaborer avec les parties prenantes du projet afin de promouvoir les bonnes pratiques et proposer des fonctionnalités communes pour la plateforme Concevoir et mettre en œuvre des pipelines d’ingestion, de traitement, de normalisation et de distribution des données Construire et améliorer les frameworks liés au monitoring, à la CI/CD, aux tests, à la performance, à la résilience et à la qualité du code Outils & Environnement Ingénierie logicielle en Python : conception, tests, processus de développement Architecture et technologies Big Data Conception, modélisation et optimisation de pipelines de données dans des environnements distribués Connaissance du cloud AWS : un plus, mais non indispensable

Rôle et responsabilités des Développeurs • Développement et expertise Réaliser des développements de complexité moyenne. Assurer la maintenance applicative (Gestion des obsolescence et vulnérabilités) • Contribution agile Participer aux rituels techniques (estimation de charge, engagement sur le sprint). • Architecture et standards Concevoir et mettre en oeuvre l’architecture applicative et technique. Veiller au respect des normes, bonnes pratiques et standards Groupe. • Qualité et documentation Garantir la qualité des livrables (revues de code, bonnes pratiques). Assurer la production et la maintenance de la documentation projet. • RUN Assurer le suivi d’exploitation des traitements PySpark en production : supervision, résolution des incidents, analyse des performances et amélioration continue des traitements - Maîtrise avancée des environnements de conteneurisation et d’orchestration, notamment Kubernetes et Docker, ainsi que de la gestion sécurisée des secrets avec HashiCorp Vault - Maîtrise avancée des traitements Big Data, incluant PySpark 3 ainsi que la manipulation de formats de données distribués (Parquet, gestion des buckets). - Maîtrise opérationnelle de l’orchestration de workflows de données à l’aide de l’outil Apache Airflow. - Maîtrise confirmée des bases de données relationnelles, particulièrement PostgreSQL. - Maîtrise des outils de gestion de code et de qualité logicielle, incluant GitLab, Fortify et SonarQube. - Maîtrise des outils de stockage objet, notamment via l’utilisation des commandes MinIO. - Maîtrise des outils de transfert de fichiers, en particulier CFT (Cross File Transfer). Pour l’ensemble du projet de titrisation Bail : • Dossiers d’architecture (schémas, principes techniques, choix structurants). • Backlog enrichi et priorisé en lien avec les parties prenantes. • Composants applicatifs développés, testés et documentés. • Comptes rendus des revues de code et plan d’amélioration continue. • Documentation projet à jour (Spécifications techniques, JIRA, Page Confluence, Runbook). • Reporting d’avancement sur le périmètre confié. • RUN : Reporting de type Morning check

Dans le cadre du développement de la plateforme data, nous recherchons un(e) Data Engineer pour concevoir, construire et maintenir des pipelines de données robustes sur la plateforme Databricks. Vous évoluerez au sein d’une équipe data (Data Engineering / Data Platform / Analytics Engineering) et contribuerez à la mise en place d’une architecture moderne orientée cloud et data lakehouse. Missions principales Concevoir et développer des pipelines de données batch et streaming sur Databricks Construire et optimiser des traitements de données distribuées avec Apache Spark Modéliser des données dans une architecture lakehouse (Bronze / Silver / Gold) Mettre en place des workflows d’ingestion (ETL / ELT) depuis différentes sources (API, bases SQL, fichiers, events streaming) Assurer la qualité, la fiabilité et la gouvernance des données Optimiser les performances des jobs Spark (coût, latence, scalabilité) Mettre en place CI/CD pour les pipelines data Collaborer avec les Data Analysts, Data Scientists et équipes produit Participer à la mise en place des bonnes pratiques DataOps

Dans le cadre d'un projet de valorisation de la donnée au sein d'un acteur majeur du secteur public, nous recherchons un Data Engineer confirmé pour intervenir sur une plateforme de traitement et d'exploitation des données (Dataiku, Vertica, Tableau Software). La mission s'inscrit dans un contexte sensible et réglementé, nécessitant un profil habilitable. L'environnement de travail est structuré autour d'une plateforme analytique interne — le Datalab — dont l'objectif est de centraliser la production de rapports et de tableaux de bord à destination des équipes métier. Le projet consiste à migrer et reproduire, au sein de ce Datalab, un ensemble de rapports et tableaux de bord existants, initialement développés via des univers Business Objects, en les adaptant aux standards et outils de la nouvelle plateforme. Vous interviendrez en mode sprint, dans une organisation Agile, avec des délais à respecter et une capacité de restitution de vos travaux attendue auprès des parties prenantes. Le périmètre technique couvre la modélisation en étoile (star schema), l'intégration et la transformation de données (ETL/ELT), la gestion des flux initiaux et différentiels (init/delta), ainsi que la validation et les tests de données. Vous contribuerez à l'industrialisation du socle de données selon les bonnes pratiques en vigueur, en assurant la qualité, la traçabilité et la maintenabilité des livrables produits. Responsabilités : - Reproduire les rapports et tableaux de bord existants au sein de la plateforme Dataiku/Vertica/Tableau Software - Concevoir et implémenter des modèles en étoile (faits/dimensions) selon les règles de l'art - Développer et maintenir les pipelines de données (ETL/ELT) via Talend et SQL avancé - Gérer les flux de données initiaux (init) et différentiels (delta) dans le respect des standards d'industrialisation - Assurer la qualité des données à travers des tests et des processus de validation - Collaborer avec les équipes métier pour comprendre les besoins et restituer les travaux réalisés - Contribuer à la documentation technique et au respect des bonnes pratiques de mise en production (MEP) - Travailler en mode sprint et respecter les jalons définis dans le cadre du projet

Contexte de la mission: Dans le cadre du développement de nos activités data et de la montée en puissance de nos plateformes analytiques, nous recherchons un Data Engineer pour concevoir, construire et optimiser les pipelines de données alimentant nos applications métiers, nos plateformes analytiques et nos modèles d'intelligence artificielle.Vous rejoindrez une équipe Data pluridisciplinaire (Data Engineers, Data Scientists, Data Analysts, Architectes) et interviendrez sur toute la chaîne de traitement de la donnée : ingestion, transformation, structuration, optimisation, industrialisation et monitoring. Vos responsabilités: Vous serez en charge de: - Concevoir, développer et maintenir des pipelines de données robustes (batch & streaming) - Industrialiser la collecte, la transformation et la mise à disposition des données (ETL/ELT) - Assurer la qualité, la fiabilité et la disponibilité des datasets critiques - Participer à la modélisation et à la structuration des données (Data Lake, Data Warehouse) - Collaborer avec Data Scientists & Analysts pour fournir des données fiables et exploitables - Contribuer aux choix techniques et à l'évolution de l'architecture data - Documenter les pipelines, les schémas et les bonnes pratiques d'exploitation

Nous recherchons un(e) Data Engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : q2760gj6i0

Conception et Développement • Concevoir et développer des vues de données virtualisées dans Denodo (base views, derived views, interface views) à partir des spécifications techniques fournies • Intégrer les sources de données hétérogènes (bases relationnelles, APIs REST/SOAP, fichiers, cloud, web services) • Optimiser les performances des requêtes (cache management, query optimization, data movement) • Créer et maintenir les data services et APIs pour exposer les données aux applications consommatrices • Implémenter les mécanismes de gouvernance et de traçabilité des données • Réaliser des tests de qualité, performance et cohérence des données • Documenter l'ensemble des développements et bonnes pratiques (wiki, Jira, Data Catalog) • Participer à la mise en production et au suivi des services de données Collaboration agile et gouvernance - Travailler en étroite collaboration avec le PO pour assurer la livraison des différents projets - Participer aux rituels agiles : daily, sprint planning, review, retrospectives. - Contribuer à la documentation fonctionnelle et technique du produit Data. - Promouvoir les bonnes pratiques Dataiku (modularité, réutilisabilité, qualité, performance).