En tant que Data Engineer (F/H), vous jouez un rôle central dans la construction, la maintenance et l'optimisation de l'architecture data de l'entreprise. Vos principales responsabilités : Concevoir des pipelines ETL pour le traitement de données. Optimiser les bases de données et les flux de données. Faire transiter et intégrer les données dans le Cloud (AWS, Azure, GCP). Gérer la qualité et la sécurité des données (gouvernance). Collaboration avec les équipes transverses : Participer aux projets en interagissant avec les experts métiers, les architectes techniques et les chefs de projet. Stack technique : Solide expérience en conception et développement de pipelines ETL/ELT. Maîtrise de langages tels que Python, SQL, Spark… Bonne connaissance des environnements cloud (AWS, Azure ou GCP) et services associés (ex : Glue, BigQuery, Data Factory…). Maîtrise d'outils de traitement de données distribuées (Spark, Databricks, etc.). Connaissance des bases de données relationnelles et NoSQL (PostgreSQL, MongoDB…). Pratique des outils de versioning (Git) et d'intégration continue (CI/CD). Compréhension des problématiques de sécurité, de qualité et de gouvernance des données.
A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ Strasbourg - Expérience de 2 ans minimum Vous aimez transformer les données en décisions concrètes ? Cette opportunité est faite pour vous ! Nous poursuivons notre développement et recherchons actuellement un.e Data Engineer pour intervenir chez un de nos clients, intervenant dans le secteur bancaire. Contexte : Vous interviendrez directement sur des projets d'intégration et d'exploitation de données, contribuant à rendre l'information accessible et exploitable pour les équipes métier. Voici un aperçu détaillé de vos missions : - Concevoir et maintenir des processus d'intégration de données (ETL / ELT), idéalement avec Semarchy xDI (anciennement Stambia) - Participer à la modélisation de systèmes décisionnels et à l'organisation des données - Manipuler et optimiser les bases de données avec le SQL - Collaborer avec les équipes BI sur des outils comme SAP/BO Situation géographique : Strasbourg (67)
TON CHALLENGE: Prendre part à des projets stimulants dans le secteur du retail ou banque assurance en travaillant avec une équipe soudée, expérimentée et méthodique sur les tâches suivantes : Concevoir et développer des interfaces utilisateur interactives en utilisant Python, SQL Collaborer avec les concepteurs et les développeurs back-end Optimiser les performances de l'application Optimiser les performances de l'application Effectuer des tests et assurer la qualité du code
Lieu : Brest (29) Salaire : 50 à 55 000 euros annuel brut Rythme : 2 jours de télétravail à l'issue d'une période d'intégration Nous recherchons pour notre client, acteur industriel spécialisé, un Data Engineer BI dans le cadre d'un projet de renfort de l'équipe décisionnelle. VOS MISSIONS : Au sein d'une équipe composée de 4 personnes et rattaché au Responsable Décisionnel, vos missions consistent à : 1. Acquisition & intégration des données En appui des Référents SI Métier, recueillir les besoins métiers et formaliser des cas d'usage décisionnels Assurer l'extraction des données depuis différentes sources (ERP, fichiers, APIs…) Concevoir et développer les nouveaux flux d'alimentation (ETL/ELT), dans le respect des bonnes pratiques de développement TALEND Mettre en place des contrôles de qualité, de cohérence et de traçabilité des données 2. Transformation & modélisation Concevoir et maintenir les traitements de transformation de données Concevoir et documenter les modèles de données (datamarts, DWH, modèles analytiques) robustes, performants et orientés usages métiers Elaborer et déployer des univers BO et modèles sémantiques POWER BI Optimiser les performances des traitements et des modèles 3. Conception de solutions BI et analytiques Développer des rapports, états et tableaux de bord décisionnels (Business Object Construire et mettre en production des rapports de Dataviz (PowerBI) Produire/maintenir une documentation claire et exploitable (rétro-documentation, référentiels) et documenter le data-lineage Contribuer à la conduite du changement et à l'appropriation des outils par les métiers 4. Migration & modernisation des flux Analyser les flux historiques, identifier les écarts et proposer des ameliorations Participer activement à la migration des flux existants de BODS vers TALEND et à la mise en qualité du patrimoine existant (rationalisation, gestion des erreurs…) Garantir la continuité de service et la fiabilité des données durant la migration 5. Structuration & bonnes pratiques Contribuer à la définition, la mise en place et la documentation des bonnes pratiques de développement SI Décisionnel En appui de la responsable SI Décisionnel, être garant des choix de modélisation, des principes ETL/ELT et de l'application des bonnes pratiques BI Contribuer à la mise en place de la gouvernance de la donnée (qualité, référentiels, rôles) 6. Maintenance & amélioration continue Assurer le maintien en conditions opérationnelles des flux existants sur BODS et TALEND Faire évoluer et maintenir les rapports SI Décisionnels existants Gérer les incidents et assurer le support aux utilisateurs en traçant vos actions dans notre outil de ticketing JIRA Participer à l'amélioration continue de l'architecture data et des processus Environnement Technique : Talend, SAP BO, Power SI, SQL, BODS
Contexte La Direction des Systèmes d'Information métier est en charge du maintien en conditions opérationnelles et de l'évolution stratégique du Système d'Information dédié à l'assurance vie et à la finance. Enjeux stratégiques : La valorisation de la donnée est au cœur de la stratégie de transformation pour 2025-2026 de notre client . Pour soutenir cette ambition, nous recherchons un Ingénieur Data expérimenté, de niveau III pour intégrer l'équipe de développement DATA DSIM. Vous rejoindrez notre nouvelle équipe DATA pour construire, maintenir et optimiser les plateformes et les pipelines de données, garantissant ainsi la fiabilité et l'accessibilité de la donnée pour l'ensemble de l'entreprise. Mission Le consultant Data sera Rattaché(e) au chef de projet de l'équipe, ce sera un contributeur technique essentiel dans le cycle de vie de la donnée. Le consultant sera au cœur du nouveau modèle DATA décliner. Les missions principales incluront : • Conception de Pipelines (ETL) : • Concevoir, développer et optimiser des flux de données robustes et performants (ETL/ELT) pour l'alimentation des entrepôts et des DataMart. • Modélisation : Participer activement à la conception et à la mise en œuvre de modèles de données (MCD, modélisation dimensionnelle) adaptés aux besoins métier de l'Assurance Vie. • Industrialisation : Industrialiser les processus de préparation, de transformation et de gouvernance de la donnée, notamment via l'outil Dataiku • Visualisation et Reporting : Assurer la bonne intégration des données pour leur exploitation dans des outils de Business Intelligence, notamment Tableau. • Maintenance et Optimisation : Garantir la performance, la qualité et le maintien en condition opérationnelle de l'infrastructure et des flux de données.
Nous recherchons un Data Engineer Hadoop pour intégrer une équipe dynamique dans le secteur bancaire. Ce rôle exige une expertise solide en gestion et analyse de données, avec un accent particulier sur l'utilisation de systèmes Hadoop, ainsi que des compétences en développement Python et SQL. RésuméLe poste de Data Engineer Hadoop consiste à travailler au sein d'une équipe pour gérer et analyser des données dans un environnement bancaire. L'objectif principal est d'assurer le bon fonctionnement des systèmes Hadoop tout en apportant des solutions basées sur Python et SQL. Responsabilités :Gérer et optimiser des pipelines de données en utilisant Hadoop et BigQuery. Développer des scripts en Python pour le traitement des données. Participer à la méthodologie agile en contribuant aux sprints Scrum. Collaborer avec l'équipe pour assurer des sauvegardes en cas de besoin. Assurer la qualité des données à travers l'écriture de requêtes SQL. Exigences clés :5-6 ans d'expérience en tant que Data Engineer. Expérience avec Hadoop. Compétences solides en Python. Connaissance de SQL. Anglais requis. Atouts :Expérience avec BigQuery. Connaissance des méthodologies Agile. Expérience dans le domaine bancaire. Connaissance de Google Cloud Platform (GCP). Autres Détails :Lieu : 94. Démarrage : ASAP. Durée : >12 mois. Télétravail : 2 jours / semaine.
Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l'humain et la responsabilité sociétale au cœur de ses valeurs. C'est votre future équipe Les équipes de ConsortIA, sont des acteurs de référence de la Data, du Développement Digital et de l'Ingénierie Média. En combinant ces expertises, nous concevons des systèmes d'information augmentés, intégrés, agiles et sécurisés, au service de la performance et de la transformation numérique de nos clients. Data Engineer Senior H/F C'est votre mission Vous êtes passionné·e par les environnements Big Data, le Cloud et les architectures distribuées ? Ce poste est fait pour vous. En tant que Data Engineer Senior, vous participez à la modernisation des plateformes Data d'un grand acteur bancaire, en contribuant aux projets de migration et d'industrialisation des traitements Big Data. Côté build : Participer aux études de faisabilité (POC/POV) autour des plateformes Data Cloudera CDP, Flexible Lake House et Google Cloud Platform. Concevoir et développer les solutions de migration des traitements Big Data vers les nouvelles architectures. Préparer les données (nettoyage, transformation, chiffrement et chargement) avant leur migration. Réaliser les développements Spark et SQL nécessaires à l'adaptation des traitements existants. Concevoir et exécuter les tests unitaires, d'intégration et de performance. Documenter les solutions mises en œuvre et contribuer aux estimations de charge des projets. Côté run : Participer au déploiement en production et aux opérations de bascule des applications. Assurer le monitoring des traitements et le diagnostic des incidents via l'analyse des logs et des métriques Spark. Garantir la période de support post-migration et accompagner les équipes métiers lors des phases de validation. Collaborer avec les équipes architecture, plateforme et les différentes squads Data. Contribuer à l'amélioration continue des plateformes et des pratiques d'industrialisation. C'est votre parcours Vous avez au moins 7 ans d'expérience en Data Engineering dans des environnements Big Data et Cloud. Vous appréciez les projets de transformation technique, les architectures distribuées et les environnements collaboratifs où innovation et qualité vont de pair. C'est votre expertise : Spark, SQL et traitements batch distribués Cloudera CDP Parquet, Apache Iceberg Google Cloud Platform (GCS, Dataproc ou GKE) Kubernetes (exécution de jobs Spark) Git, GitLab CI/CD, Docker Kafka et technologies de streaming (notions appréciées) Lecture de logs, monitoring et diagnostic des traitements Méthodologie Agile Jira, Confluence, GitHub Copilot C'est votre manière de faire équipe : Sens du service Esprit d'analyse et de synthèse Excellent relationnel et communication Esprit collaboratif Organisation et adaptabilité Autonomie Curiosité Capacité à travailler avec des équipes techniques et métiers C'est notre engagement Chez Consort Group, vous êtes un·e expert·e qu'on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain Une vraie proximité managériale Des formations accessibles en continu Des engagements concrets : inclusion, égalité, solidarité Un package RH complet : mutuelle, carte TR, CSE, prévoyance Une culture du feedback et des projets qui font sens C'est clair Le process de recrutement : Un premier échange téléphonique avec notre team recrutement Un entretien RH ainsi qu'un échange métier avec un.e ingénieur.e d'affaires Un test ou un échange technique avec un.e de nos expert.es Un dernier point avec votre futur.e manager ou responsable de mission Et si on se reconnaît : on démarre ensemble C'est bon à savoir Lieu : Villejuif Contrat : Freelance Télétravail : [Hybride selon mission] TJM = à partir de 600€ Famille métier : Data Engineering / Big Data / Cloud Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c'est le vôtre.
Nous recherchons un(e) data Engineer DBT Snowflake capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : x3qjzedtly
En quelques motsCherry Pick est à la recherche d'un Support & Data Reliability Engineer(H/F), pour le compte de l'un de ses clients qui opère dans le domaine financier. Description🚀 Contexte de la missionAu sein du département Data Technology d'un acteur majeur de la gestion d'actifs et de la finance quantitative, vous intégrez l'équipe en tant que Support & Reliability Engineer (H/F). Votre rôle sera d'assurer la gestion, la robustesse et la fiabilité maximale des systèmes et processus de données. Vous travaillerez en étroite collaboration avec les équipes de développement, les Data Engineers, les Data Scientists et les Quantitative Developers pour garantir la disponibilité, la qualité et les performances des pipelines de données critiques. 🎯 Missions principales & Rôle1. Support Data & Opérations : Assurer le support N1 sur le périmètre Data, gérer les alertes en temps réel et résoudre les incidents durant le shift de Paris. Agir en tant que Gatekeeper pour la gestion des mises en production (Data Release Management / CMRM process) et la fiabilité des données. Définir et faire appliquer les politiques de gestion des données (sauvegarde, restauration, sécurité, conformité). 2. Automation, Monitoring & Fiabilité : Maintenir des pipelines de données fiables, performants et scalables (collecte, stockage, traitement, diffusion). Mettre en place un monitoring proactif et continu pour détecter les anomalies de qualité, d'intégrité et de consistance des données. Automatiser les tâches récurrentes pour optimiser l'efficacité opérationnelle et réduire le risque d'erreur humaine. 3. Collaboration Transverse & Conduite du Changement : Collaborer avec les développeurs quantitatifs, Data Engineers et Data Scientists pour comprendre leurs besoins et résoudre les dysfonctionnements. Promouvoir les meilleures pratiques de développement axées sur la fiabilité des données. Rédiger et maintenir la documentation technique et opérationnelle. 🏁 ObjectifsGarantir la haute disponibilité et la cohérence des pipelines de données en production. Réduire le temps moyen de résolution (MTTR) des incidents Data durant le shift de Paris. Industrialiser et automatiser les processus récurrents de maintenance et de monitoring.
Contexte du poste Nous recherchons un Analytics Engineer / Data Engineer pour participer au développement d'une plateforme Data Analytics intégrée à une suite logicielle d'analyse technico-économique. En collaboration directe avec le Product Owner, vous serez responsable de l'implémentation des cas d'usage liés à la performance et aurez une vraie responsabilité sur la conception de l'architecture analytique et la modélisation des données. Missions principales Concevoir et faire évoluer l'architecture OLAP de la plateforme Modéliser les données selon les approches Kimball / étoile / flocon Développer et optimiser les transformations SQL et les modèles analytiques Concevoir les pipelines d'ingestion et d'orchestration avec Apache Airflow Développer des DAGs Python robustes, modulaires et maintenables Intégrer les données issues de bases OLTP vers l'environnement analytique Structurer les transformations avec dbt Implémenter et maintenir la couche sémantique avec Cube.js Concevoir les dashboards et métriques métiers sous Apache Superset Optimiser les performances, le cache et la gestion des droits d'accès / RLS Participer à l'industrialisation des développements avec Git et Docker
Rejoignez une task force de Data Engineers au sein d'un grand groupe du secteur de la grande distribution, pilotant des projets stratégiques majeurs liés à l'optimisation du pricing, de l'assortiment, des planogrammes personnalisés et des systèmes d'assistance augmentée. Vous évoluerez dans un environnement Cloud (GCP) moderne, travaillerez avec DBT et SQL sur des volumes de données massifs, et contribuerez à la transformation analytique du groupe. Au cœur de cette mission, vous participerez à la construction et l'évolution d'une plateforme de données moderne, en garantissant l'excellence technique, la scalabilité et la maintenabilité des architectures déployées. Vous travaillerez en étroite collaboration avec une équipe de Data Scientists et d'Analytics Engineers, dans une approche agile et itérative, au sein d'une communauté Data active et engagée. Le contexte est celui d'une transformation data stratégique majeure : le groupe s'appuie massivement sur l'analytique, le machine learning et les systèmes agentiques pour optimiser ses opérations métier et créer de la valeur différenciée. Votre expertise sera déterminante pour soutenir cette ambition. Responsabilités : - Concevoir et définir les architectures cibles des projets de données à venir, en garantissant leur scalabilité, leur sécurité, leur maintenabilité et leur évolutivité - Construire, optimiser et orchestrer des pipelines de données (ETL/ELT) robustes pour transformer et manipuler des bases de données à très grande échelle - Maintenir et faire évoluer les applications de production gérées par l'équipe, en assurant leur stabilité et leur performance - Apporter un support technique solide aux Data Scientists pour faciliter l'exploration, l'industrialisation et le déploiement de leurs modèles analytiques et prédictifs - Garantir l'application des bonnes pratiques de développement logiciel (CI/CD, revues de code, tests automatisés, versioning) au sein de l'équipe - Participer activement à la communauté Data de la plateforme : partage de connaissances, tech talks, veille technologique et montée en compétences collective Télétravail : 2 jours par semaine Localisation : Massy
Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Ops Engineer (H/F) à Lille, France. Les missions attendues par le Data Ops Engineer (H/F) : Accélérer le parcours DataOptimiser le cycle de vie complet des pipelines data, en réduisant considérablement les frictions depuis l'installation locale jusqu'au déploiement en production. Promouvoir l'Inner SourceCo-développer, industrialiser et standardiser les initiatives issues de la communauté (par exemple : wrappers YAML personnalisés, templates CI/CD, hooks pre-commit, solutions avancées d'observabilité). Facilitation transverseÊtre le référent technique permettant d'aligner les pratiques d'ingénierie locales avec les standards globaux de développement logiciel. Excellence d'ingénierie et conception technique nouvelle générationIngénierie augmentée par l'IAPiloter l'évolution du développement des pipelines en intégrant des outils d'IA (Copilots, automatisations GenAI) dans le quotidien des ingénieurs data. Optimisation des boucles de feedbackConcevoir des patterns, outils et frameworks permettant un développement local fluide, des tests efficaces et une validation rapide. Excellence logicielle (Software Craftsmanship)Promouvoir les pratiques modernes au sein de l'ingénierie data, notamment : les contrats de données (data contracts), des chaînes CI/CD robustes, les tests automatisés, une supervision et un monitoring homogènes. Challenge, conseil et alignementPréparer l'avenir et faire évoluer la stratégieRemettre constamment en question les paradigmes existants afin de préparer les prochaines étapes de maturité : transition vers un Open Lakehouse, optimisation des coûts (FinOps), intégration de la confidentialité et de la conformité (RGPD by design), support de modèles de données avancés. Représenter la voix de la communautéÊtre le principal porte-parole des besoins de la communauté des ingénieurs data.
Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Ops Engineer (H/F) à Lille, France. Les missions attendues par le Data Ops Engineer (H/F) : - Garantir une visibilité universelle (Observabilité) : Intégrer des standards ouverts (comme OpenLineage) au cœur de notre plateforme. L'objectif est de cartographier la traçabilité de bout en bout, de monitorer la fiabilité des données et d'automatiser la remédiation en cas d'anomalie, quels que soient les outils utilisés par les métiers. - Tracer le golden path des développeurs (DevEx) : Concevoir des bibliothèques, des utilitaires d'automatisation et des briques logicielles autonomes dotées de capacités agentiques. Ce dispositif permettra de supprimer les frictions du cycle de mise en production.
Dans le cadre du renforcement d'une équipe Data, nous recherchons un Data Engineer Microsoft Fabric confirmé afin de participer à la conception, au développement et à l'industrialisation des traitements de données sur la plateforme Microsoft Fabric. Vous interviendrez sur l'ensemble de la chaîne de traitement des données, de l'ingestion à la mise à disposition, en garantissant la qualité, la performance et la fiabilité des pipelines. Vos missionsConcevoir, développer et maintenir des pipelines de données sous Microsoft Fabric. Développer les traitements de transformation de données en Python, PySpark et SQL. Concevoir et exploiter des architectures Lakehouse, Delta Lake et Data Warehouse. Paramétrer et configurer les différents composants de l'écosystème Microsoft Fabric. Garantir la qualité, la performance et la fiabilité des traitements de données. Automatiser les déploiements et contribuer à l'industrialisation des développements (CI/CD). Participer aux phases de tests, de recette et de mise en production. Assurer la maintenance évolutive et corrective des solutions Data. Collaborer avec les équipes Data, BI, Architecture et Métiers afin de répondre aux besoins fonctionnels et techniques. Participer à l'amélioration continue des bonnes pratiques de développement et de gouvernance des données.
Dans le cadre du développement de ses plateformes Data & IA, notre client recherche un Data Engineer Databricks Senior capable de concevoir, développer et industrialiser des pipelines de données à grande échelle. Le consultant interviendra sur l'ensemble du cycle de vie des projets Data, en lien avec les équipes métiers, Data Scientists, Architectes et équipes Cloud. MissionsRecueillir et analyser les besoins métiers. Concevoir des architectures Data modernes sur Databricks. Développer et maintenir des pipelines d'ingestion et de transformation. Optimiser les performances et la qualité des traitements. Participer à la mise en place des bonnes pratiques Data Engineering. Assurer les phases de tests, recette et mise en production. Collaborer avec les équipes Data Science, BI et Architecture. Contribuer aux sujets IA et valorisation des données. Documenter les solutions et accompagner les utilisateurs. Compétences requisesTechniquesDatabricks (indispensable) Apache Spark / PySpark Python SQL avancé Azure Data Factory ou équivalent Azure Synapse / Microsoft Fabric (apprécié) Git CI/CD Data Lake / Lakehouse Modélisation de données FonctionnellesAnalyse des besoins métiers Animation d'ateliers Rédaction de spécifications Communication avec des interlocuteurs non techniques
