Trouvez votre prochaine mission ou futur job IT.

En tant que Data Engineer, vous rejoindrez une équipe constituée de 3 personnes et vos missions principales seront de : Concevoir, développer et maintenir des pipelines de données fiables Collecter, transformer et structurer les données issues de sources variées Garantir la qualité, la sécurité et la performance des flux de données Optimiser les bases, entrepôts et plateformes data Collaborer avec les équipes Data, IT et métier Documenter les traitements et assurer la supervision des jobs Assurer une veille technologique sur les outils, architectures et bonnes pratiques Data

Nous recherchons un Data Engineer Data Engineer Confirmé / Senior Compétences techniques: SQL - Confirmé - Impératif TALEND - Confirmé - Important DATAIKU - Confirmé - Important STAR SCHEMA - Confirmé - Important Description détaillée: Dans le cadre du développement de services de valorisation de données, notre client a conçu et mis en place une plateforme de traitement de ses données appelée « Datalab ». Le Datalab facilite la création de requêtes, et la production de rapports et tableaux de bords évolutifs et adaptés aux besoins des utilisateurs sous le contrôle du client Il s'agit de reproduire au sein du Datalab (Dataiku, Vertica, Tableau Software) une liste de rapports et tableaux de bord existants dans les infocentres actuels conçus à travers des Univers Business Object. Compétences attendues : Relationnel Bon relationnel Capacité à travailler en équipe Capacité à présenter son travail Capacité à travailler en mode sprint et à respecter les délais Outils Très bonne connaissance du modèle en étoile / star schema DATAIKU PYTHON TALEND BDD VERTICA SQL avancé Socle de données De formation data Connaissance et expérience significative des principes et bonnes pratiques de développement d'un socle data industrialisé dans les standard Connaissance et expérience significative des principes et bonnes pratiques de MEP Expérience significative dans les gestions des init et delta de données Sujets attendus avec connaissance théoriques et expérience significative : collecte de données, implémentation du star schema en faits/dimensions dans les règles de l'art Expérience des tests et validation de données (secondaire) Full présentiel sur les premiers mois.

Dans le cadre de notre croissance et de nos projets de transformation digitale, nous recherchons un(e) Senior Data Engineer pour accompagner nos clients dans la conception, le développement et l'industrialisation de plateformes Data modernes. Vous interviendrez sur des projets stratégiques autour des architectures Data Cloud, des plateformes Big Data, des traitements temps réel et de la valorisation des données, dans des environnements techniques exigeants et à forte volumétrie. En collaboration avec les Architectes Data, Data Scientists, Business Analysts, DevOps et équipes métiers, vous participerez à la conception de solutions robustes, évolutives et sécurisées répondant aux enjeux de performance et de gouvernance des données. Vos missionsEn tant que Senior Data Engineer, vous serez amené(e) à : Concevoir et développer des architectures Data évolutives et performantes. Développer, maintenir et optimiser des pipelines de données (ETL / ELT) en mode batch et streaming. Concevoir et exploiter des plateformes Data Lake, Data Warehouse et Lakehouse. Mettre en œuvre des solutions d'ingestion de données issues de multiples sources (API, bases de données, fichiers, IoT, événements temps réel). Développer des traitements distribués pour de forts volumes de données. Industrialiser les traitements Data grâce aux pratiques DevOps et DataOps. Concevoir les chaînes CI/CD des plateformes Data. Garantir la qualité, la traçabilité, la sécurité et la gouvernance des données. Optimiser les performances des traitements et les coûts d'exploitation des infrastructures Cloud (FinOps). Participer à la définition des architectures techniques et aux choix technologiques. Assurer le monitoring, l'observabilité et le support des plateformes Data. Produire la documentation technique et accompagner les équipes dans le partage des bonnes pratiques. Participer aux revues de code et contribuer à l'amélioration continue des plateformes. Selon les projets, vous pourrez également intervenir sur : la définition de référentiels techniques, l'accompagnement des équipes de développement, le mentorat de Data Engineers, ou l'évolution vers un rôle de Tech Lead ou de Data Architect.

Au sein d'une équipe Data & Digital, vous intervenez sur le développement et l'industrialisation de solutions Big Data à forte volumétrie dans un environnement exigeant et innovant. Vous contribuerez à la conception, au développement et à l'exploitation de plateformes Data reposant sur des technologies Cloud et Big Data. Vos missionsDévelopper des applications Data et des API REST en Java/Spring. Participer aux études de faisabilité et aux choix techniques. Concevoir et implémenter des traitements Big Data. Mettre en œuvre les bonnes pratiques de qualité logicielle (TDD/BDD). Automatiser les déploiements et contribuer à l'industrialisation des environnements. Optimiser les performances applicatives et la stabilité des plateformes. Accompagner les équipes métiers et participer au support des phases de tests. Assurer le maintien en conditions opérationnelles des solutions. Profil recherchéBac+5 École d'Ingénieur ou équivalent. Expérience significative en Data Engineering et environnements Big Data. Excellente maîtrise de Java. Solides compétences sur Spark et Hadoop. Expérience des environnements Cloud AWS et/ou Azure. Bonne maîtrise de Python et/ou Scala. Expérience des API REST et du framework Spring. Environnement techniqueJava Spring Boot Spark Hadoop HDFS Oozie Scala Python AWS Azure Shell Unix Git / GitHub Containers TDD / BDD

📍 Contexte Société Générale recherche un Data Engineer / Expert Hadoop pour assurer l'administration, la maintenance et l'évolution de sa plateforme Big Data Cloudera CDP. La mission porte sur la fiabilité, la performance, les montées de version et l'automatisation de l'infrastructure Big Data. 🎯 Missions principales Administrer et maintenir les clusters Hadoop Cloudera CDP. Participer aux montées de version des composants Hadoop. Résoudre les incidents techniques complexes et intervenir en task force. Automatiser les déploiements, le patching et l'exploitation avec Ansible et Terraform/Terragrunt. Garantir la disponibilité, la performance et la sécurité de la plateforme. Gérer les changements (tests, rollback, mise en production). Collaborer avec Cloudera et les équipes internes. Rédiger la documentation technique. 🛠 Stack technique Big Data : Hadoop, Cloudera CDP 7.1.9, Spark Ingestion : Kafka, Apache NiFi Automatisation : Ansible, Terraform, Terragrunt, AWX Versioning / Scripting : Shell, Git, GitHub

Contexte de la mission Au sein de la Direction des Systèmes d'Information Métier (DSIM) d'un acteur majeur du secteur de l'assurance vie et de la finance, nous recherchons un Ingénieur Data expérimenté (niveau III) pour rejoindre une équipe DATA Vous interviendrez sur la construction, le maintien et l'optimisation des plateformes et pipelines de données, avec pour objectif de garantir la fiabilité et l'accessibilité de la donnée à l'échelle de l'organisation. Les missions principales incluront : Conception de pipelines (ETL/ELT) : développement et optimisation de flux de données pour l'alimentation des entrepôts et DataMarts (Dataiku, ODI, DBT) Modélisation : conception et mise en œuvre de modèles de données (MCD, modélisation dimensionnelle) adaptés aux besoins métier de l'assurance vie Industrialisation : structuration des processus de préparation, transformation et gouvernance de la donnée via Dataiku Visualisation & Reporting : intégration des données pour exploitation dans des outils BI, notamment Tableau Maintenance & Optimisation : garantir la performance et la qualité des flux et de l'infrastructure data

Notre client, acteur majeur de la finance quantitative à Paris, renforce son équipe Data Reliability. Constituée il y a quatre ans et composée de 6 personnes (bientôt 7), cette équipe applique les principes du SRE au monde de la donnée : elle prend en charge l'ensemble des activités de support liées à la data afin de décharger les équipes de développement et de data engineering des problématiques de production. Environnement international (plus de 70 nationalités, bureaux à New York et Londres), pratiques de support structurées et process ITIL en place. Missions Assurer le support de production N2/N3 sur les domaines data : prise en charge des alertes et des incidents pendant le shift Paris, avec obligation de résultat Investiguer et résoudre les problèmes de qualité de données : données manquantes, valeurs fausses ou nulles, incohérences entre systèmes Explorer et analyser la donnée en Python (notebooks) et en SQL pour diagnostiquer les anomalies Développer et maintenir des scripts de monitoring en Python pour détecter les anomalies en amont Requêter la base Oracle centrale de l'écosystème (requêtes et jointures) ainsi que les autres sources de l'environnement hybride Faire remonter et documenter les problématiques de données récurrentes, contribuer à leur traitement à la source avec les équipes data engineering Contribuer aux pratiques de data reliability engineering de l'équipe : automatisation des tâches récurrentes, amélioration continue du monitoring et des procédures Interagir au quotidien avec les data engineers, les développeurs et les chercheurs quantitatifs, en français et en anglais

Vous maîtrisez le métier d'ingénieur données sur Databricks (sur AWS). Vos responsabilités seront les suivantes : • Concevoir, développer et maintenir des pipelines de données évolutifs sur la plateforme Databricks. • Gérer les processus d'ingestion de données provenant de diverses sources dans l'environnement Databricks (ingestion XML, Kakfa, etc.). • Mettre en œuvre et optimiser les processus ETL (Extraction, Transformation, Chargement) afin de garantir une transformation et une intégration efficaces des données. • Garantir la qualité, l'intégrité et la sécurité des données sur l'ensemble des pipelines. • Surveiller et résoudre les problèmes de performance des pipelines de données, en mettant en œuvre les maintenances et mises à jour nécessaires. • Documenter les processus, les spécifications techniques et les bonnes pratiques des pipelines de données. • Assurer le transfert de connaissances vers l'équipe d'ingénieurs données qui prendra en charge la gestion de la plateforme à l'avenir. Parler couramment l'anglais/néerlandais ou l'anglais/français est un impératif.

En tant que Data Engineer, vous intervenez sur la conception, le développement et l'optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d'équipes agiles et pluridisciplinaires, en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d'un fort esprit analytique et d'une grande rigueur Vous êtes autonome, proactif et doté d'un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches, gérer les contraintes et respecter vos engagements Vous disposez d'un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence, Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d'interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d'un bagage en software engineering, vous permettant d'écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d'intégration, revue de code) Vous êtes à l'aise avec les outils de versioning (Git) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l'évolutivité et de l'observabilité

Vous souhaitez rejoindre un projet innovant dans le domaine de la data et travailler au sein d'un environnement dynamique ? Rejoignez Soors pour intervenir sur des missions de Data Engineering autour de technologies cloud et data avancées. Missions principales : - Participer à la rénovation des solutions data de la Supply Chain. - Intervenir en maîtrise d'œuvre DATA sur des développements de couche basse et des sujets Data as a Product (DaaP). - Concevoir, déployer et industrialiser des workflows complexes dans Dataiku. - Exploiter les services Google Cloud Platform, BigQuery et Cloud Storage pour construire des architectures performantes, robustes et sécurisées. - Optimiser les traitements et requêtes sur de gros volumes de données. - Automatiser les déploiements et mettre en œuvre les pratiques DevOps et CI/CD. - Identifier et résoudre les goulets d'étranglement, assurer la qualité des données exposées aux équipes métiers et aux outils de restitution BI. Environnement technique : - Dataiku, Google Cloud Platform, BigQuery, Cloud Storage, ETL, SQL, Python, Airflow, Docker, Kubernetes, DevOps, CI/CD. Collaboration et modalités : - Travail en équipe pluridisciplinaire, interaction avec les équipes métiers. - Mission basée à Eysines avec possibilité de télétravail partiel. - Autonomie et rigueur sont attendues dans la gestion des tâches fonctionnelles et techniques, ainsi qu'un bon esprit d'analyse et de synthèse.

Contexte de la mission Dans le cadre du renforcement d'une équipe Data au sein d'un grand groupe, nous recherchons un Data Engineer expérimenté pour intervenir sur des projets stratégiques de collecte, transformation et valorisation de la donnée dans un environnement Big Data. Le consultant évoluera au sein d'une equipe agile en collaboration avec les équipes métiers, PO/BA, architectes et développeurs. Vos missions Participer à la définition de l'architecture Data en lien avec les architectes et l'équipe projet. Analyser les besoins métiers avec les PO/BA et proposer des solutions adaptées. Concevoir et développer des pipelines Data et des traitements ETL. Développer des solutions d'ingestion, de stockage et de transformation de données provenant de multiples sources. Automatiser et orchestrer les flux de données batch et streaming. Mettre en place les tests unitaires et automatisés. Déployer les solutions sur les différents environnements. Assurer le support de production, le suivi des incidents et l'amélioration continue des performances. Contribuer à l'amélioration des bonnes pratiques de développement et de qualité de code. Environnement technique Big Data : Hadoop Cloudera Traitement de données : Spark (Batch et Streaming) Langages : SQL, xDI Bases de données SQL : Teradata, Hive, Phoenix Bases NoSQL : HBase, MongoDB DevOps & CI/CD : Git, Jenkins, Artifactory, XL Release Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Méthodologie : Agile / Scrum

Vous êtes passionné(e) par les architectures Data Cloud et souhaitez intervenir sur des projets stratégiques autour de Snowflake ? Rejoignez une équipe d'experts et accompagnez nos clients dans la conception et l'optimisation de leurs plateformes de données. Vos missionsConcevoir et faire évoluer des solutions basées sur Snowflake. Développer et optimiser des pipelines de données (ELT/ETL). Garantir les performances, la sécurité et la gouvernance de la plateforme. Collaborer avec les équipes Data Engineering, BI et Architecture. Participer aux choix techniques et promouvoir les bonnes pratiques. Pourquoi rejoindre cette opportunité ?Des projets Data Cloud à fort impact. Un environnement technique stimulant. Des perspectives d'évolution et de montée en compétences. Une équipe passionnée et collaborative.

Dans le cadre de l'évolution d'une plateforme Data Cloud stratégique, nous recherchons un Data Engineer Azure confirmé à expert, capable d'intervenir sur les enjeux de gouvernance, de partage et d'industrialisation de la donnée dans un environnement Azure Databricks. MissionsFaire évoluer une plateforme Data Lake existante sur Azure. Participer à l'intégration et au déploiement du Unity Catalog Databricks. Définir et mettre en œuvre les modèles de gouvernance et de gestion des accès aux données. Industrialiser les mécanismes de partage de données. Mettre à disposition les données sous forme de tables Delta Lake / Iceberg. Contribuer aux études techniques et aux Proofs of Concept (POC). Accompagner le déploiement d'un Data Lake gouverné. Compétences requisesIndispensables : Azure Databricks Unity Catalog Spark Data Engineering Azure GitHub Azure DevOps Gouvernance des données Architecture Data Lake Appréciées : Java JavaScript / TypeScript Formats Delta Lake et Iceberg Profil recherchéConsultant senior à expert Forte autonomie technique. Expérience significative sur des plateformes Data Cloud à grande échelle. Capacité à intervenir aussi bien sur les sujets d'architecture que de mise en œuvre opérationnelle. Excellentes capacités de communication et de collaboration avec les équipes Data et Infrastructure.

MissionsLe rôle vise à apporter l'expertise nécessaire pour soutenir les projets data et l'écosystème Databricks au sein du groupe. L'équipe met à disposition des environnements d'évaluation et de test, définit les standards et bonnes pratiques d'usage, et accompagne les entités ayant des besoins spécifiques sur des périodes dédiées. Les interlocuteurs sont principalement des Data Specialists et Data Citizens. Les environnements techniques s'appuient sur Databricks AWS et Azure. Les activités se structurent autour de trois axes : Data Engineering : développement et opérations data DevOps / DataOps : déploiement, automatisation, Infrastructure-as-Code, administration des plateformes Expertise : veille technologique, anticipation des évolutions, test et validation des nouvelles fonctionnalités Dans ce contexte, les responsabilités confiées sont les suivantes : Administrer, surveiller et maintenir les espaces de travail Databricks du COE. Élaborer, documenter et faire évoluer les standards, bonnes pratiques et blueprints groupe. Garantir la qualité et la conformité des services fournis aux entités. Accompagner les équipes métiers et data dans l'adoption de l'écosystème Databricks et leur transition vers les normes groupe. Tester, évaluer et recommander les nouvelles fonctionnalités de l'éditeur ou d'outils complémentaires pour améliorer l'expérience globale. Veiller au respect des politiques groupe et accompagner leur mise en œuvre. Contribuer à la conception et à la réalisation des use cases stratégiques portés par les entités.

Notre client, acteur industriel dans le secteur de l'aéronautique, recherche son futur Data Engineer (H/F) à Toulouse, pour renforcer sa capacité de production sur ses chantiers data engineering et la structuration de son décisionnel (DWH, datamarts, dont Data Mart Finance). Vos missions : * Intégré à l'équipe Data BI, orienté production, vous produisez des livrables concrets et - directement exploitables * Concevoir et fiabiliser les flux de transformation / ETL * Intégrer et consolider les données issues des différents ERP * Structurer le datawarehouse et les datamarts (dont le Data Mart Finance) * Concevoir et faire évoluer les modèles de données * Produire la documentation technique et fonctionnelle associée Les compétences techniques : * SQL * Modélisation décisionnelle (DWH / datamarts) * Outil ETL du marché (SSIS, Talend, Azure Data Factory ou équivalent) * Intégration de données * Environnement multi-ERP * Power BI en aval

Contexte du poste Dans le cadre d'un projet de transformation majeur au sein d'un acteur de référence des télécommunications, nous recherchons un Expert ClickHouse / Data Engineer Senior en freelance. Vous rejoindrez une équipe en charge de la valorisation de la consommation télécom, qui traite d'importants volumes de données issus des CDR (traces de sessions). Au cœur de l'écosystème se trouve une plateforme ClickHouse, alimentée par des pipelines d'ingestion Kafka et associée à différents outils et scripts Python, SQL et dashboards Grafana. L'équipe engage aujourd'hui une transformation importante de son architecture avec l'objectif de faire évoluer en profondeur les modèles de données, les vues et les pipelines existants. Nous recherchons donc un profil disposant d'une véritable expertise ClickHouse en environnement de production, capable à la fois de prendre en main la plateforme, de la faire évoluer et de transmettre son expertise aux ingénieurs de l'équipe. Missions Missions principales Reprendre en main la plateforme ClickHouse existante : configuration, ingestion, pipelines, schémas et dashboards Concevoir et faire évoluer les modèles de données ClickHouse Travailler sur les problématiques de MergeTree, partitionnement et vues matérialisées Optimiser les requêtes analytiques sur des volumes de données importants Participer à la refonte des pipelines dans le cadre de la transformation de l'architecture Maintenir et faire évoluer les pipelines développés en Python Participer à l'exploitation et à l'administration de ClickHouse Identifier et mettre en place les bonnes pratiques permettant de pérenniser la plateforme Mentorat & transmission La mission comporte une forte dimension de transfert de compétences. L'objectif n'est pas uniquement de disposer d'un expert capable de traiter les sujets ClickHouse, mais de permettre progressivement aux ingénieurs internes de devenir autonomes. Vous serez donc amené à : Accompagner techniquement les ingénieurs de l'équipe Partager les bonnes pratiques ClickHouse Documenter les choix d'architecture et d'exploitation Organiser des sessions de partage et de montée en compétence Éviter la création d'une dépendance technique autour de votre expertise Stack technique Compétences indispensables ClickHouse : expérience significative en production MergeTree Partitionnement Vues matérialisées Modélisation de données Optimisation de requêtes analytiques à forte volumétrie Exploitation et administration ClickHouse Python SQL Compétences appréciées Kafka – ingestion de données Grafana – dashboards et monitoring Superset – visualisation de données Environnement complémentaire C Lua