Trouvez votre prochaine mission ou futur job IT.

Dans le cadre de l'évolution d'une plateforme de gestion et d'exploitation de données patrimoniales et audiovisuelles, nous recherchons un Data Engineer capable de concevoir, développer et maintenir des traitements de données destinés à intégrer, transformer et exploiter de grands volumes d'informations au sein d'un Data Lake. Vous interviendrez dans un environnement Agile aux côtés d'équipes techniques et métiers afin de garantir la qualité, la cohérence et la valorisation des données. Vos missions : Réaliser des audits et analyses de données en vue de leur intégration dans le Data Lake. Traduire les besoins fonctionnels en spécifications techniques. Développer les traitements de migration, transformation et enrichissement des données. Construire et maintenir les flux d'exploitation des données. Assurer le suivi de l'exécution des traitements en production. Analyser et corriger les anomalies détectées par les utilisateurs ou les outils de supervision. Participer à l'amélioration continue des processus de traitement des données. Produire le reporting de vos activités. Les compétences techniques Python ETL (Talend, Pentaho, Dataiku, Informatica, SSIS ou équivalent) Modélisation de données Bases de données relationnelles (SQL) XML / JSON Traitement de données volumineuses Technologies de stockage de données Méthodologies Agile Apprécié Connaissance du secteur audiovisuel Gestion d'archives numériques Patrimoine numérique Humanités numériques Outils de suivi de projet (Jira, Redmine, Azure DevOps...)

ContexteDans le cadre du renforcement des équipes R&D d'un grand compte, nous recherchons un(e) Data Engineer pour participer à la structuration, l'ingestion et la valorisation des données métiers et scientifiques. Vous rejoindrez une équipe dynamique pour concevoir des pipelines de données performants, développer des outils de recherche de bases de données pour les équipes opérationnelles et connecter l'écosystème aux outils d'analyse (SevenBridges). Début de mission : ASAP Durée : 1 an Localisation : Hybride (Télétravail + Présentiel) MissionsIngestion de données : Mettre en place et maintenir l'ingestion de données publiques et internes (scripts Python sur-mesure, Fivetran, Rclone, etc.). Search Data : Participer au développement d'un outil de recherche et d'exploration de bases de données à destination des équipes métiers. Pipelines de transformation : Concevoir et optimiser les workflows d'orchestration et de transformation de la donnée. Interconnexion d'outils : Assurer la connexion et le flux de données vers les plateformes d'analyse spécialisées (notamment SevenBridges).

Contexte de la mission Au sein de la DSI France, le département SI METIER & DATA souhaite renforcer sa capacitée à réaliser des projets Data. Au sein de l'équipe Data et de l'équipe projet, le Data Engineer réalise les intégrations de données, les traitements et les reportings dans PALANTIR Foundry. Il propose et recherche les meilleurs solutions techniques en collaboration avec l'équipe projet et participe au suivi quotidien des flux de données. Le projet concerne en particulier le traitement de données de consommations IT.

Projet Développement et industrialisation d'une plateforme Data sur GCP permettant l'ingestion, la transformation et la mise à disposition de données pour des outils de recherche et d'analyse métier,. Activités - Concevoir et maintenir les pipelines d'ingestion de données publiques et internes. - Développer et industrialiser les traitements et transformations de données avec SQL, Python et dbt. - Mettre en place et maintenir les workflows d'orchestration avec Argo Workflows / Airflow. - Stocker, structurer et exposer les données via BigQuery et GCS, puis assurer leur connexion aux outils d'analyse métier. - Déployer et maintenir les composants Data sur GCP, notamment via Cloud Run, et gérer les droits d'accès avec IAM. - Industrialiser l'infrastructure avec Terraform et contribuer aux chaînes CI/CD GitLab. - Participer au monitoring, à la gouvernance et à la qualité des données ainsi qu'à l'amélioration de l'expérience utilisateur des outils internes.

Dans le cadre d'un projet Data stratégique, nous recherchons un Tech Lead Data Engineer pour accompagner la conception, le développement et l'industrialisation de solutions Data dans un environnement technique exigeant. 🎯 Vos missions Concevoir et faire évoluer des architectures Data robustes et scalables Piloter techniquement les développements et accompagner les Data Engineers Concevoir et industrialiser des pipelines de données Intervenir sur des architectures Data temps réel / streaming avec Kafka Développer et maintenir des solutions sur Palantir Foundry Garantir la qualité, la performance et la fiabilité des traitements Data Participer aux choix d'architecture et aux bonnes pratiques de développement Assurer la revue de code et accompagner la montée en compétences de l'équipe Collaborer avec les équipes Data, Architecture, DevOps et métiers 🛠️ Environnement technique Indispensables : Kafka Palantir Foundry Solide expertise en Data Engineering Conception de pipelines Data Architecture Data / traitement distribué Python et/ou SQL Expérience en environnement de production Atouts : Kafka Streams / Confluent Spark / PySpark APIs / microservices CI/CD, Git, Docker, Kubernetes Cloud Expérience en lead technique ou en accompagnement d'équipe 👤 Profil recherché De formation supérieure en informatique ou Data, vous disposez d'au moins 7 ans d'expérience en Data Engineering, dont une expérience significative en lead technique. Vous êtes à l'aise dans des environnements complexes et avez une forte capacité à challenger les choix techniques, concevoir des solutions robustes et accompagner les équipes dans leur mise en œuvre. Une expérience concrète sur Palantir Foundry et Kafka est indispensable.

Nous recherchons un(e) Tech Lead Data Engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Assurer la mise en œuvre de l'accès, du référencement et de la qualité de la donnée • Assurer l'industrialisation, la supervision et l'intégration des solutions • Rédiger les normes de développement • Participer à la rédaction du manuel d'exploitation En tant que Tech Lead, vous savez : • Vous présenter et promouvoir des architectures data face au client • Identifier et comprendre les besoins métiers • Former, encadrer et faire évoluer les consultants juniors • Participer à la réponse aux appels d'offres (avant-vente) Référence de l'offre : dedbg6qwsh

En bref : Data Engineer (F/H) - CDI - Marignane - Salaire 35-40k brut annuel Notre client, PME dans le domaine industriel, recherche un Data Engineer (F/H) pour développer son activité à Marignane. Vos missions : - Concevoir, développer et maintenir les pipelines de données (ETL/ELT) permettant la collecte, la transformation et le chargement des données depuis diverses sources. - Modéliser et optimiser les architectures de données (data warehouse, data lake) en lien avec les besoins métiers. - Garantir la qualité, la fiabilité et la performance des flux de données (monitoring, tests, gestion des erreurs). - Industrialiser et automatiser les traitements de données en respectant les bonnes pratiques de développement (versioning, CI/CD, documentation). - Travailler en étroite collaboration avec les Data Analysts, Data Scientists et équipes métiers pour comprendre leurs besoins et mettre à disposition des données exploitables. - Participer à la mise en place et à l'évolution des outils et technologies data (bases de données, orchestrateurs, outils de streaming). - Assurer la sécurité et la conformité des données traitées (gouvernance, RGPD). - Optimiser les performances des requêtes et des traitements (tuning, indexation, partitionnement). - Documenter les architectures, les flux de données et les processus mis en place. - Assurer une veille technologique sur les outils et pratiques data engineering.

Démarrage : ASAP Localisation : Lille (59) avec 3 jours sur site/semaine Pour le compte d'un grand acteur international du secteur retail, nous recherchons un Data Engineer confirmé pour rejoindre une équipe Data pluridisciplinaire au sein d'un environnement cloud à forte volumétrie. Le contexte : Vous intégrerez une équipe composée de Data Engineers et d'experts DevSecFinOps, intervenant sur des projets stratégiques liés à la Supply Chain et à la valorisation de la donnée. Vous contribuerez à la conception, au développement et au maintien de solutions Data tout en participant à une démarche FinOps visant à optimiser les coûts d'exploitation des plateformes cloud. Vos missions : Build Participer aux projets Data liés aux enjeux Supply. Concevoir des solutions alignées avec les standards et frameworks Data de l'entreprise. Développer et modéliser les flux de données sous la gouvernance des architectes Data. Contribuer au développement d'applications Data. Réaliser les tests et validations techniques. Assurer le suivi et le reporting de vos activités. Run Maintenir en conditions opérationnelles plusieurs référentiels de données multi-sources ainsi que différentes applications Data. Gérer les incidents et demandes de support. Assurer les mises en production via les outils de CI/CD. Superviser et suivre les flux de données. Expertise Monter progressivement en compétence sur le système d'information et les domaines métiers associés. Participer à l'amélioration continue des pratiques Data et FinOps. Environnement technique : ✅ GCP ✅ BigQuery ✅ Apache Airflow ✅ Terraform ✅ GitLab ✅ Datalake ✅ Exposition de données / APIs Data ✅ Google Data Studio ✅ Python ✅ Shell

Missions principales : -Conception & Développement : bâtir des pipelines ETL/Data robustes et développer/maintenir les API d'exposition des données. -Architecture Databricks : optimiser les traitements et participer aux choix d'architecture selon l'approche Medallion (Bronze/Silver/Gold). -Qualité & Performance : garantir la fiabilité et l'optimisation des performances des traitements, et gérer la résolution d'incidents de production. -Leadership Technique : accompagner l'équipe sur les bonnes pratiques de dev et le déploiement de solutions.

Rejoignez une entreprise reconnue dans le secteur de l'événementiel et des services B2B, implantée en région parisienne et présente à l'international. Dans le cadre de la transformation de son système d'information et de la modernisation de son environnement Data, l'entreprise poursuit notamment la migration progressive de son écosystème vers Microsoft Fabric. Afin de renforcer l'équipe IT & Data, nous recherchons un Data Engineer / Consultant Data SQL & Microsoft Fabric capable d'intervenir à la fois sur le maintien en conditions opérationnelles de l'entrepôt de données existant, le traitement des demandes quotidiennes et l'accompagnement de cette transformation technologique. La mission comporte donc une dimension importante de RUN et de support, mais également des sujets d'évolution, d'intégration de données et de migration vers les nouveaux outils Microsoft. Missions Gestion et support de l'entrepôt de données : Assurer le suivi et le maintien en conditions opérationnelles du Data Warehouse. Analyser et corriger les anomalies rencontrées sur les traitements et flux de données. Optimiser les requêtes, traitements et performances des bases de données. Participer à la fiabilisation et à la qualité des données. Support et traitement des demandes Data : Prendre en charge les différents tickets liés à la Data. Investiguer et résoudre les incidents techniques. Traiter les demandes métiers et réaliser les évolutions mineures nécessaires. Accompagner les utilisateurs et les équipes internes dans la résolution des problématiques rencontrées. Migration vers Microsoft Fabric : Participer à la migration progressive de l'écosystème Data vers Microsoft Fabric. Accompagner l'équipe dans l'adaptation des traitements et flux existants. Contribuer à la fiabilisation de la nouvelle architecture et à la transition entre les environnements historiques et Fabric. Intégration et évolution des flux : Développer et maintenir des traitements ETL sous SSIS. Participer à différents projets d'intégration de données avec des solutions tierces. Contribuer notamment à des sujets d'intégration de données avec Brevo et d'autres applications métiers. Intervenir sur différents besoins d'interfaçage et d'alimentation des systèmes Data. Documentation et amélioration continue : Documenter les traitements, flux et procédures existantes. Capitaliser sur les incidents rencontrés et les solutions apportées. Participer au partage des bonnes pratiques avec l'équipe interne. Contribuer à l'amélioration continue de l'environnement Data.

Notre client, acteur majeur de la distribution et de la logistique, recherche son futur Data Engineer (H/F) dans le cadre du développement de ses outils de pilotage et de valorisation des données, pour son site basé au sud de Toulouse à environ 30 minutes. Vos missions : Intégré(e) à l'équipe Informatique, vous devrez : * Concevoir et maintenir les flux de données entre les différents systèmes métiers. * Développer des pipelines de données fiables et performants. * Structurer les architectures permettant la collecte, le stockage et le traitement des données. * Automatiser les traitements et optimiser les performances des processus Data. * Intervenir sur les environnements SAP BusinessObjects et les outils d'intégration de données. * Collaborer avec les équipes BI et métiers afin de répondre aux besoins d'analyse et de reporting. * Garantir la qualité, la disponibilité et la sécurité des données. * Assurer une veille technique et contribuer à l'évolution des solutions existantes. Les compétences techniques * Python * SQL * Linux / Unix * Concepts Big Data et traitement de données * ETL et intégration de données (BODS apprécié) * SAP BusinessObjects apprécié * Connaissances GCP, Java, C/C++, VBA ou Access constituant un atout

Dans le cadre du développement et du maintien en condition opérationnelle de plateformes Data & Big Data, nous recherchons un Data Engineer spécialisé en Streaming pour intervenir à la fois sur les activités de Build et de Run. Vous évoluerez dans un environnement technique moderne, avec des enjeux d'industrialisation, d'automatisation et de déploiement de services Data dans le Cloud. Vos missionsIndustrialiser et automatiser les opérations d'administration, d'exploitation et de déploiement. Participer à la conception et à l'évolution de services Big Data orientés Streaming. Intervenir en support niveau 3 sur les incidents de production. Accompagner les développeurs dans l'utilisation des technologies Data et Streaming. Définir et faire appliquer les bonnes pratiques et règles d'ingénierie. Être force de proposition sur l'évolution des architectures et solutions Big Data. Concevoir et déployer de nouveaux services Data dans le Cloud, notamment sur OpenShift. Mettre en place des services autour du Streaming et du Processing, dans des environnements Cloud et on-premise. Participer à la sécurisation et à la fiabilisation de la production des plateformes Big Data. Assurer l'accompagnement et le support des équipes IT métiers. Contribuer au maintien en condition opérationnelle (MCO) des applications. Participer aux astreintes dans le cadre des activités RUN. Environnement techniqueStreaming / Big Data : Kafka, Flink, Kafka Connect, Stream Processing Développement : Java, Scala, Python, Go, Shell, Spring Boot, Java Multithreading, API REST DevOps / Cloud : Kubernetes, Docker, OpenShift, Ansible Industrialisation : automatisation, CI/CD, déploiement, supervision et exploitation Profil recherchéExpérience significative en Data Engineering / Big Data. Solide expertise sur les architectures Streaming, notamment Kafka. Bonne maîtrise de Java et idéalement de Spring Boot et du multithreading. Expérience des environnements Kubernetes / Docker / OpenShift. Sensibilité forte aux problématiques de production, industrialisation et MCO. Capacité à intervenir sur des sujets Build comme Run et à assurer du support niveau 3. Autonomie, rigueur et capacité à accompagner techniquement les équipes de développement. Mots-clés : Data Engineer, Big Data, Streaming, Kafka, Flink, Kafka Connect, Java, Spring Boot, Kubernetes, Docker, OpenShift, Cloud, Stream Processing, API REST, DevOps, MCO.

Nous recherchons un Data Engineer pour contribuer à la modernisation d'une plateforme data dans le secteur financier. Vous participerez à la conception et au développement de pipelines de données, à l'intégration de données dans Snowflake via DBT, à la modélisation des données et aux contrôles de qualité. Vous travaillerez également sur les flux batch/streaming, le SQL, les tests, la CI/CD, l'optimisation des performances ainsi que la gouvernance et la sécurité des données dans un environnement international.

Dans le cadre de plusieurs projets stratégiques de mise en œuvre d'assiettes communes pour les usages Finance et Risques, nous sommes à la recherche d'un(e) Data Engineer confirmé(e). Vos missions : Architecture & Conception : Contribuer activement aux choix d'architecture et de conception technique en étroite collaboration avec les architectes, Tech Leads et développeurs. Développement & Implémentation : Mettre en œuvre et développer les solutions techniques Big Data retenues pour fiabiliser et industrialiser les flux de données. Industrialisation & Qualité : Assurer l'industrialisation des développements et des tests en s'appuyant sur des solutions Open Source et l'ordonnancement des flux (UC4). Collaboration Internationale : Travailler au sein d'un environnement anglophone dynamique en appliquant rigoureusement les méthodologies Agile.