Trouvez votre prochaine offre d’emploi ou de mission freelance Data Engineering

Pour un GRD, le Factory Lead Data pilote les solutions Data soutenant les processus métiers liés aux échanges de marché, au comptage, aux clients, aux fournisseurs d'énergie, aux obligations réglementaires et plus largement à l'exploitation et la valorisation des données du domaine Marché. Expériences requises : Expérience avec une plateforme Data Cloud Expérience dans l'évolution d'équipes vers un modèle Data Driven / Data Centric Expérience dans le secteur de l'énergie Anglais niveau B2 Poste basé en Belgique. TJM incluant tes les frais pour une présence sur site à raison de 3 jours par semaine

Ops - Data Engineering, DevOps ou DataOps Vitrolles ASAP Missions principales Assurer le maintien en conditions opérationnelles des plateformes Data. Gérer les incidents et les demandes des équipes projets et des utilisateurs. Participer à l'automatisation et à l'industrialisation des solutions. Réaliser les déploiements sur les différents environnements (intégration, préproduction, production). Contribuer à l'amélioration continue des outils d'exploitation et de déploiement. Participer au troubleshooting et à l'optimisation des performances des plateformes. Compétences requises Administration Dataiku Administration et optimisation Starburst / Trino Control-M (création de jobs, calendriers, dépendances, profiles de connexion) Cloud Public : AWS et/ou Azure DevOps et automatisation des déploiements Gestion des environnements de production critiques Compétences appréciées CI/CD Apache Airflow Kubernetes GitLab Grafana Power BI Docker Connaissances Agile / Scrum Notions de cryptographie Profil recherché Formation Bac+5 en informatique, systèmes d'information ou équivalent. Expérience de 3 à 7 ans dans des environnements Data Engineering, DevOps ou DataOps. Bonne capacité d'analyse et de résolution d'incidents. Autonomie, rigueur et esprit d'équipe. Appétence pour les environnements Big Data et Cloud. 2 seniors 2 confirmés

Missions Mise en place de pipelines d'ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE). Transformation des données via dbt selon les modèles métiers définis. Gestion de l'infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform. Orchestration et automatisation des workflows de données sur GKE via Argo Workflows. Développement du backend d'un portail utilisateur pour l'accès aux services de la plateforme (Flask). Création d'un connecteur entre GCP et l'outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy). Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD). Mise en place de la supervision et du monitoring des pipelines de données. Rédaction de la documentation technique liée aux développements réalisés. Environnement techniqueGCP, GKE, Argo Workflows, BigQuery, Cloud Run, Cloud Functions, Pub/Sub, Cloud Storage Python, Terraform, Docker, Kubernetes, SQL, Git, Gitlab CI/CD, Bash

Tech Lead Data – Snowflake / dbt – Data Quality / Observability Vorstone recherche un Tech Lead Data expérimenté pour rejoindre une équipe Data as a Service (DaaS) et piloter la delivery technique de produits Data dans le cadre d'un projet Data stratégique. 🎯 Vos missions En tant que Tech Lead Data, vous serez notamment en charge de : Piloter la delivery technique des produits Data et accompagner l'équipe dans leur industrialisation. Concevoir et faire évoluer la chaîne Snowflake → dbt → modèle sémantique / BI. Définir et faire appliquer les standards de développement et bonnes pratiques Data. Réaliser les revues de code et accompagner techniquement les membres de l'équipe. Mettre en place et améliorer les processus CI/CD, tests et déploiements. Garantir la qualité, la performance et la fiabilité des traitements et modèles Data. Participer au cadrage technique des sujets Data Quality. Contribuer aux problématiques de gouvernance et de sécurité des données, notamment RLS. Participer au run, à la gestion des incidents et aux post-mortems. Assurer un rôle de référent technique et de mentor auprès de l'équipe.

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Engineer AWS / Snowflake (H/F) à Gémenos, France. Contexte : Dans le cadre d'un projet stratégique de plateforme de données, nous recherchons un Data Engineer confirmé pour concevoir, industrialiser et maintenir des pipelines de données en environnement Cloud sécurisé. Le consultant intégrera une équipe en charge de l'infrastructure de données et travaillera en étroite collaboration avec les équipes Data, DevOps, Architecture et Sécurité. Les missions attendues par le Data Engineer AWS / Snowflake (H/F) : MissionsConception et optimisation de pipelines ETL / ELT. Mise en œuvre de flux CDC (Change Data Capture). Intégration et ingestion de données dans Snowflake. Développement et industrialisation des traitements de données. Automatisation des déploiements et intégration CI/CD. Garantir la qualité, la performance et la sécurité des données. Participation aux échanges avec les équipes métier et techniques. Compétences indispensablesSnowflake AWS (S3, Kinesis, IAM) SQL avancé ETL / ELT DBT CDC / Debezium idéalement MariaDB ou bases relationnelles équivalentes Git / CI-CD Méthodologie Agile Scrum Anglais professionnel Compétences appréciéesAWS Glue Terraform / Infrastructure as Code Kafka DataOps / DevOps Sécurité des données Connaissance des environnements réglementés (PCI-DSS) Utilisation d'outils IA de développement (Copilot, Agentic Coding) ProfilBac+5 / Ingénieur Informatique. 3 à 5 ans d'expérience minimum en Data Engineering. Autonome, rigoureux et force de proposition. Capable d'intervenir sur l'ensemble de la chaîne de valeur Data

Merci de contacter Sumi Delplanque directement via LinkedInLa mission de Data Scientist en Maintenance Prédictive concerne la réponse aux besoins en data science liés à l'ingénierie et à la maintenance, au sein du département Data / OR & AI de la Direction Informatique de la Data Factory Responsabilités :Développer des modèles de maintenance prédictive. Utiliser l'OCR et le RAG pour analyser des données. Must Have :Maîtrise de Python. Autonomie et capacité à prendre des initiatives. Nice to Have : Capacité à travailler en anglais. Autres détails :Durée: Plus d'1 an. Disponibilité: 2 jours par semaine sur site ( Île-de-France ) Taille de l'équipe: 12 personnes Proportions de l'innovation vs continuité: 80% d'innovation.

ContexteDans le cadre de la Direction des Systèmes d'Information et du Numérique de mon client, la Direction Solutions Data accompagne l'évolution, le développement et l'exploitation de la plateforme Data du Groupe. L'équipe d'Expertise Data, composée de trois experts transverses, intervient au cœur de la transformation Data. Elle contribue à la définition de la stratégie, des architectures, des standards et des bonnes pratiques Data, en étroite collaboration avec : les équipes métiers et projets ; les équipes Socles Data, Data Line et DataOps ; les architectes SI et architectes d'entreprise. La mission s'inscrit dans un contexte de transformation de la plateforme Data vers une approche hybride, en cohérence avec l'évolution des usages DataDriven et DataProduct de mon client. La mission est basée au Mans, avec des déplacements ponctuels sur les différents sites du Groupe. Une présence de 3 jours par semaine sur site est attendue.

Dans le cadre de la modernisation et de la transformation de sa plateforme Data, Le recherche plusieurs Data Engineers GCP pour renforcer ses équipes Datawarehouse et accompagner des projets stratégiques de migration vers Google Cloud Platform. Contexte Vous intégrerez des équipes expertes évoluant dans un environnement Data à fort volume, au cœur des enjeux de transformation du groupe. Les missions porteront notamment sur : L'évolution et l'optimisation du Datawarehouse La migration des environnements Teradata vers GCP / BigQuery La refonte des applications critiques de gestion des équipages La conception et l'industrialisation de nouveaux pipelines de données L'optimisation des performances BigQuery et des processus CI/CD Profil 1 : Data Engineer Datawarehouse GCPVos missions Développer et maintenir les flux d'alimentation du Datawarehouse Participer aux évolutions des modèles de données Optimiser les traitements SQL et les performances des requêtes Contribuer à la migration des données vers GCP Environnement technique SQL (Teradata / BigQuery) : 60 % ETL Informatica PowerCenter / IDMC : 20 % GCP, Control-M, Jira : 20 % Profil recherché Minimum 5 ans d'expérience en Data Engineering Excellente maîtrise SQL Solide expérience sur GCP et BigQuery Connaissance d'Informatica appréciée Autonomie et capacité à évoluer dans un environnement complexe Profil 2 : Data Engineer SQL & DatavizContexte Projet stratégique de refonte complète des applications de gestion des équipages avec regroupement de plusieurs systèmes au sein d'une plateforme unique. Vos missions Analyse fonctionnelle et technique de l'existant Conception de nouveaux pipelines de données Participation à la migration Teradata vers BigQuery Création et optimisation des reportings décisionnels Environnement technique SQL BigQuery & Dataform : 70 % Business Objects / Power BI : 20 % Informatica IDMC : 5 % Terraform & GCP Infrastructure : 5 % Profil recherché Très forte expertise SQL Expérience sur BigQuery indispensable Bonne maîtrise d'un outil de Dataviz (Power BI ou BO) Forte capacité d'analyse fonctionnelle Sensibilité Data Engineering et architecture Data Profil 3 : Expert Data Engineer GCP / BigQueryVos missions Optimisation des développements et standards de code Amélioration des performances BigQuery Structuration et optimisation des repositories Git Mise en place des bonnes pratiques CI/CD Compétences indispensables ✅ Google Cloud Platform (GCP) ✅ BigQuery ✅ GitHub / GitHub Actions ✅ CI/CD ✅ Expertise performance et industrialisation Data

En quelques motsCherry Pick est à la recherche d'un Support & Data Reliability Engineer(H/F), pour le compte de l'un de ses clients qui opère dans le domaine financier. Description🚀 Contexte de la missionAu sein du département Data Technology d'un acteur majeur de la gestion d'actifs et de la finance quantitative, vous intégrez l'équipe en tant que Support & Reliability Engineer (H/F). Votre rôle sera d'assurer la gestion, la robustesse et la fiabilité maximale des systèmes et processus de données. Vous travaillerez en étroite collaboration avec les équipes de développement, les Data Engineers, les Data Scientists et les Quantitative Developers pour garantir la disponibilité, la qualité et les performances des pipelines de données critiques. 🎯 Missions principales & Rôle1. Support Data & Opérations : Assurer le support N1 sur le périmètre Data, gérer les alertes en temps réel et résoudre les incidents durant le shift de Paris. Agir en tant que Gatekeeper pour la gestion des mises en production (Data Release Management / CMRM process) et la fiabilité des données. Définir et faire appliquer les politiques de gestion des données (sauvegarde, restauration, sécurité, conformité). 2. Automation, Monitoring & Fiabilité : Maintenir des pipelines de données fiables, performants et scalables (collecte, stockage, traitement, diffusion). Mettre en place un monitoring proactif et continu pour détecter les anomalies de qualité, d'intégrité et de consistance des données. Automatiser les tâches récurrentes pour optimiser l'efficacité opérationnelle et réduire le risque d'erreur humaine. 3. Collaboration Transverse & Conduite du Changement : Collaborer avec les développeurs quantitatifs, Data Engineers et Data Scientists pour comprendre leurs besoins et résoudre les dysfonctionnements. Promouvoir les meilleures pratiques de développement axées sur la fiabilité des données. Rédiger et maintenir la documentation technique et opérationnelle. 🏁 ObjectifsGarantir la haute disponibilité et la cohérence des pipelines de données en production. Réduire le temps moyen de résolution (MTTR) des incidents Data durant le shift de Paris. Industrialiser et automatiser les processus récurrents de maintenance et de monitoring.

En tant que Data Engineer senior, vous intervenez en appui du lead Data pour apporter une expertise technique solide sur les choix d'architecture et la conception des pipelines. Vous prenez part au design, au build et au run des flux de données, avec un regard critique sur les implémentations existantes et les axes d'amélioration. Vos responsabilités couvrent la mise en place et l'administration d'architectures de données (data lake, data warehouse), l'accompagnement des refontes techniques, ainsi que la production de reporting lorsque nécessaire. Vous contribuez également à la documentation des flux, des modèles et des traitements afin de sécuriser la maintenabilité et la transmission des connaissances. Le poste implique une forte autonomie, une bonne capacité de communication et une aisance à travailler avec les équipes métiers et techniques. Le rôle est compatible avec un fonctionnement en full remote, avec des déplacements ponctuels sur site.

Poste : Tech Lead Data Cloud – Azure / DatabricksLocalisation : Nantes, avec 1 jour/semaine sur site et possibilité de télétravail le reste du temps. Contexte : Au sein d'une direction Data & IA, le consultant interviendra comme Tech Lead Data Cloud sur les périmètres immobilier et véhicule, en accompagnant les équipes de développement. Missions principales : Concevoir les solutions et usages en respectant l'architecture cible. Instruire les sujets techniques complexes. Accompagner et faire monter en compétence les équipes. Garantir la qualité du delivery et le respect des bonnes pratiques. Réaliser des développements Python / Spark / PySpark / SQL. Participer aux démarches FinOps et à l'optimisation des coûts cloud. Garantir la cohérence des versions déployées en production. Assurer le support N3. Produire et maintenir la documentation technique : spécifications techniques ; modélisation ; code commenté ; tests unitaires ; tickets Jira.

Nous recherchons un Data Engineer Senior pour renforcer une squad dédiée à la performance énergétique, au sein d'une plateforme Data organisée en Data Mesh. Vous interviendrez sur des sujets à forte dominante Data Engineering, développement Python, Cloud AWS et industrialisation de solutions Data & IA, avec un rôle à la fois opérationnel et de référent technique. Vos missions :Concevoir et développer des pipelines de données robustes, industrialisés et maintenables. Développer des API et services Python, notamment avec FastAPI. Concevoir et faire évoluer des solutions sur AWS : Glue, Lambda, SQS, SNS, Redshift, API Gateway… Concevoir et optimiser les traitements SQL et les modèles de données sur Redshift. Participer à la mise en œuvre et à l'évolution des modèles de données avec dbt. Concevoir et maintenir les orchestrations avec Airflow. Mettre en place les tests automatisés, le monitoring, l'alerting et la supervision. Contribuer à la construction et à l'évolution de Data Products dans un environnement Data Mesh. Participer à des cas d'usage Data Science, Machine Learning et IA appliquée. Contribuer à l'industrialisation et à la mise en production de modèles et solutions IA. Prendre en charge le Run, analyser les incidents et garantir la fiabilité des produits de données. Participer aux choix techniques, benchmarks, POC et spikes. Travailler en proximité avec les Data Analysts, Analytics Engineers, Data Scientists, Architectes et Product Owners.

Bonjour à tous, Mission Data Engineer Senior / Expert – Lakehouse AWS Nous recherchons 2 Data Engineers Senior / Experts pour accompagner une équipe Data dans la conception, l'industrialisation et l'évolution de solutions data à grande échelle. La mission · Concevoir et optimiser des pipelines de données · Développer des flux batch, streaming et API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Contribuer à l'évolution d'une architecture Lakehouse · Garantir la qualité, la supervision et l'observabilité des traitements Stack technique Spark / PySpark • Python • AWS • DBT • Iceberg Airflow • Terraform • Docker • KubernetesAWS S3, Glue, EMR Trino / Starburst • Datadog ➕ Data Catalog 📍 Localisation : Île-de-France 🏠 Télétravail : 3 jours/semaine 📅 Démarrage : dès que possible ⏳ Durée : jusqu'à août 2027 🎓 Expérience : 8 ans minimum en Data Engineering Vous avez une solide expérience en Data Engineering, Big Data et architectures Lakehouse et vous maîtrisez Spark, AWS, Python et DBT ? 📩 N'hésitez pas à me contacter en MP ou à partager votre CV.

Missions : Être la référence technique Data Engineering : définir les standards d'architecture, challenger les choix techniques, industrialiser les pipelines, garantir performance/qualité/sécurité et accompagner les équipes. Profils recherchés : Senior / Expert – Lead Data Engineer / Data Architect / Data Engineering Design Authority Compétences : Architecture Data, batch/streaming, Kafka, Spark, Airflow, Databricks, Snowflake, Cloud, DataOps, gouvernance/sécurité. Anglais B2+

🚀 Data Engineer Senior – Big Data / Lakehouse / AWS Niveau : Senior Expérience : 8 ans minimum en Data Engineering Démarrage souhaité : ASAP Durée : 12 mois, renouvelable Rythme : 5 jours/semaine Télétravail : 3 jours/semaine 🎯 Contexte de la mission : Dans le cadre du renforcement de son pôle Data Services, notre client recherche un Data Engineer Senior pour accompagner la conception, l'industrialisation et l'évolution de ses solutions Data. Le consultant interviendra sur des sujets à forte dimension Data Engineering, Big Data et Lakehouse, avec notamment des problématiques d'architecture, de modélisation, d'optimisation des pipelines et d'industrialisation des traitements. Il contribuera également à l'évolution de la stratégie Lakehouse du client et devra être capable d'accompagner techniquement des profils plus juniors. 🔎 Missions Concevoir, développer et optimiser des pipelines de données à grande échelle Mettre en œuvre des flux batch, streaming et ingestion via API Structurer les données selon une architecture Médaillon (Bronze / Silver / Gold) Développer et industrialiser les transformations avec DBT, Spark et Iceberg Contribuer à l'évolution et à l'optimisation de l'architecture Lakehouse Déployer et maintenir les pipelines dans un environnement AWS Orchestrer les workflows ETL / ELT via Airflow Mettre en œuvre l'Infrastructure as Code avec Terraform Participer à la mise en place et au maintien de l'observabilité et de la supervision des traitements Définir et mettre en œuvre les règles de Data Quality : tests, contrôles et validations automatisées Participer à la gestion des incidents et à l'amélioration continue Documenter les architectures, pi

Dans le cadre d'un projet Data stratégique, nous recherchons un Tech Lead Data Engineer pour accompagner la conception, le développement et l'industrialisation de solutions Data dans un environnement technique exigeant. 🎯 Vos missions Concevoir et faire évoluer des architectures Data robustes et scalables Piloter techniquement les développements et accompagner les Data Engineers Concevoir et industrialiser des pipelines de données Intervenir sur des architectures Data temps réel / streaming avec Kafka Développer et maintenir des solutions sur Palantir Foundry Garantir la qualité, la performance et la fiabilité des traitements Data Participer aux choix d'architecture et aux bonnes pratiques de développement Assurer la revue de code et accompagner la montée en compétences de l'équipe Collaborer avec les équipes Data, Architecture, DevOps et métiers 🛠️ Environnement technique Indispensables : Kafka Palantir Foundry Solide expertise en Data Engineering Conception de pipelines Data Architecture Data / traitement distribué Python et/ou SQL Expérience en environnement de production Atouts : Kafka Streams / Confluent Spark / PySpark APIs / microservices CI/CD, Git, Docker, Kubernetes Cloud Expérience en lead technique ou en accompagnement d'équipe 👤 Profil recherché De formation supérieure en informatique ou Data, vous disposez d'au moins 7 ans d'expérience en Data Engineering, dont une expérience significative en lead technique. Vous êtes à l'aise dans des environnements complexes et avez une forte capacité à challenger les choix techniques, concevoir des solutions robustes et accompagner les équipes dans leur mise en œuvre. Une expérience concrète sur Palantir Foundry et Kafka est indispensable.