Find your next tech and IT Job or contract Data Engineering

Bonjour, Pour le compte de l'un de mes clients dans le secteur du cosmétique, je suis à la recherche d'un Data Engineer Snowflake en recrutement sur mission. Nous recherchons un ingénieur de données (Data Engineer) possédant une solide expérience pratique de Snowflake et du développement SQL avancé. Le candidat idéal concevra & développera des solutions de données, tout en garantissant la qualité, la performance et l'évolutivité des données au sein des plateformes d'analyse et de Business Intelligence. Les responsabilités souhaitées : Développer et maintenir des modèles de données, des transformations et des pipelines de données en utilisant dbt & Snowflake. Écrire du code SQL avancé et optimisé pour gérer une logique métier complexe et des volumes de données importants. Concevoir des architectures de données évolutives garantissant haute performance et fiabilité. Collaborer avec les analystes de données, les data scientists et les parties prenantes métier pour fournir des données propres, fiables et structurées. Mettre en place des contrôles de qualité des données, la documentation et le contrôle de version pour les projets dbt. Surveiller les performances des pipelines de données et résoudre les problèmes de manière proactive. Participer à l'amélioration continue des meilleures pratiques en ingénierie des données.

Dans le cadre du renforcement d'une équipe Data & IA, nous recherchons un Data Scientist / Data Engineer expérimenté, spécialisé en Intelligence Artificielle Générative, afin d'assurer la continuité et l'évolution de projets stratégiques. Le consultant intégrera une équipe travaillant sur un projet d'IA agentique à fort impact métier. L'un des principaux objectifs est de développer et d'optimiser une solution capable de générer automatiquement des pré-réponses pertinentes à des e-mails utilisateurs portant sur différents types de demandes : renseignements, réclamations, opérations contractuelles, etc. La mission comporte une forte dimension LLM, NLP, RAG et industrialisation des modèles IA. Missions principales Reprendre les travaux existants et assurer la continuité du projet d'IA agentique. Concevoir, entraîner, évaluer et optimiser des Large Language Models (LLM) dédiés à la génération de texte. Améliorer la pertinence et la qualité des pré-réponses générées. Optimiser les processus de Retrieval-Augmented Generation (RAG) existants. Participer à l'intégration et au déploiement des modèles en environnement de production. Mettre en œuvre les bonnes pratiques MLOps / LLMOps : CI/CD, versioning, monitoring, déploiement et maintien en conditions opérationnelles. Analyser les performances des modèles et identifier les axes d'amélioration. Garantir la robustesse, la scalabilité et la maintenabilité des solutions développées. Réaliser une veille sur les évolutions en IA Générative, LLM, NLP et Machine Learning. Collaborer étroitement avec les équipes Data, développement, architecture, produit et métiers. Participer aux cérémonies et rituels Agile de l'équipe.

Astrelya est un cabinet de conseil franco/suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l'excellence opérationnelle et l'innovation technologique. Il est composé de 300 expert passionnés. Le cabinet accompagne ses clients sur l'ensemble du cycle de transformation, depuis la phase de cadrage jusqu'à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Dans le cadre de notre développement, nous recherchons un Data Engineer – Plateforme Data B2C AWS / Databricks Contexte Vous rejoignez un programme stratégique de refonte d'une plateforme B2C à l'échelle mondiale, dans un environnement Agile Scrum. Description du poste En tant que Data Engineer, vous jouez un rôle clé dans la conception, le développement et l'évolution de la plateforme Data. Vous intervenez à la fois comme leader technique et acteur opérationnel avec pour objectif de garantir la qualité, la performance, la fiabilité et la maîtrise des coûts de la plateforme, tout en contribuant à la valorisation des données. Responsabilités principales Concevoir et développer des architectures Data cloud-native sur AWS, basées sur Databricks Garantir la qualité, la cohérence et la fiabilité des données tout au long de leur cycle de vie. Participer activement au développement conception et développement de pipelines Data ; traitements batch et streaming ; optimisation des performances. Définir, mettre en œuvre et promouvoir les bonnes pratiques de Data Engineering Mettre en place des mécanismes de monitoring et de contrôle de la qualité des données Piloter l'optimisation des coûts AWS et Databricks liés aux traitements Data dans une démarche FinOps. Accompagner les Data Engineers et développeurs Collaborer étroitement avec les équipes Produit et IT, dans un environnement international et multiculturel. Stack technique Data & Cloud Databricks AWS : S3, EC2, RDS, Lambda Langages & Frameworks Java SQL Apache Spark DevOps & CI/CD GitHub Enterprise ArgoCD SonarQube Intégration & Services Kafka PostgreSQL Collaboration & Agile Jira Confluence Agile Scrum Soft Skills Leadership technique : capacité à guider, structurer et faire grandir une équipe Data. Vision transverse : compréhension des enjeux métiers, Data et Cloud, et capacité à les mettre en perspective. Communication : aptitude à vulgariser des concepts techniques et à communiquer efficacement avec différents interlocuteurs. Esprit collaboratif et interculturel : capacité à travailler efficacement avec des équipes internationales. Proactivité et adaptabilité : capacité à anticiper les risques liés à la qualité, aux coûts et aux performances, et à évoluer dans un contexte Agile.

Nous recherchons un Data Engineer Senior pour renforcer une squad dédiée à la performance énergétique, au sein d'une plateforme Data organisée en Data Mesh. Vous interviendrez sur des sujets à forte dominante Data Engineering, développement Python, Cloud AWS et industrialisation de solutions Data & IA, avec un rôle à la fois opérationnel et de référent technique. Vos missions :Concevoir et développer des pipelines de données robustes, industrialisés et maintenables. Développer des API et services Python, notamment avec FastAPI. Concevoir et faire évoluer des solutions sur AWS : Glue, Lambda, SQS, SNS, Redshift, API Gateway… Concevoir et optimiser les traitements SQL et les modèles de données sur Redshift. Participer à la mise en œuvre et à l'évolution des modèles de données avec dbt. Concevoir et maintenir les orchestrations avec Airflow. Mettre en place les tests automatisés, le monitoring, l'alerting et la supervision. Contribuer à la construction et à l'évolution de Data Products dans un environnement Data Mesh. Participer à des cas d'usage Data Science, Machine Learning et IA appliquée. Contribuer à l'industrialisation et à la mise en production de modèles et solutions IA. Prendre en charge le Run, analyser les incidents et garantir la fiabilité des produits de données. Participer aux choix techniques, benchmarks, POC et spikes. Travailler en proximité avec les Data Analysts, Analytics Engineers, Data Scientists, Architectes et Product Owners.

Contexte de la mission ASAP Technologies recherche deux Data Engineers seniors aux profils complémentaires pour accompagner un acteur majeur du secteur des transports et de la mobilité dans la conception, l'industrialisation et l'évolution de ses solutions data. Au sein du pôle Data Services, vous contribuerez à la stratégie Lakehouse et interviendrez sur des enjeux d'architecture, de modélisation et d'optimisation des pipelines à grande échelle. Vos missions Concevoir, développer et optimiser des pipelines de données batch, streaming et d'ingestion via API. Structurer les transformations selon une architecture Médaillon : Bronze, Silver et Gold. Développer et industrialiser les traitements avec DBT, Spark et Apache Iceberg. Contribuer aux choix techniques et à l'évolution de l'architecture Lakehouse. Déployer et maintenir les pipelines sur AWS, notamment avec S3, Glue et EMR. Orchestrer les workflows ETL/ELT avec Airflow. Mettre en œuvre l'Infrastructure as Code avec Terraform et exécuter les traitements dans des environnements Docker/Kubernetes. Garantir la disponibilité, la supervision et l'observabilité des traitements. Participer à la résolution des incidents et à l'amélioration continue. Automatiser les contrôles de qualité des données et documenter les architectures, pipelines et règles métier. Veiller à la conformité des flux, notamment en matière de RGPD.

Rejoignez-nous ! Nous recherchons un(e) Data Engineer Hadoop / PySpark pour intervenir sur une plateforme Data stratégique et contribuer aux évolutions d'un datalake. Vous serez en charge de la mise en œuvre technique de nouvelles ingestions de données, des traitements de préparation et de transformation, ainsi que de la maintenance et de l'évolution des pipelines de données. Vous travaillerez en étroite collaboration avec les équipes de production applicative et DevOps, dans un environnement Agile, dynamique et international. Ce que vous ferez : Mettre en œuvre de nouvelles ingestions de données au sein du datalake. Développer les traitements de préparation et de transformation des données. Maintenir et faire évoluer les pipelines de données en PySpark et shell scripting. Développer et optimiser les traitements de données sur la plateforme Hadoop. Exploiter Hive et SQL pour la manipulation, la transformation et l'analyse des données. Collaborer avec l'équipe DevOps et lui adresser les demandes relatives aux évolutions de la plateforme. Participer à l'intégration et au déploiement des évolutions via les outils de gestion de code source et d'intégration continue. Rédiger des spécifications techniques claires et précises. Analyser et résoudre des problématiques techniques complexes liées aux traitements et pipelines de données. Contribuer à l'amélioration continue de la plateforme et être force de proposition sur les solutions et technologies à mettre en œuvre. Votre positionnement vous permettra d'intervenir au cœur d'une plateforme Data stratégique, en interaction avec des équipes techniques multidisciplinaires et internationales.

En quelques motsCherry Pick est à la recherche d'un "Data Engineer Databricks (H/F) " pour un client dans le secteur du Retail Description🏢 Le Contexte : Passer à l'Échelle la Data Factory Supply ChainAu sein de la filiale informatique d'un groupe majeur de la grande distribution, la Data Factory réunit les équipes IT et les directions métiers pour concevoir, développer et déployer des produits analytiques et Data Science à forte valeur ajoutée. Afin de répondre à une demande croissante, l'organisation s'industrialise et adopte un modèle Agile à l'échelle (Domaines, Tribus, Squads). Vous intégrerez la squad Supply / Logistique, responsable de la création de cas d'usage stratégiques dédiés à l'optimisation des flux, à la gestion des entrepôts et à la performance logistique. Nous recherchons un(e) Data Engineer Confirmé / Senior évoluant sur une plateforme Cloud Azure / Databricks. Ce poste exige une réelle polyvalence : au-delà de la construction des pipelines de données, vous serez le garant de la qualité (QA/Testing) et participerez activement à la restitution décisionnelle. 🎯 Vos Missions : Pipelines, Data Warehouse, QA & RestitutionRattaché(e) à la squad Supply Chain, vos activités couvrent tout le cycle de vie de la donnée : 1. Data Engineering & Cloud Architecture (Majeure) : Concevoir et construire de manière industrielle les pipelines de données (ETL/ELT) pour transformer, enrichir et ingérer les données dans le Data Lake. Développer des notebooks Databricks (Spark / Python) pour assurer des traitements massifs complexes. Mettre en œuvre et optimiser les solutions de Cloud Data Warehousing (tuning de requêtes SQL, modélisation de tables). Assurer la livraison continue des développements dans un environnement DevOps intégrant les processus CI/CD (Azure DevOps). 2. QA, Testing & Qualité de Code : Assurer la QA et le testing des pipelines développés par le second Data Engineer de la squad. Concevoir et exécuter les tests unitaires, d'intégration et de non-régression. Réaliser des revues de code rigoureuses pour garantir le respect des bonnes pratiques et des standards d'ingénierie. 3. Data Analyse & Restitution Decisionnelle : Participer au recueil des besoins métiers et mener les analyses de données en amont. Concevoir et développer les tableaux de bord sous Power BI pour restituer les indicateurs Supply Chain aux opérationnels. Rédiger la documentation technique (Dossiers d'Analyse Technique, release notes).

Delivery data engineering en proximité métier Concevoir, développer et maintenir des pipelines de données batch, event-driven ou streaming selon les besoins des produits data. Traduire les exigences fonctionnelles et contraintes techniques en solutions data simples, robustes, scalables et maintenables. Contribuer aux cérémonies de delivery, au chiffrage, à la planification, à la gestion des dépendances et à la sécurisation des engagements des squads. Assurer une collaboration fluide avec les Delivery Managers pour rendre visibles les risques, dépendances, arbitrages et points de blocage. Industrialisation, qualité et fiabilité Mettre en œuvre les « quality gates » : tests unitaires et d'intégration, tests de données, contrôle de schéma, idempotence, stratégies de reprise et validation de la qualité. Appliquer les standards de développement Python, PySpark et SQL, ainsi que les bonnes pratiques Git, CI/CD, revue de code et documentation. Contribuer à l'observabilité des flux : logs, métriques, alerting, lineage, suivi des SLA/SLO et analyse des incidents de run. Participer au diagnostic et à la résolution des incidents ou problèmes de production en lien avec les équipes plateformes, CloudOps et SecOps. Architecture data, Lakehouse et performance Implémenter les patterns d'architecture validés : ingestion, modélisation Lakehouse, architecture médaillon, data products, APIs de données et intégrations réutilisables. Optimiser les traitements Spark/Databricks, les requêtes SQL, les stratégies de stockage et l'utilisation du compute afin d'améliorer performance et coûts. Documenter les choix techniques structurants et contribuer aux ADR lorsque les décisions impactent les standards ou la trajectoire cible. Veiller à la cohérence des solutions avec l'architecture One B2C, les standards Data Engineering & Platforms et les exigences entreprise. Sécurité, gouvernance et conformité Intégrer les exigences de sécurité by design : gestion des secrets, IAM, droits d'accès, chiffrement, durcissement, scans et séparation des environnements. Appliquer les règles de protection des données, d'anonymisation, de minimisation, de traçabilité et de conformité RGPD. Contribuer à la gouvernance opérationnelle des datasets, métadonnées, contrats de données, contrôles d'accès et règles de qualité. Travailler avec les équipes Cybersecurity, Infrastructure, Data Office et Architecture pour garantir l'alignement avec les standards ENGIE. AI-assisted engineering et amélioration continue Utiliser de manière responsable les outils d'ingénierie assistée par IA, tels que Copilot, agents, génération de code, SQL, tests, documentation et aide au debugging. Identifier et proposer des opportunités d'automatisation pour accélérer le delivery, réduire les erreurs et standardiser les pratiques d'ingénierie.

Vous aimez les plateformes de données qui tournent vraiment en production ? Rejoignez l'équipe qui fait vivre le datalake des fonctions Technologies & Opérations d'un grand groupe bancaire. La DSI fournit aux directions technologiques, aux opérations et à la banque de proximité les applications et les données dont elles ont besoin au quotidien. Le datalake Hadoop en est une pièce centrale : il alimente le pilotage et les usages analytiques de plusieurs directions. Vous intervenez en lien direct avec la production applicative et l'équipe DevOps, au sein d'une équipe IT internationale. Vos principales missions : Concevoir et mettre en production de nouvelles ingestions de données : collecte, préparation, transformation. Maintenir et faire évoluer les outils de gestion des pipelines de données (PySpark, shell scripting). Porter auprès de l'équipe DevOps les évolutions nécessaires de la plateforme. Rédiger des spécifications techniques claires et exploitables par l'équipe. Ce que la mission vous apporte : Un datalake en production, avec de vrais volumes et de vrais utilisateurs métier. Une équipe internationale : l'anglais est utilisé au quotidien. Une ouverture vers le cloud (GCP / BigQuery) pour qui veut élargir sa stack. Environnement technique : Hadoop, PySpark, Spark, Hive, Python, SQL, Git, Jenkins, Jira, Unix / Linux — Scrum.

La mission consiste à intervenir sur un projet stratégique de gestion des risques climatiques et physiques, visant à ingérer, agréger, traiter et exposer des données issues de sources multiples afin d'alimenter des reportings métiers liés à la surveillance du risque de crédit. Le consultant participera à la conception, au développement et à l'intégration de solutions Data reposant sur Python, Spark et Google Cloud Platform (GCP), notamment BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs et GCS. Il contribuera également à l'industrialisation et au maintien en conditions opérationnelles des traitements, à la qualité et à la sécurité des données, ainsi qu'aux activités DevOps et d'automatisation à travers XLD, Terraform et Jenkins.

CDI - 2 jours de télétravail / semaine - Nantes - Expérience de 3 ans minimum Nous poursuivons notre développement et recherchons actuellement un(e) ingénieur décisionnel ETL pour intervenir chez un de nos clients dans le secteur bancaire. Contexte : Rejoignez une équipe Data au cœur de la connaissance client et des activités commerciales d'un grand groupe bancaire. Vos principales missions : Vous jouerez un rôle clé dans la construction et la performance des pipelines de données : Conception & Développement - Concevoir, développer et maintenir des flux ETL robustes et industrialisés sous Stambia / Semarchy - Modéliser et structurer les données selon les besoins métiers et techniques - Développer des jobs d'intégration, de transformation et de restitution Qualité & Performance - Optimiser les traitements pour garantir la performance, la scalabilité et la fiabilité des pipelines - Mettre en place des contrôles qualité, règles de validation et mécanismes d'alerting - Participer à l'amélioration continue des bonnes pratiques Data Analyse & Collaboration - Analyser les besoins fonctionnels et proposer des solutions techniques adaptées - Collaborer avec les équipes BI, Data, IT et les référents métiers - Documenter les flux et leur cycle de vie pour garantir la pérennité des traitements ⚙ Stack technique du projet : - ETL : Stambia / Semarchy ( xDM / xDI) - SQL

CDI / Portage / Freelance - 2 jours de télétravail / semaine - Nantes - Expérience de 3 ans minimum Nous poursuivons notre développement et recherchons actuellement un(e) ingénieur décisionnel ETL pour intervenir chez un de nos clients dans le secteur bancaire. Contexte : Rejoignez une équipe Data au cœur de la connaissance client et des activités commerciales d'un grand groupe bancaire. Vos principales missions : Vous jouerez un rôle clé dans la construction et la performance des pipelines de données : Conception & Développement - Concevoir, développer et maintenir des flux ETL robustes et industrialisés sous Stambia / Semarchy - Modéliser et structurer les données selon les besoins métiers et techniques - Développer des jobs d'intégration, de transformation et de restitution Qualité & Performance - Optimiser les traitements pour garantir la performance, la scalabilité et la fiabilité des pipelines - Mettre en place des contrôles qualité, règles de validation et mécanismes d'alerting - Participer à l'amélioration continue des bonnes pratiques Data Analyse & Collaboration - Analyser les besoins fonctionnels et proposer des solutions techniques adaptées - Collaborer avec les équipes BI, Data, IT et les référents métiers - Documenter les flux et leur cycle de vie pour garantir la pérennité des traitements ⚙ Stack technique du projet : - ETL : Stambia / Semarchy ( xDM / xDI) - SQL

Dans le cadre d'un projet data stratégique au sein d'un grand groupe international du secteur retail / luxe, nous recherchons un Senior Data Analyst / Data Engineer GCP disposant d'une forte capacité d'ingénierie, d'une bonne compréhension des enjeux métier et d'une sensibilité aux sujets d'Intelligence Artificielle. La mission démarrera par une phase d'assessment des différentes sources de données : cartographie, qualité, granularité, fraîcheur et compréhension des règles métier. Le consultant interviendra ensuite sur la conception et l'industrialisation des modèles de données, des requêtes analytiques et des restitutions à destination des métiers. L'objectif est de construire une architecture data robuste et exploitable à court terme via des dashboards et analyses classiques, tout en préparant les fondations nécessaires à de futurs usages d'analytique conversationnelle, notamment autour du text-to-SQL, des LLM et des approches RAG. Les principales missions seront : Réaliser l'assessment et la cartographie des différentes sources de données. Analyser la qualité, la granularité, la fraîcheur et les règles métier associées aux données. Concevoir et industrialiser les modèles de données et les requêtes analytiques. Développer des requêtes SQL complexes et optimiser les performances et les coûts sur BigQuery. Construire des dashboards fiables, lisibles et utilisés par les équipes métier. Participer à la mise en place d'une couche sémantique cohérente : métriques définies, nommées et documentées. Participer aux ateliers métier et traduire les besoins business en modèles de données exploitables. Mettre en place ou contribuer aux flux d'ingestion et de traitement de données sur GCP. Participer à l'industrialisation via Terraform, Git et CI/CD. Préparer l'architecture data aux futurs usages d'IA générative et d'analytique conversationnelle. Contribuer éventuellement à des POC autour de Vertex AI, Gemini, RAG ou text-to-SQL.

Shape secure, data-driven solutions that help government clients tackle some of their most complex challenges. As a Senior Data Engineer within CGI's Secure Innovation team, you'll turn complex datasets into trusted insight, with particular emphasis on Kibana visualisation and hands-on data engineering. You'll take ownership of data quality and end-to-end flows, creatively solve technical challenges, and collaborate with experts to deliver secure, scalable solutions that make a measurable difference. Working with modern technologies including Python, Elasticsearch, Kibana and AWS, you'll have the freedom to innovate while being supported with ongoing learning and development to keep your skills at the forefront of an evolving technology landscape. CGI was recognised in the Sunday Times Best Places to Work List 2025 and has been named a UK 'Best Employer' by the Financial Times. We offer a competitive salary, excellent pension, private healthcare, plus a share scheme (3.5% + 3.5% matching) which makes you a CGI Partner not just an employee. We are committed to inclusivity, building a genuinely diverse community of tech talent and inspiring everyone to pursue careers in our sector, including our Armed Forces, and are proud to hold a Gold Award in recognition of our support of the Armed Forces Corporate Covenant. Join us and you'll be part of an open, friendly community of experts. We'll train and support you in taking your career wherever you want it to go. Due to the secure nature of the programme, you will need to hold DV level UK Security Clearance or be eligible to go through this clearance. This is a hybrid position and will require the holder to spend a minimum of 3 days a week on site in Central London

CDI - 2 jours de télétravail / semaine - Nantes - Expérience de 6 ans minimum Nous poursuivons notre développement et recherchons actuellement un(e) Ingénieur Data pour intervenir chez un de nos clients dans le secteur bancaire. Contexte : Vous rejoignez une équipe dédiée à délivrer les socles techniques permettant aux équipes Data Sciences de concevoir, expérimenter et industrialiser leurs modèles sur GCP. Vos principales missions : Déploiement & architecture Industrialiser les pipelines de données sur l'écosystème GCP Gérer les montées de version des services managés Concevoir des environnements fiables et performants pour les usages ML Développement & data engineering Développer et maintenir des pipelines de données (Python / SQL) Administrer et optimiser les environnements BigQuery Mettre en place les pratiques CI/CD et MLOps Sécurité & gouvernance Gérer les accès et les permissions (IAM) Veiller à la conformité et à la sécurisation des données Communauté & partage Animer la communauté d'experts data Rédiger des guides de bonnes pratiques et de documentation technique Veille technologique Suivre les évolutions de l'écosystème Data / IA Proposer des améliorations techniques pour faire évoluer la plateforme ⚙ Stack technique du projet : - GCP - BigQuery, GCS - Vertex AI, Dataproc, Workflows - Cloud Run, Composer - Python, SQL - MLOps, FinOps - Bitbucker, Artifactory