Find your next tech and IT Job or contract Data Engineering

Nous recherchons un(e) data Engineer DBT Snowflake capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : 5kgthjbeq5

La transformation des SI de nos Clients vers des architectures modulaires, type micro-services, l'essor de nos infrastructures et l'évolution des technologies associées, ou encore l'automatisation accrue sur nos socles et applications, génèrent une quantité massive de Logs, devenues très hétérogènes, dispersées et silotées de par l'organisation de [entreprise anonymisée] et de ses Clients (équipes applicatives et socles multiples et dispersées). Prenant en compte ce cadre, vos missions seront plus spécifiquement : - Maîtriser l'ensemble des techniques et technologies composant la chaine de collecte à la mise à disposition des Logs - Accompagner les besoins et les cas d'usage dès la phase d'étude jusqu'à l'implémentation comprenant la collecte, transformation, stockage et mise à disposition des données, provenant de sources diverses en adéquation - Concevoir et mettre à disposition les outils et processus (CI/CD) permettant d'automatiser les pipelines d'ingestion de données prenant en compte les besoins de fréquences (batch, temps réel, …) - Développer et déployer des mécanismes de contrôle qualité ainsi que des routines de vérification pour garantir l'intégrité et la fiabilité des données - Accompagner les besoins d'analyse de données des utilisateurs, notamment pour les besoins de sécurité (détection d'événement de sécurité) et de suivi opérationnel En adéquation avec l'équipe DATA et l'équipe LOG Management Contexte technique - Kafka - Scripting Python/SQL/Java - Suite Elastic (ElasticSearch/Kibana) - ETL (LogStash/Apache flink) - Agent de collecte (Elastic ou autre Open-Source) - OpenTelemetry (Cadre normatif et collecteur) Attendus Pour réaliser la mission, vous serez à même de : - Participer à la conception des solutions techniques et fonctionnelles - Gérer les données de l'entreprise (flux : collecte, traitement, stockage et leur cycle de vie) - Rédiger les documents fonctionnels et techniques, d'exploitation, en veillant au respect des normes existantes - Mettre en œuvre en respectant les principes Agile/DevOps (CI/CD) - Assurer le support technique et fonctionnel, notamment analyse et résolution des incidents ou problèmes - Être en relation avec les équipes opérationnelles de l'entreprise pour prise en compte des besoins et flux de données - Développer les cas d'usage de Dashboard / ML / IA dans la solution, remontés par les utilisateurs

At CGI, we're helping to transform the future of healthcare through the power of data. As a Senior Data Engineer, you'll play a pivotal role in designing, building, and optimising data platforms that underpin critical national services. Working at the heart of our Healthcare team, you'll use your expertise in AWS, Databricks, and Python to deliver high-impact solutions that improve outcomes, enhance decision-making, and drive innovation across the sector. You'll collaborate with experts who share your passion for problem-solving, ownership, and technical excellence—empowered to shape the data foundations of tomorrow. CGI was recognised in the Sunday Times Best Places to Work List 2025 and has been named a UK 'Best Employer' by the Financial Times. We offer a competitive salary, excellent pension, private healthcare, plus a share scheme (3.5% + 3.5% matching) which makes you a CGI Partner not just an employee. We are committed to inclusivity, building a genuinely diverse community of tech talent and inspiring everyone to pursue careers in our sector, including our Armed Forces, and are proud to hold a Gold Award in recognition of our support of the Armed Forces Corporate Covenant. Join us and you'll be part of an open, friendly community of experts. We'll train and support you in taking your career wherever you want it to go. Due to the secure nature of the programme, you will need to hold UK Security Clearance or be eligible to go through this clearance. This is a hybrid position based in Leeds.

Nous recherchons un(e) Data Engineer H/F en CDI à Lyon capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : 9qqln2qz3p

Dans le cadre du renforcement d'une équipe en charge d'une plateforme Data, nous recherchons un Expert Talend / Data Engineer Senior pour intervenir sur le maintien, l'évolution et la modernisation de l'écosystème Data. Le poste comporte deux dimensions : une expertise forte sur Talend, qui constitue le cœur de la mission, et une contribution plus ponctuelle aux développements d'un socle technique générique. Tes missions principales : Assurer un rôle de référent technique Talend Accompagner les équipes de développement et apporter un support sur les traitements Talend Analyser et résoudre les anomalies liées aux flux et traitements Data Intervenir sur des traitements Big Data / Spark Participer aux travaux de compatibilité entre Talend, Cloudera CDP et Spark 3 Maintenir et faire évoluer les projets de référence, patterns et composants partagés Travailler sur les variables de contexte, joblets, métadonnées et standards de développement Comprendre et manipuler la structure interne des projets Talend Maintenir et faire évoluer les composants custom Suivre les incidents ou demandes éditeur lorsque nécessaire Diffuser les bonnes pratiques auprès des équipes et Tech Leads Contribuer ponctuellement aux développements Java / Spring Boot Participer à l'analyse et à la correction d'anomalies sur le socle technique Accompagner les évolutions et travaux de modernisation de la plateforme Data

Informations sur la mission Localisation : Guyancourt Présence sur site : 3 jours par semaine Télétravail : 2 jours par semaine TJM : 510 € Démarrage : ASAP Date de fin : 07/09/2029 Contexte et missions Dans le cadre de cette mission, vous interviendrez sur l'ensemble des étapes de mise à disposition des données issues d'environnements On-Premise et Cloud, afin de répondre aux besoins en datamarts, datavisualisation et analyses. À ce titre, vos principales responsabilités seront les suivantes : Concevoir, développer et maintenir des flux de données robustes et évolutifs. Mettre en œuvre les processus d'ingestion, de transformation et d'optimisation de la qualité des données. Traiter des données provenant de sources hétérogènes. Concevoir et implémenter des modèles de données adaptés aux usages analytiques : Data Lake, Data Warehouse et Datamarts. Collaborer avec les Data Analysts pour répondre efficacement aux besoins métiers. Concevoir des tableaux de bord alimentés par les flux de données développés. Piloter et coordonner de manière autonome la mise en œuvre des projets confiés. Appliquer les bonnes pratiques en matière de sécurité, de gouvernance, de documentation et d'industrialisation des traitements. Assurer une veille technologique et proposer des évolutions d'architecture. Développer des maquettes et prototypes reposant sur des algorithmes de Machine Learning afin d'exploiter des modèles de données prédictifs. Prendre en charge les activités de RUN et les évolutions des processus et modèles de données en environnement de production.

Dans le cadre du développement et de l'optimisation de ses capacités analytiques, notre client souhaite renforcer ses équipes Data avec un Data Analytics Engineer expérimenté. Vous interviendrez sur des projets stratégiques liés au domaine Sustainability, avec pour objectif de centraliser, fiabiliser et valoriser les données permettant de piloter les indicateurs environnementaux du groupe. La mission porte principalement sur l'intégration, la modélisation et la restitution des données, avec une forte exigence en matière de qualité, de traçabilité et de gouvernance. Vous contribuerez notamment à la mise en place de tableaux de bord destinés au suivi des consommations d'eau, d'énergie et du gaspillage alimentaire, à destination des équipes Sustainability et des collaborateurs en région. Vos missions1. Intégration et ingestion des données Identifier et mettre en place des connexions fiables avec les différents systèmes sources (API, exports, connecteurs natifs). Extraire et intégrer les données issues de différentes sources : référentiels internes, achats, finance, ressources humaines et données Sustainability. Concevoir et automatiser des pipelines d'ingestion performants et évolutifs. Garantir l'intégrité, la disponibilité et la fraîcheur des données. 2. Modélisation et transformation des données Concevoir et développer des modèles de données analytiques dans Snowflake. Structurer les données selon des architectures adaptées aux besoins de restitution. Développer et maintenir les transformations SQL avec DBT Core. Optimiser les modèles de données pour garantir leur réutilisabilité et leurs performances. Documenter les règles de gestion et les modèles de données logiques et physiques. 3. Data Quality et gouvernance Mettre en place des mécanismes de contrôle et de suivi de la qualité des données. Garantir la traçabilité des données tout au long des pipelines. Gérer les métadonnées, les règles de rafraîchissement et les mécanismes de gestion des erreurs. Assurer la documentation technique et fonctionnelle des traitements et des flux de données. 4. Restitution et Data Visualisation Concevoir et développer des tableaux de bord interactifs sous Tableau. Traduire les besoins métiers en indicateurs et solutions de reporting adaptés. Développer des vues et agrégats de données répondant aux besoins des équipes Sustainability. Mettre à disposition des indicateurs fiables pour faciliter le pilotage et la prise de décision. Les principaux livrables attendus sont : Dashboard de suivi des consommations d'eau. Dashboard de suivi des consommations d'énergie. Dashboard de suivi du gaspillage alimentaire. 5. Orchestration et industrialisation Participer à l'orchestration des pipelines de données avec Airflow. Mettre en œuvre les bonnes pratiques de versioning et de CI/CD avec GitLab ou GitHub. Contribuer à l'amélioration continue des processus de développement et de déploiement.

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 🏠 2 à 3 jours de télétravail / semaine - 📍 Lyon (07) - 🛠 Expérience de 5 ans minimum Vous aimez travailler sur toute la chaîne de traitement de la donnée, de la compréhension des besoins métier jusqu'à sa restitution ? Nous recherchons actuellement un.e Data Engineer Spark & PySpark / Databricks pour rejoindre l'équipe Data/BI de l'un de nos clients. Votre mission : faire évoluer l'architecture décisionnelle existante, développer et optimiser les traitements de données et participer à une migration vers Databricks. Un poste qui combine développement, modélisation de données et échanges avec les équipes métier. Votre mission : faire évoluer la plateforme Data Vous interviendrez sur les différentes étapes de la chaîne décisionnelle, depuis l'identification des données jusqu'à leur exploitation pour le reporting métier. Concrètement, vous serez amené à : - Comprendre les besoins métier : échanger avec les interlocuteurs métier, analyser leurs attentes et identifier les données nécessaires. - Concevoir et faire évoluer les modèles de données : enrichir les entrepôts de données et les datamarts pour répondre aux besoins de reporting. - Développer les traitements Data : concevoir des pipelines d'intégration et des traitements Spark pour transformer et préparer les données. - Améliorer la qualité et les performances : contrôler, nettoyer les données et optimiser les traitements existants. - Participer à la migration vers Databricks : contribuer à l'évolution de l'architecture et des traitements dans le cadre de cette migration. - Assurer la fiabilité des développements : réaliser les tests, documenter les solutions, participer aux déploiements et assurer la maintenance.

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 🏠 2 à 3 jours de télétravail / semaine - 📍 Lyon (07) - 🛠 Expérience de 5 ans minimum Vous aimez travailler sur toute la chaîne de traitement de la donnée, de la compréhension des besoins métier jusqu'à sa restitution ? Nous recherchons actuellement un.e Data Engineer Spark & PySpark / Databricks pour rejoindre l'équipe Data/BI de l'un de nos clients. Votre mission : faire évoluer l'architecture décisionnelle existante, développer et optimiser les traitements de données et participer à une migration vers Databricks. Un poste qui combine développement, modélisation de données et échanges avec les équipes métier. Votre mission : faire évoluer la plateforme Data Vous interviendrez sur les différentes étapes de la chaîne décisionnelle, depuis l'identification des données jusqu'à leur exploitation pour le reporting métier. Concrètement, vous serez amené à : - Comprendre les besoins métier : échanger avec les interlocuteurs métier, analyser leurs attentes et identifier les données nécessaires. - Concevoir et faire évoluer les modèles de données : enrichir les entrepôts de données et les datamarts pour répondre aux besoins de reporting. - Développer les traitements Data : concevoir des pipelines d'intégration et des traitements Spark pour transformer et préparer les données. - Améliorer la qualité et les performances : contrôler, nettoyer les données et optimiser les traitements existants. - Participer à la migration vers Databricks : contribuer à l'évolution de l'architecture et des traitements dans le cadre de cette migration. - Assurer la fiabilité des développements : réaliser les tests, documenter les solutions, participer aux déploiements et assurer la maintenance.

Data Engineer / Développeur ETL Python Sophia Antipolis Description : Contexte de la mission Nous recherchons un Data Engineer / Développeur ETL disposant de 3 à 5 ans d'expérience pour concevoir, développer et maintenir des pipelines de données. Le profil devra maîtriser un outil ETL de manière opérationnelle. Une expérience sur Semarchy est particulièrement appréciée, sans être obligatoire. Réalisation technique • Concevoir, réaliser, tester et livrer les pipelines de données. • Développer les mécanismes d'injection et de chargement des données en Python. • Réaliser les transformations et orchestrations de données au moyen d'un outil ETL, idéalement Semarchy. • Garantir la qualité, la fiabilité, la sécurité et la performance des traitements. • Assurer la maintenance, le suivi et l'optimisation des flux existants. • Proposer des améliorations continues et des innovations en matière de gestion et d'analyse des données. • Documenter les développements, les règles de transformation et les procédures d'exploitation. Compétences techniques et méthodologiques requises Compétences indispensables • Data management : bonnes connaissances en BI et en intégration de données. • ETL : expérience confirmée et opérationnelle sur au moins un outil ETL. Semarchy est apprécié ; une expertise sur Talend, Informatica, ODI, SSIS ou DataStage peut également convenir. • SQL : maîtrise obligatoire pour l'exploitation, le contrôle et l'optimisation des données. • Python : maîtrise obligatoire pour les mécanismes d'injection et de chargement des données. Python n'est pas l'outil principal de transformation. • Data Engineering : compréhension des concepts de pipelines, de flux, de qualité des données et d'architecture de données. • Méthodologies Agile : pratique de Scrum et/ou Kanban. Profil recherché • 3 à 5 ans d'expérience en Data Engineering, développement ETL ou intégration de données. • Expérience concrète dans la conception, le développement et la maintenance de flux ETL. • Capacité à travailler avec des interlocuteurs techniques et fonctionnels. • Excellentes capacités de communication, d'analyse et de synthèse. • Autonomie, rigueur, sens du service et capacité à proposer des améliorations. Point d'attention pour le sourcing Le besoin ne correspond pas à un développeur Python pur. Le critère principal est une expérience solide sur un outil ETL. Python est utilisé pour l'injection des données, tandis que les transformations sont réalisées via l'ETL. Semarchy constitue un avantage différenciant • Outils de travail : Jira, VS Code et Git. Compétences appréciées • Expérience de Semarchy pour la transformation et l'intégration des données. • Connaissance de SAS. • Pratique des méthodologies DevOps et des chaînes CI/CD. • Expérience de l'industrialisation et de la supervision de pipelines de données