Projet Développement et industrialisation d'une plateforme Data sur GCP permettant l'ingestion, la transformation et la mise à disposition de données pour des outils de recherche et d'analyse métier,. Activités - Concevoir et maintenir les pipelines d'ingestion de données publiques et internes. - Développer et industrialiser les traitements et transformations de données avec SQL, Python et dbt. - Mettre en place et maintenir les workflows d'orchestration avec Argo Workflows / Airflow. - Stocker, structurer et exposer les données via BigQuery et GCS, puis assurer leur connexion aux outils d'analyse métier. - Déployer et maintenir les composants Data sur GCP, notamment via Cloud Run, et gérer les droits d'accès avec IAM. - Industrialiser l'infrastructure avec Terraform et contribuer aux chaînes CI/CD GitLab. - Participer au monitoring, à la gouvernance et à la qualité des données ainsi qu'à l'amélioration de l'expérience utilisateur des outils internes.
Prendre en charge la responsabilité des produits data de pilotage et de suivi des services GenIA déployés. • Être l'interlocuteur des métiers pour recueillir et formaliser leurs besoins : catalogue d'indicateurs, reportings attendus, définition des KPI • Concevoir, industrialiser et fiabiliser les indicateurs de pilotage. • Structurer, modéliser et documenter les données nécessaires au pilotage. • Construire et maintenir les dashboards de suivi. • Mettre en œuvre et fiabiliser les pipelines de données associés (collecte, transformation, contrôle qualité) • Contribuer à la montée en maturité data de l'équipe. Catalogue d'indicateurs de pilotage des services GenIA, validé avec les métiers • Dashboards de suivi opérationnels • Pipelines de données documentés et industrialisés • Documentation de la donnée (sources, modèle, flux)
CAPEST-Conseils recrute pour l'un de ses clients, acteur reconnu du secteur de la logistique, un Data Engineer Cloud pour rejoindre son Pôle Data. Le contexte Notre client construit et industrialise sa data platform sur Google Cloud Platform. Au sein de la DSI, vous concevez et faites vivre les pipelines qui l'alimentent, au service des équipes BI et des métiers opérationnels. Vos missions Concevoir les flux ETL / ELT et développer les pipelines data sur GCP Orchestrer les workflows sous Apache Airflow Transformer et modéliser les données avec dbt pour les usages BI et analytiques Mettre en place et maintenir la CI/CD data, versionner le code via Git Garantir la qualité, la performance et la fiabilité des données, superviser les pipelines et traiter les incidents Documenter les pipelines et collaborer avec l'Expert Power BI, le Pôle Data et les métiers
Dans le cadre du développement des projets Data, nous recherchons un Data Engineer / DataOps pou accompagner les différentes entités dans l'utilisation et l'industrialisation de la plateforme. Missions :Administrer, superviser et maintenir les workspaces Définir, documenter et faire évoluer les standards et bonnes pratiques Garantir la qualité, la sécurité et la conformité des services proposés aux différentes entités Industrialiser les environnements et déploiements avec des pratiques DevOps / IaC Tester et évaluer les nouvelles fonctionnalités Databricks puis formuler des recommandations Veiller au respect des politiques et accompagner leur mise en œuvre Contribuer à la conception et réalisation de use cases Data stratégiques portés par les différentes entités Participer à l'amélioration continue de l'écosystème Data et des processus d'exploitation Compétences techniques :Databricks : administration, configuration et exploitation de workspaces. Python / PySpark / Spark. Git et pratiques de gestion de code. AWS et/ou Azure. Infrastructure as Code (IaC) : Terraform, CloudFormation ou équivalent. DevOps / DataOps : CI/CD, automatisation, industrialisation et déploiement. Environnements Agile : Scrum et/ou Kanban.
Data Engineer Snowflake. TJM Max Confirmé (4ans+) = 430€ TJM Max Senior(7ans+) = 480€ Client : Transport Localisation : Issy les Moulineaux (3j sur site, 2j en TT) Démarrage : ASAP Durée : 3 mois renouvelable Dans le cadre de l'évolution du DataHub vers une architecture Data Lakehouse, le client engage une bascule progressive depuis une architecture BI classique (ETL Talend, DWH centralisé) vers un modèle cible de type Lakehouse. Cette trajectoire inclut la migration des flux existants, la mise en place de nouvelles zones data (Landing Zone, Data Lake, Datamarts, Data Products) et le décommissionnement de Talend. Le/la Data Engineer intervient sous la responsabilité du Responsable de l'équipe technique et en appui du Techlead sur le projet de bascule Lakehouse. Son périmètre couvre à la fois la contribution au projet de décommissionnement Talend et de nouvelle architecture Snowflake, la réalisation de projets et demandes évolutives sur le périmètre data existant, ainsi que le traitement des incidents et le support au Run. Compétences obligatoires : Snowflake : connaissance solide de l'environnement, langages et outils associés : SQL, Snowpipe, Snowpark, RBAC, supervision, Python, SQL avancé … etc Terraform : expérience confirmée Talend : connaissance de l'outil ou à défaut un ETL équivalent dans le cadre de la bascule de l'ETL vers l'ELT ou la gestion de la maintenance évolutive et corrective en parallèle Compétences appréciées : Power BI Expérience Data Lakehouse / Data Mesh AWS (Lambda, services serverless) Livrables attendus Inventaire et documentation des jobs Talend repris Pipelines Snowflake industrialisés issus de la migration Talend Modèles Lakehouse documentés Contribution à la stratégie de migration et de décommissionnement Talend Développements réalisés sur les projets et demandes évolutives traités Suivi et documentation des incidents traités (analyse de cause racine, correctifs)
Intitulé : Data Engineer Senior IA (H/F) Expérience : +7 ans minimum Mode de travail : Hybride Localisation : Île-de-France Démarrage : ASAP Secteur : Services financiers Environnement : AWS, Spark, Python, SQL, DataOps, Gouvernance Data, CI/CD ContexteDans le cadre de l'accélération de sa stratégie Data, un grand groupe du secteur des services financiers recherche un(e) Data Engineer Senior pour rejoindre sa Direction Data & IA. Vous interviendrez au sein d'une équipe en charge de la conception, de l'industrialisation et de l'exploitation des plateformes de données destinées à soutenir les enjeux métiers, réglementaires et analytiques de l'entreprise. Votre rôle consistera à concevoir des architectures Data robustes, piloter l'industrialisation des pipelines de données et garantir la qualité, la gouvernance et la valorisation des données à grande échelle. Missions principalesPilotage des projets DataGérer un portefeuille de projets Data couvrant l'ensemble du cycle de vie de la donnée : ingestion, transformation, exposition et gouvernance. Accompagner les métiers dans l'identification et la formalisation de leurs besoins Data. Traduire les besoins fonctionnels, techniques et réglementaires en solutions concrètes et industrialisables. Être le référent technique Data auprès des chefs de projet, architectes, développeurs, data analysts, data scientists et parties prenantes métier. Piloter les choix techniques et garantir leur cohérence avec les standards de l'entreprise. Conception et développement des pipelines DataConcevoir, développer et maintenir des pipelines d'ingestion de données : Batch APIs Flux programmés Chargements de fichiers Développer des traitements ETL / ELT alimentant un Data Lake et des plateformes analytiques. Mettre en œuvre les bonnes pratiques de modélisation des données. Garantir la performance, la qualité, la résilience et la maintenabilité des traitements. Assurer l'industrialisation complète des développements réalisés. Challenger les choix techniques et méthodologiques proposés par les autres membres de l'équipe. Architecture Data et IndustrialisationConcevoir des architectures Data modernes, modulaires et évolutives. Définir et appliquer les principes DataOps : Automatisation Versionning CI/CD Reproductibilité Observabilité Favoriser la mutualisation et la réutilisation des composants existants avant tout nouveau développement. Construire et maintenir : Pipelines ETL / ELT Chaînes CI/CD APIs de diffusion de données Mécanismes de monitoring et d'alerting Collaborer avec les équipes Data, Cloud et IA afin d'harmoniser les pratiques et accélérer les déploiements. Gouvernance, qualité et conformité des donnéesDéfinir et promouvoir les standards de développement Data. Garantir la qualité, la traçabilité et la conformité des données. Structurer les pratiques autour de : Git et workflows de développement Tests automatisés Documentation Data Catalog Métadonnées Lignage des données Infrastructure as Code Réaliser des audits techniques des pipelines et jeux de données. Assurer la conformité des solutions avec les exigences réglementaires et les politiques internes de gouvernance. Garantir la reproductibilité attendue lors des contrôles et audits. Leadership technique et accompagnementEncadrer et accompagner les Data Engineers juniors et intermédiaires. Participer à la montée en compétences de l'équipe. Assurer un rôle de mentor et de référent technique. Vulgariser les enjeux Data auprès des utilisateurs métiers. Participer aux revues d'architecture et aux processus de validation technique. Contribuer à la diffusion des bonnes pratiques Data et DataOps. Innovation et veille technologiqueRéaliser une veille active sur les technologies Data, Cloud et IA. Identifier les opportunités d'amélioration des plateformes existantes. Proposer des solutions innovantes répondant aux enjeux métiers. Anticiper les évolutions réglementaires et les enjeux liés à la qualité, la gouvernance et la souveraineté des données.
Contexte de la mission Dans un environnement en pleine transformation avec des évolutions technologiques rapides, vous rejoindrez une équipe au sein du Groupe. Cette équipe gère la construction et le support de la plateforme Data &Analytics utilisée par l'ensemble des entités du groupe. Objectifs et livrables Suite aux premiers entretiens, quelques précisions d'importance sur la priorisation des compétences: • Cloud Engineer Azure en priorité, spécifiquement sur la maitrise des ressources Data citées (datalake, databricks ...), la sécurité, le networking et les ressources de compute utilisées + gestion de la CICD dans Github. • Compétences de développement en complément. En tant que membre de notre squad Data and Analytics Platform, vous participerez aux activités suivantes : • Le développement / mise à jour / maintenant du code infrastructure Terraform nécessaire dans Azure et / ou AWS, en conformité avec les règles de sécurité et les pratiques internes. • Enrichissement de la documentation a l'attention des utilisateurs • Conception et maintenance de chaînes de de ploiement automatise (CICD)
Contexte de la missionNous cherchons un candidat capable de s'adapter à l'environnement technique du département Service & Données et aux pratiques de l'équipe qu'il va rejoindre : • Qui saura travailler de manière autonome • Disposant d'un bon sens de l'organisation et de la rigueur • Qui saura synthétiser ses travaux pour communiquer efficacement à ses commanditaires Objectifs et livrablesActivité principale A ce titre, le profil sera amené à assurer les activités suivantes : • Participation à des ateliers avec des experts métiers pour collecter le besoin et comprendre les données • Conception et développement de traitements de données • Réalisation d'études statistiques • Présentation de résultats sous la forme de rapports d'étude ou de tableaux de bord • Diffusion et vulgarisation des résultats d'études Le consultant sera également attendu sur les compétences suivantes : • Lien entre la partie métier et la partie data science • Conception fonctionnelle du besoin métier au sein d'un SI • Préparer et participer aux ateliers avec le métier et ses représentants utilisateurs Activité secondaire o Veille technologique sur les outils utilisés au sein du projet o Partage et formation sur les guides de bonnes conduites
Hanson Regan is seeking a GCP Data engineer for a 6 month renewable contract based in Brussels starting asap we search for a versatile Senior GCP Data Engineer with deep expertise in DevOps would you like to know more? An experienced and versatile Senior GCP Data Engineer with deep expertise in DevOps, CI/CD, Containerization, and advanced data engineering on Google Cloud Platform. The ideal candidate combines strong technical acumen with business engagement skills — capable of translating business requirements into scalable, production-grade technical solutions. - Design, build, and optimize data pipelines and ingestion frameworks using GCP services such as Dataflow, Pub/Sub, BigQuery, Cloud Storage, Cloudrun, and No-SQL. - Architect and implement end-to-end CI/CD pipelines for data workloads using templates, GitLab CI, ensuring automation and compliance with DevOps standards. - Develop and manage containerized applications for scalable and resilient data services.- Implement data quality, monitoring, and observability frameworks across pipelines. - Translate complex business requirements into technical architecture, ensuring alignment with enterprise data strategy and governance. - Ensure adherence to security, compliance, and cost optimization best practices in all GCP solutions. Hybrid work arrangement with 2 days per week in Brussels.
Lead Data Engineer (general cloud + data engineering tech lead) EDB trainer - Data Engineer (general cloud + data engineering skills) *Java *Kafka/Streams *Kubernetes *Python *Athena/SQL *Flink LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. A multiple award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over consecutive years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.
Dans le cadre de l'évolution du DataHub vers une architecture Data Lakehouse, le client engage une bascule progressive depuis une architecture BI classique (ETL Talend, DWH centralisé) vers un modèle cible de type Lakehouse. Cette trajectoire inclut la migration des flux existants, la mise en place de nouvelles zones data (Landing Zone, Data Lake, Datamarts, Data Products) et le décommissionnement de Talend. Le/la Data Engineer intervient sous la responsabilité du Responsable de l'équipe technique et en appui du Techlead sur le projet de bascule Lakehouse. Son périmètre couvre à la fois la contribution au projet de décommissionnement Talend et de nouvelle architecture Snowflake, la réalisation de projets et demandes évolutives sur le périmètre data existant, ainsi que le traitement des incidents et le support au Run. Livrables attendus : - Inventaire et documentation des jobs Talend repris - Pipelines Snowflake industrialisés issus de la migration Talend - Modèles Lakehouse documentés - Contribution à la stratégie de migration et de décommissionnement Talend - Développements réalisés sur les projets et demandes évolutives traités - Suivi et documentation des incidents traités (analyse de cause racine, correctifs)
Pour un grand acteur du secteur du transport, nous recherchons un(e) Data Engineer pour accompagner la transformation d'un DataHub historique vers une architecture moderne Data Lakehouse sous Snowflake. 🎯 Objectif : participer à la migration des flux existants, au décommissionnement de Talend et à l'industrialisation de la nouvelle architecture Data. 🚀 Vos missions✔️ Migrer les flux Talend vers Snowflake dans une logique ETL → ELT ✔️ Développer et industrialiser les pipelines Data sous Snowflake ✔️ Participer à la mise en place des Landing Zones, Data Lake, Datamarts et Data Products ✔️ Contribuer à la stratégie de décommissionnement de Talend ✔️ Développer les évolutions sur le périmètre Data existant ✔️ Assurer le RUN, analyser les incidents et mettre en œuvre les correctifs ✔️ Documenter les pipelines, modèles Lakehouse et flux migrés
Missions : Être la référence technique Data Engineering : définir les standards d'architecture, challenger les choix techniques, industrialiser les pipelines, garantir performance/qualité/sécurité et accompagner les équipes. Profils recherchés : Senior / Expert – Lead Data Engineer / Data Architect / Data Engineering Design Authority Compétences : Architecture Data, batch/streaming, Kafka, Spark, Airflow, Databricks, Snowflake, Cloud, DataOps, gouvernance/sécurité. Anglais B2+
At CGI, we design and deliver data-driven solutions that transform how the UK's public and commercial sectors operate, enabling smarter decisions and better outcomes for millions. As a Data Engineer within our Delivery Centre, you'll build the platforms and pipelines that power critical services and unlock meaningful insight from complex data. We combine innovation with real-world impact, giving you the opportunity to take ownership of high-value solutions, collaborate with expert teams, and shape the future of digital services. Here, your ideas are valued, your growth is supported, and your work makes a measurable difference to clients and communities across the UK. CGI was recognised in the Sunday Times Best Places to Work List 2025 and has been named a UK 'Best Employer' by the Financial Times. We offer a competitive salary, excellent pension, private healthcare, plus a share scheme (3.5% + 3.5% matching) which makes you a CGI Partner not just an employee. We are committed to inclusivity, building a genuinely diverse community of tech talent and inspiring everyone to pursue careers in our sector, including our Armed Forces, and are proud to hold a Gold Award in recognition of our support of the Armed Forces Corporate Covenant. Join us and you'll be part of an open, friendly community of experts. We'll train and support you in taking your career wherever you want it to go. Due to the secure nature of the programme, you will need to hold UK Security Clearance or be eligible to go through this clearance. Our teams operate within a flexible hybrid working model, however on-site requirements vary by project, so the ability to travel as required to meet client needs is essential.
