Trouvez votre prochaine offre d’emploi ou de mission freelance Data Engineering

- Degree in Computer Science, IT, or a related field. or a combination of education and relevant experience - Query languages e.g. SQL, Java, Hive, R, - Data Management technologies e.g. ETL tools, data integration platforms - Data visualisation tools e.g. PowerBI, Qlik - Certification in data architecture or related domains - Proven experience as a Data Architect, Data Engineer (or a related role, with a strong emphasis on data architecture design and implementation) employing modern data engineering tools and technologies - Hands-on experience with cloud-based data platforms and services (e.g., Azure, AWS) including familiarity with cloud-based data storage, and big data technologies - Working in the public sector - Leading a team delivering data solutions, products or services - Managing projects - Excellent analytical and problem-solving skills, and the ability to translate complex requirements into practical, scalable solutions - Able to connect disparate data sets together to build useful analytics - Planning, coordinating and prioritising workload for self and team - Producing good quality documentation and reports, and present information to stakeholders of varied levels. - In-depth knowledge of modern data practices, including the technologies used, platforms and services, and the interface with cloud technologies, as well as data modelling techniques. - Strong knowledge of data security, data privacy, and regulatory compliance standards (e.g., GDPR, CCPA) and their implications for data architecture - Good understanding of the working practices of a Police Force LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. A multiple award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over consecutive years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.

Dans le cadre d’un programme stratégique de transformation Data pour un de nos clients, nous recherchons un(e) Tech Lead / Senior Solution Architect Databricks afin d’accompagner la modernisation et l’industrialisation d’une plateforme Data Azure à forte volumétrie. Vous interviendrez dans un environnement exigeant autour des enjeux suivants : • Migration et industrialisation sur Databricks • Gouvernance et qualité des données • Optimisation des performances et des coûts cloud (FinOps) • Accompagnement et montée en compétence des équipes Data 🎯 Vos missions : Data Engineering & Plateforme Data Concevoir et développer des pipelines d’ingestion à forte volumétrie Structurer et faire évoluer une plateforme Data moderne sur Azure Databricks Mettre en œuvre des traitements batch et streaming dans une architecture Lakehouse Industrialisation & DevOps Industrialiser les pipelines et renforcer les pratiques DevOps Mettre en place les bonnes pratiques CI/CD et automatiser les déploiements Participer à la fiabilisation des environnements de production Architecture & Gouvernance Définir l’architecture cible et garantir les standards techniques Accompagner les équipes sur les bonnes pratiques d’ingénierie Data Participer aux sujets Data Governance & Data Quality Performance & FinOps Optimiser les traitements Spark Maîtriser les coûts d’infrastructure cloud Améliorer les performances globales de la plateforme MCO & Support Intervenir sur des incidents complexes (support N3) Contribuer au maintien opérationnel de la plateforme

Dans le cadre de la modernisation de l’architecture data, nous recherchons actuellement un.e Data Engineer senior orienté finance quantitative pour intervenir chez l’un de nos clients du secteur financier. Vous intégrerez les équipes Data en charge de la production, de l’automatisation et de la fiabilisation des données de portefeuilles utilisées pour le suivi des fonds et des mandats. L’objectif est de garantir la qualité, la cohérence et la disponibilité de données financières critiques servant au pilotage des performances et au calcul des indicateurs de gestion. 🎯 Votre rôle En tant que Data Engineer spécialisé finance quantitative, vous intervenez sur l’ensemble de la chaîne de production des données financières. Votre mission consiste à concevoir, automatiser et fiabiliser les traitements de données liés aux portefeuilles, tout en assurant la cohérence des agrégations et des indicateurs utilisés par les équipes de gestion et de reporting. Vous contribuez directement à la qualité des données utilisées pour le suivi des fonds, la valorisation des portefeuilles et le pilotage des activités financières. Vos missions : ⚙️ Industrialisation des traitements de données financières Vous mettez en place et maintenez des chaînes de traitement robustes et automatisées : Concevoir et maintenir des pipelines de collecte et de transformation de données Automatiser les traitements de données de portefeuilles et de marchés Garantir la fiabilité des flux de données financiers Optimiser les traitements pour des volumes de données importants Assurer la stabilité et la performance des processus de production 📊 Agrégation et production des données de portefeuilles Vous intervenez sur la structuration des données financières : Agréger les données au niveau fonds et mandats Construire des datasets cohérents pour les usages de reporting Participer à la définition et au calcul des KPIs financiers Garantir la cohérence entre les différentes sources de données Assurer la qualité des données utilisées pour le suivi des portefeuilles 📈 Qualité, suivi et exploitation des données Vous êtes garant.e de la fiabilité des données en production : Suivre et analyser les statistiques de production Mettre à jour et contrôler les indicateurs de qualité de données Détecter et corriger les incohérences ou anomalies Participer à l’amélioration continue des traitements Garantir la robustesse des données utilisées en contexte critique 🧭 Environnement fonctionnel & technique 🏢 Domaine fonctionnel Finance de marché / asset management Suivi de portefeuilles et fonds Données financières et indicateurs de performance Valorisation et reporting financier Data platform finance 🛠 Technologies & outils Python SQL Snowflake Data engineering Pipelines de données Traitement de données financières Environnements data cloud Outils de transformation et orchestration (selon contexte)

La mission consiste à : - Exposer les données utiles à l’entreprise pour les analyser et les utiliser afin d’améliorer l’expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l’entreprise - Travailler en lien avec des Data Scientists sur les données qu’il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Formation supérieure en école d’ingénieur, école d’informatique ou Master spécialisé dans la Data Science - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais

Contexte Dans le cadre de la structuration de leur plateforme data, notre client recherche plusieurs profils Data et Flux pour intervenir sur la mise en place et l’optimisation de nos systèmes de gestion de données. Leur environnement technique s’appuie principalement sur : Snowflake (cœur de la plateforme data) AWS (EventBridge, Lambda) Airflow (orchestration des flux) Nous recrutons 4 profils avec des niveaux allant de très junior (sortie d’école) à très sénior (expert / architecte) . Vos missions 🔹 Volet Data Mise en place et structuration des données d’entreprise Contribution à la qualité des données (data quality) Modélisation et gestion des données dans Snowflake Participation aux bonnes pratiques Data (gouvernance, structuration) 🔹 Volet Flux / Data Engineering Développement et gestion des flux de données Mise en place des pipelines (ETL / ELT) Orchestration avec Airflow Intégration et gestion des événements via AWS EventBridge Développement serverless avec AWS Lambda 👉 Environnement orienté industrialisation des flux et qualité de la donnée (le décisionnel n’est pas la priorité à ce stade). INFORMATIONS COMPLEMENTAIRES Mission longue (minimum 1 an) Démarrage : 2 postes en juin 2 postes en septembre Localisation : Lille (59)

Contexte de la mission Dans le cadre du développement d’une plateforme Data dédiée à l’analyse des marchés de l’énergie, un grand acteur du secteur renforce son équipe Data Platform afin d’accompagner l’adoption et la montée en charge de ses usages. Cette plateforme centralise et industrialise la gestion de séries temporelles utilisées par des équipes métiers orientées trading, analyse de marché et gestion de portefeuille énergétique. L’environnement est moderne, orienté cloud et data engineering, avec une forte dimension : scalabilité, gouvernance de la donnée, qualité des données, onboarding utilisateurs, automatisation des pipelines. Vous rejoindrez une équipe agile composée d’experts data travaillant en proximité avec les équipes métier et les équipes gouvernance/data office. Vos missions Développer et maintenir des pipelines de données robustes et automatisés Garantir la fiabilité et la disponibilité de la plateforme data Participer à l’industrialisation et au monitoring des flux Accompagner les utilisateurs dans l’adoption de la plateforme Former et onboarder les nouveaux utilisateurs Assurer un support fonctionnel et technique au quotidien Identifier les axes d’amélioration continue via les retours utilisateurs Participer aux sujets de gouvernance et de qualité des données Environnement technique AWS Python Architecture Big Data Data Management Systems DevOps Gestion de séries temporelles Monitoring & automatisation

Contexte de la mission La Direction Achats a déployé une solution décisionnelle basée sur Microsoft Azure & Power BI afin de piloter la performance achats et les activités associées. La plateforme s'appuie sur : * Un data lake Azure alimenté par les outils de sourcing et +15 ERP * Environ 30 dashboards utilisés par plus de 2000 utilisateurs * Des thématiques variées : Performance achats Performance financière Impact carbone Risques fournisseurs Audits et conformité Aide à la négociation Le produit évolue en continu avec 4 releases annuelles en méthode Agile . Dans ce contexte, le consultant interviendra en autonomie complète sur des projets de bout en bout, depuis la compréhension du besoin jusqu'à la mise en production. Environnement Fonctionnel & Technique Domaines : Procurement / Achats / Industrie * Technologies : Azure Data Lake Azure Data Factory Azure SQL Azure Analysis Services Power BI (Service) DAX / Power Query (M) Environnement data : ~800 tables sources ~300 tables harmonisées ~20 tables de faits ~80 tables de mapping Missions principales Développement & Data Engineering * Construction des pipelines ETL (Azure Data Factory) * Mapping et intégration de nouvelles sources de données (ERP, applications) * Structuration et évolution du data model harmonisé * Optimisation des performances et des coûts Data Analyse & Data Visualization * Développement de dashboards Power BI à partir de maquettes (UX + métier) * Implémentation des mesures (DAX) et transformations (M) * Proposition de restitutions pertinentes orientées métier Gestion de projet & delivery * Prise en charge complète des évolutions en autonomie * Animation des workshops et échanges métiers * Pilotage des phases de test utilisateurs (recettes) * Organisation des démos et validation métier * Mise en production dans le respect des délais * Rédaction de la documentation fonctionnelle et utilisateur Support & amélioration continue * Support aux utilisateurs * Participation aux cérémonies Agile (daily, retro, refinement) * Amélioration continue du produit BI Responsabilités clés Gestion de bout en bout des projets BI (sans découpage des rôles) * Capacité à travailler sur des données peu documentées * Interprétation autonome des datasets complexes * Garantie du respect des délais de delivery * Force de proposition sur les innovations Microsoft Livrables Dashboards Power BI opérationnels * Data models et mappings documentés * Pipelines de traitement automatisés * Documentation utilisateurs et technique * Planning et suivi des livrables Compétences requises Techniques * Expertise Microsoft Azure Data (≥ 8 ans) * Très forte maîtrise Power BI (DAX, modeling, performance) * Expérience en construction de pipelines data (ETL / ELT) * Maîtrise des environnements data complexes

4. Description de la prestation et des missions attendues Le/La Data Engineer sera intégré(e) à l'équipe produit TOPASE NLS et interviendra sur les missions suivantes : 🔹 Conception, développement et optimisation des pipelines de données (GCP) Concevoir, développer et maintenir des pipelines robustes et performants pour la collecte, la transformation et le chargement des données depuis diverses sources (Oracle, fichiers, API, etc.) vers BigQuery et autres cibles. Exploiter et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) afin de construire des architectures data scalables et fiables. Automatiser les traitements, gérer les dépendances et orchestrer les jobs de données. Optimiser les performances des pipelines ainsi que la consommation des ressources GCP. 🔹 Modélisation et gestion des données Participer à la conception et à l'évolution des modèles de données dans BigQuery, en lien avec les Data Analysts et les équipes métiers. Garantir la qualité, la cohérence et l'intégrité des données. Mettre en œuvre des stratégies de versioning des schémas et de gestion du cycle de vie des données. 🔹 Run opérationnel, maintenance et support N2/N3 Assurer le support opérationnel de niveau 2/3 de la solution TOPASE (environnement GCP + solution éditeur). Développer et maintenir des scripts Bash pour automatiser les tâches récurrentes (supervision, traitement de données, maintenance). Rédiger, optimiser et exécuter des requêtes SQL complexes (BigQuery et Oracle) pour l'analyse, le diagnostic d'incidents et la restitution de données. Gérer les incidents en collaboration avec les équipes internes et l'éditeur. Participer à la qualification des livraisons de patchs éditeur impactant les flux de données. Suivre les incidents via le CRM éditeur et contribuer aux comités de suivi. 🔹 Monitoring, logging et alerting Mettre en place et maintenir des dispositifs de supervision des flux de données, de la qualité, des performances et de l'utilisation des ressources (Stackdriver, Grafana, Looker Studio). Définir et implémenter des alertes permettant la détection proactive des anomalies. Concevoir des tableaux de bord pour le suivi des KPI opérationnels et métier. 🔹 Infrastructure as Code (IaC) Contribuer à la définition et à l'implémentation de l'infrastructure data via Terraform. Garantir la reproductibilité et la traçabilité des environnements (Dev, Recette, Pré-prod, Prod). 🔹 Collaboration et conseil Travailler en étroite collaboration avec les équipes Data (Data Scientists, Data Analysts), les Product Owners et les métiers. Proposer des solutions techniques adaptées et conseiller sur les bonnes pratiques en Data Engineering. Participer aux rituels Agile/Kanban de l'équipe produit. 5. Compétences et expériences requises5.1 Expertise technique Cloud GCP : Expertise confirmée des services data (BigQuery, Dataflow, Cloud Storage, Pub/Sub, Composer/Airflow, Stackdriver, Data Catalog). Bases de données : Maîtrise avancée SQL (optimisation, requêtes complexes), expérience sur BigQuery et Oracle 19 (MySQL/PostgreSQL appréciés). Scripting : Excellente maîtrise de Bash (indispensable pour le run). Systèmes : Bonne maîtrise des environnements Linux (RedHat). IaC : Solide expérience avec Terraform. CI/CD : Maîtrise d'un outil comme GitLab CI. Monitoring/Logging : Stackdriver, Grafana, ELK, Looker Studio. Versioning : Git (GitLab). Réseaux : Connaissances solides (TCP/IP, HTTP/S, DNS, load balancing, firewall). Data Engineering : Maîtrise des concepts ETL/ELT, Data Warehouse, Data Lake et streaming. 5.2 Environnement technique TOPASE NLS OS : RedHat Enterprise 9.4 Cloud : Azure (solution éditeur) & GCP (data, monitoring, pipelines) CI/CD : GitLab CI IaC : Terraform Monitoring : Looker Studio, GANTI, Grafana, ELK Bases : Oracle, BigQuery Langage : Bash 5.3 Méthodologies et soft skills Expérience en environnement Agile (Scrum, Kanban). Excellentes capacités d'analyse et de résolution de problèmes, notamment en situation d'incident. Autonomie, proactivité et sens de l'amélioration continue. Bonnes compétences de communication (français courant, anglais technique). Esprit d'équipe et partage des connaissances. Sens des responsabilités, notamment en environnement de production. 5.4 Expérience Minimum 3 ans d'expérience en tant que Data Engineer, idéalement sur GCP. Expérience sur des environnements à forte volumétrie, avec des enjeux de performance, fiabilité et disponibilité.

Contexte : Dans le cadre du renforcement d’une plateforme Data Cloud à forte volumétrie, nous recherchons un Senior Data Engineer afin d’intervenir sur la conception, l’industrialisation et l’optimisation des pipelines de données dans un environnement cloud moderne orienté temps réel et batch processing. Missions : Concevoir, développer et maintenir des pipelines de données batch et temps réel Participer à l’architecture et à l’évolution de la plateforme Data sur GCP Mettre en place les flux d’ingestion, transformation et exposition des données Optimiser les performances et la fiabilité des traitements data Industrialiser les déploiements via des pipelines CI/CD Automatiser l’infrastructure cloud avec Terraform Participer aux bonnes pratiques Data Engineering / DataOps / DevOps Développer et exécuter les tests fonctionnels des pipelines Assurer le monitoring et le support des traitements en production Environnement technique : GCP (BigQuery, Cloud Run, Cloud Build, Pub/Sub, Artifact Registry) Terraform Python SQL CI/CD Airflow / orchestration Architecture cloud-native Contexte : Dans le cadre du renforcement d’une plateforme Data Cloud à forte volumétrie, nous recherchons un Senior Data Engineer afin d’intervenir sur la conception, l’industrialisation et l’optimisation des pipelines de données dans un environnement cloud moderne orienté temps réel et batch processing. Missions : Concevoir, développer et maintenir des pipelines de données batch et temps réel Participer à l’architecture et à l’évolution de la plateforme Data sur GCP Mettre en place les flux d’ingestion, transformation et exposition des données Optimiser les performances et la fiabilité des traitements data Industrialiser les déploiements via des pipelines CI/CD Automatiser l’infrastructure cloud avec Terraform Participer aux bonnes pratiques Data Engineering / DataOps / DevOps Développer et exécuter les tests fonctionnels des pipelines Assurer le monitoring et le support des traitements en production Environnement technique : GCP (BigQuery, Cloud Run, Cloud Build, Pub/Sub, Artifact Registry) Terraform Python SQL CI/CD Airflow / orchestration Architecture cloud-native

Vous rejoignez une équipe Tech et Data pour concevoir, développer et industrialiser des solutions d'intelligence artificielle à fort impact métier. Dans le cadre de l'accélération de notre stratégie IA, nous recherchons un(e) AI Agent Builder expérimenté(e), capable de concevoir, déployer et industrialiser des agents d'IA générative répondant à des besoins métiers variés. Vous justifiez d'une expérience concrète dans la création d'agents IA (LLM, workflows agentiques, assistants intelligents, etc.) et maîtrisez leur orchestration au sein de plateformes dédiées. Vous intervenez également sur les sujets de gouvernance , de guardrails , de sécurité, de supervision et de gestion du cycle de vie des agents afin de garantir leur fiabilité, leur conformité et leur performance en production. Vous serez amené(e) à collaborer étroitement avec les équipes métiers et techniques pour concevoir des solutions innovantes, robustes et évolutives, tout en contribuant à la définition des bonnes pratiques autour de l'IA générative. Vous collaborez étroitement avec les équipes Produit, Data et Engineering.

Périmètre de la mission : La prestation a pour objet un appui PMO au pilotage des activités et projets de la Plateforme Data & IA, couvrant les domaines Data, BI, IA et usages avancés opérés sur les environnements Cloud Public, Cloud de Confiance et On-Premise. Le périmètre couvre notamment : les plateformes Google Cloud Platform (GCP) ; les environnements S3NS / Cloud de Confiance ; les infrastructures On-Premise ; les plateformes Power BI opérées sur Microsoft 365 et Bleu ; les services et socles transverses des plateformes Data & IA ; les projets liés aux usages analytiques, BI, Data Engineering, IA et usages avancés. Dans ce cadre, le prestataire interviendra en appui des responsables de projets, responsables de produits, responsables techniques et équipes de la Plateforme Data & IA afin d’assurer les activités de coordination, de suivi, de gouvernance et de pilotage transverse. Les activités attendues dans le cadre de la prestation incluent notamment : Suivi et pilotage des feuilles de route projets et produits ; Coordination des différents contributeurs et parties prenantes ; Suivi des jalons, risques, dépendances et plans d’actions ; Préparation, organisation et animation des instances de gouvernance et de pilotage ; Consolidation des indicateurs d’avancement et tableaux de bord ; Production des supports de reporting et de communication projet ; Suivi des activités dans un environnement agile à l’échelle (SAFe, PI Planning, ART Sync, backlog, capacités, features, cérémonies agiles, etc.) ; Mise à jour et suivi des outils de pilotage projet et de gestion d’activités ; Appui au cadrage et au suivi des projets plateformes Data & IA ; Suivi des sujets liés à l’industrialisation, à l’exploitation et à la gouvernance des plateformes ; Coordination des sujets transverses avec les équipes architecture, cybersécurité, cloud, exploitation, DevOps, FinOps et DataOps ; Appui au suivi budgétaire et capacitaire des activités ; Formalisation et suivi des processus de gouvernance et de fonctionnement ; Consolidation et suivi des plans de charge et des adhérences projets ; Préparation des supports nécessaires aux différents jalons et instances ; Suivi des actions et décisions issues des comités et instances de gouvernance ; Contribution à la communication et à l’acculturation autour des plateformes Data & IA. La prestation devra être réalisée dans le respect des référentiels méthodologiques, techniques, de sécurité et de gouvernance du client ainsi que des pratiques agiles en vigueur au sein des équipes Plateforme Data & IA. Mission attendue : participe aux instances de pilotage, de gouvernance et cérémonies agiles ; produit et maintient les livrables de pilotage et reporting ; contribue aux activités de cadrage projet ; contribue au pilotage des activités dans un environnement agile à l’échelle ; contribue au pilotage transverse des plateformes Data & IA ; contribue à la gouvernance et au suivi des processus ; contribue au reporting et à la communication projet ; maintient à jour les outils de pilotage ; livre des documents de qualité. Compétences techniques : Compétences Niveau Gestion de projet7Processus achat6Définition d’offre de services6Définition de processus7Data et platformisation4Intelligence artificielle5Frameworks SAFe / SCRUM4JIRA4Big Picture1Confluence4Teams4Klaxoon4Microsoft Forms4Microsoft Office6Microsoft Outlook4 Compétences méthodologiques : Levée des obstacles Capacité à rédiger des documents Esprit de synthèse Rigueur et organisation Esprit critique & analyse Résilience Communication et pédagogie Sens du service Mindset Agile Proactivité Esprit collaboratif Écoute active et ouverture d’esprit Honnêteté et transparence

Le domaine SI Dataplatform & BI souhaite renforcer ses capacités d’industrialisation des projets Data Science et IA. La plateforme Dataiku DSS est utilisée pour le développement des modèles Machine Learning et nécessite une expertise externe afin de sécuriser leur mise en production, leur exploitation et leur alimentation en données. La mission s’inscrit à l’interface entre les équipes Data Science et Dataplatform de la DSI, avec une forte orientation industrialisation, MLOps et DataOps, dans des environnements DEV / TEST / PROD. Objectifs et livrables : -Industrialisation des projets Machine Learning développés sous Dataiku DSS -Mise en place et maintien d’une chaîne MLOps robuste et sécurisée -Déploiement et supervision des modèles ML en production -Connexion et gestion des flux de données vers Dataiku DSS -Garantir la performance, la gouvernance et la fiabilité des pipelines data -Accompagnement du passage des POC vers la production -Contribution aux bonnes pratiques MLOps & DataOps Livrables attendus : -Pipelines MLOps industrialisés et documentés -Modèles ML supervisés en production -Connecteurs Dataiku opérationnels -Documentation d’exploitation et recommandations d’amélioration continue Profil recherché : Nous recherchons un expert Dataiku DSS disposant d’une expérience significative en industrialisation de projets Machine Learning et en mise en place de chaînes MLOps. Le candidat doit être capable d’intervenir aussi bien sur les problématiques build que run, avec une forte sensibilité aux enjeux d’exploitation, de sécurité et de gouvernance des données. Une excellente maîtrise de Python, SQL et des outils CI/CD est attendue, ainsi qu’une bonne compréhension des architectures Data et des environnements Cloud (AWS, GCP ou Azure). Le profil doit être autonome, structuré et capable de collaborer avec des équipes Data Science, Data Engineering et Infrastructure.