Find your next tech and IT Job or contract Data Engineering

Nous recherchons un Data Engineer pour intervenir sur des projets de traitement, d'intégration et de transformation de données. Le profil devra disposer d'une bonne maîtrise de Python, XML et Transact-SQL (T-SQL). MissionsConcevoir et développer des flux de données et des traitements d'intégration. Développer des scripts et traitements en Python pour automatiser et fiabiliser les processus Data. Manipuler et transformer des données au format XML. Développer et optimiser des requêtes et procédures en Transact-SQL (T-SQL). Participer à la mise en place et à l'évolution des pipelines de données. Contrôler la qualité, la cohérence et la fiabilité des données. Identifier et résoudre les problématiques techniques liées aux traitements et aux flux de données. Collaborer avec les équipes Data, IT et Métiers sur les différents projets. Environnement techniquePython, XML, Transact-SQL / T-SQL, SQL Server, ETL, Data Integration, Data Pipelines, traitement de données.

Missions et responsabilités1. Ontologie et Knowledge GraphConcevoir, construire et maintenir l'ontologie et le modèle de graphe de connaissances. Structurer les données techniques et métier pour leur exploitation par des agents IA. Définir la stratégie d'intégration des différentes sources de données. Assurer la connexion entre le Knowledge Graph et les systèmes d'information existants. Mettre en place les mécanismes de traçabilité, de fraîcheur et de qualité des données. 2. Data Engineering et fiabilitéConcevoir et industrialiser les pipelines d'alimentation du graphe de connaissances. Garantir la durabilité et l'exploitabilité du service : stockage persistant, sauvegarde, restauration et exploitation. Mettre en place des mécanismes de contrôle de qualité des données. Développer les contrôles de grounding permettant de vérifier que les informations produites par les agents IA sont réellement présentes dans le graphe. Garantir la fiabilité et la traçabilité des informations exploitées par les agents. 3. Intégration IA et accès aux connaissancesDéfinir des contrats d'accès sécurisés et gouvernés à la connaissance. Faciliter l'exploitation du Knowledge Graph par les agents IA, les workflows, les skills réutilisables et les outils développeurs. Collaborer avec les Tech Leads Plateforme et Agents sur les exigences d'accès, de sécurité et d'évaluation. Rationaliser les outils et interfaces de consultation de la connaissance. Mesurer les coûts et les performances des exécutions enrichies par le graphe, notamment leur latence. 4. Gouvernance et évolutionDéfinir les règles de gouvernance et de qualité des données. Collaborer avec les responsables applicatifs, les équipes de développement et les équipes Data. Garantir la cohérence et la mise à jour des connaissances. Préparer l'extension progressive du Knowledge Graph aux données et règles métier. Participer aux choix d'architecture et aux orientations techniques de la plateforme.

Contexte et objectifL'organisation a structure sa plateforme data sur Databricks et souhaite accelerer la mise en production de cas d'usage GenAI, agents IA, systemes multi-agents et agentic retrieval. Le profil intervient de la preparation des donnees jusqu'au deploiement, a l'evaluation et au monitoring en production. Missions principales· Concevoir des cas d'usage IA avec les parties prenantes metier et IS. · Construire les strategies de context engineering et knowledge grounding. · Developper des agents et systemes multi-agents avec tool calling et MCP. · Concevoir les pipelines data : ingestion, preparation, chunking, embeddings et vector indexes. · Industrialiser via LLMOps : evaluation, MLflow, CI/CD, deploiement et monitoring qualite / latence / couts. · Appliquer gouvernance Data & AI, securite, confidentialite et maitrise des couts by design.

Contexte du poste : Nous recherchons un Data Platform & Data Ops Engineer pour renforcer temporairement l'équipe Data Platform de la Digital Factory de notre client. L'équipe assure la mise à disposition, l'exploitation et l'évolution des plateformes permettant l'ingestion, le stockage, la transformation et la mise à disposition des données. Dans un contexte d'accélération des projets Data et IA, vous contribuerez à l'industrialisation des traitements, à la fiabilisation des infrastructures et à l'amélioration continue des processus d'exploitation. Vous travaillerez en étroite collaboration avec les équipes Data Engineering, BI et Architecture. Missions principales : Administrer et exploiter les plateformes Data ainsi que les environnements DEV, TEST et PROD Concevoir, déployer et maintenir des architectures Data sécurisées, scalables et résilientes sur AWS Développer et maintenir les pipelines d'intégration et de transformation des données Automatiser le provisionnement des infrastructures à l'aide de Terraform et industrialiser les déploiements Mettre en place et améliorer les chaînes CI/CD pour les composants Data Assurer le support N2/N3, analyser les incidents complexes et optimiser les performances des plateformes Mettre en œuvre les dispositifs de monitoring, d'observabilité et d'alerting Gérer les accès, les habilitations et les standards de sécurité des environnements AWS Optimiser les coûts d'infrastructure et contribuer aux démarches FinOps Participer aux projets de migration Cloud, aux évolutions Microsoft Fabric et à l'intégration de nouveaux services Data Documenter les procédures d'exploitation, les architectures techniques et les bonnes pratiques DataOps

Au sein de la Direction des Systèmes d'Information, rattaché(e) à une équipe spécialisée en BI & Data, vous intervenez sur la mise à disposition de solutions sécurisées de reporting et d'analyse de données. Les principaux cas d'utilisation sont : Enrichissement du Data Lake d'entreprise et des Data Products. Préparation, transformation et mise à disposition des données à des fins d'analyse et de reporting. Accompagnement des utilisateurs dans l'exploitation et l'usage des données. Conception et mise en œuvre de nouvelles solutions Data. Participation aux nouveaux projets et aux migrations des solutions existantes vers le Cloud. Dans le cadre de la transformation de l'écosystème Data vers le Cloud, vos principales missions seront : Analyser et qualifier les besoins avec les équipes métier. Participer à la conception des solutions Data. Rédiger la documentation projet et technique : planning, spécifications, documents d'exploitation, contrats d'interface, datamapping, etc. Développer les traitements de transformation et de préparation des données avec Python, PySpark et SQL. Participer à la modélisation, à la gouvernance et à l'amélioration de la qualité des données. Mettre en place et assurer le monitoring des traitements. Optimiser les performances et la fiabilité des pipelines Data. Assurer la communication et la coordination avec les différentes parties prenantes des projets. Accompagner les utilisateurs et les équipes dans la conduite du changement liée à la migration vers le Cloud. Participer au développement et à l'évolution des solutions BI et de reporting, notamment avec Power BI.

Description et livrables de la prestation Le Data Engineer est un développeur au sein de l'équipe Engineering Open Big Data du Département Guilde Data, qui regroupe l'ensemble des expertises technologiques liées à l'ingénierie de la donnée, de l'automatisation et à l'exploitation des modèles de Machine Learning. Votre rôle et vos missions : Vous aurez pour missions principales de développer les projets Big Data demandés par le métier, et notamment : • Passer de la donnée brute à de la donnée exploitable, exposée sous forme de tables requêtables dans le Datalake • Consolider ces données au fur et à mesure de leur alimentation récurrente dans le Datalake • Les exploiter pour atteindre la finalité business (exposition de Business View, réintégration des résultats dans le SI, service de scoring, …) • De mettre en place et de garantir le respect dans la durée d'un processus qualité sur l'ensemble du cycle de DEV (documents, tests unitaires / intégration / fonctionnels, commentaires, versionning, etc.) • Accompagner les Data Engineers sur son périmètre pour garantir la qualité des livrables

Lead Data Orchestration Engineer spécialisé sur Apache Airflow et AWS MWAA La mission se structure autour de quatre axes : Axe 1 — Optimisation architecturale Optimiser et faire évoluer les mécanismes d'orchestration existants pour permettre le passage à l'échelle et réduire les coûts d'exploitation (temps de résolution d'incidents, effort d'ajout de nouveaux pays). Axe 2 — Sécurisation et résilience Renforcer la robustesse de la plateforme face à la charge et aux défaillances : observabilité de bout en bout, politique de rotation des secrets, isolation des flux, capacité de reprise automatique. Axe 3 — Étude et migration vers une infrastructure cible L'audit a mis en évidence les limites structurelles d'AWS MWAA pour nos besoins (contraintes de scaling, manque de flexibilité sur la configuration, coûts). Le Lead Data Orchestration Engineer devra étudier les alternatives (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect, ou autre solution adaptée à nos process) et piloter la migration vers l'infrastructure retenue si pertinent. Axe 4 — Autonomie des équipes Former et structurer les équipes Dev et Ops pour qu'elles puissent opérer, diagnostiquer et faire évoluer la plateforme en autonomie sur le long terme. Séniorité : 5 ans d'expérience minimum sur Apache Airflow, dont une expérience significative en environnement managé (AWS MWAA ou Google Cloud Composer). Compétences techniques requises : Maîtrise du modèle d'exécution Airflow : scheduler, executor, pools, triggers, deferrable operators Expérience de tuning et d'optimisation de plateformes Airflow à l'échelle (200+ DAGs en production) Expertise AWS : MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM Connaissance d'alternatives à MWAA : Airflow sur ECS/EKS, Astronomer, ou orchestrateurs modernes (Dagster, Prefect) — expérience de migration d'un orchestrateur vers un autre fortement appréciée Expérience avec des DAG Factories dynamiques (génération de DAGs à partir de configurations) — capacité à faire évoluer et optimiser une factory existante Patterns de résilience : retry strategies, Dead Letter Queues, circuit breakers, isolation des flux Observabilité : métriques, dashboards, alerting, routage d'incidents par criticité Python avancé (plugins custom, operators, sensors) Infrastructure as Code (Terraform) — connaissance souhaitée Compétences transverses : Capacité à concevoir et faire appliquer des standards techniques (code reviews, patterns, conventions) Expérience de mentorat et de transfert de compétences auprès d'équipes mixtes (Dev + Ops) Capacité à piloter un programme d'optimisation technique (priorisation, suivi, reporting) Autonomie et force de proposition

Dans le cadre du renforcement de ses équipes Data Platform / Data Factory, recherche un Data Engineer expérimenté pour intervenir sur ses projets Data. Le consultant intégrera un environnement Data en croissance, avec des enjeux d'industrialisation, de performance, de qualité et de gouvernance de la donnée. Missions principales Concevoir, développer et maintenir des pipelines de données. Assurer l'ingestion, la transformation et la mise à disposition des données. Développer et industrialiser les traitements Data sous Databricks / Spark. Participer à l'évolution de la Data Platform Azure. Optimiser les traitements et les performances des pipelines. Travailler sur la qualité, la fiabilité et la disponibilité des données. Participer aux problématiques de traitement batch et/ou temps réel. Contribuer aux bonnes pratiques de développement et d'industrialisation Data. Collaborer avec les équipes Data Platform, Data Engineering, Data Science et les équipes métiers. Contribuer aux enjeux de gouvernance et de sécurisation des données. Avec un écosystème Data Platform comprenant également des enjeux autour de Databricks Unity Catalog, notamment pour la gouvernance, le lineage et la gestion des accès.

Datacentre Engineer Start Date: asap Target End Date: six-month initial contract. Location - Grays / Stevenage - Mostly on site , decommissioning hardware in datacentres. Engineers are required within the Datacentre Team to meet the increased demand for Project work. Experience : -Proven hands-on experience working within live data centre environments. -Previous experience undertaking server, storage or infrastructure decommissioning. -Strong practical knowledge of enterprise server and storage hardware. -Experience installing/removing rack-mounted equipment and working safely within data centre racks. -Experience tracing and disconnecting Ethernet, fibre-channel/SAN and power connectivity. -Understanding of enterprise storage infrastructure and associated cabling. -Experience handling HDDs, SSDs and other data-bearing media securely. -Knowledge of secure data sanitisation, media destruction and chain-of-custody requirements. -Experience maintaining accurate hardware asset and inventory records. -Experience working with CMDB and/or IT asset-management systems. -Ability to work from rack elevations, asset lists, implementation plans and technical documentation. -Experience working within formal change-control and change-management processes. -Strong attention to detail and a methodical approach to equipment identification. -Ability to recognise unexpected dependencies or discrepancies and escalate appropriately rather than proceeding without authorisation. -Good written documentation and communication skills. -Ability to work independently while following defined technical and security procedures. -Ability and willingness to travel between all three data centre locations. Due to the nature and urgency of this post, candidates holding or who have held high level security clearance in the past are most welcome to apply. Please note successful applicants will be required to be security cleared prior to appointment which can take a minimum 10 weeks. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. An award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over multiple years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.

Dans un environnement orienté data et analytics, le Senior Data & Analytics Engineer intervient en tant qu'expert technique afin d'accompagner les équipes de développement dans la conception, l'amélioration et l'industrialisation de solutions de traitement et d'analyse de données sur Azure Databricks. Ses principales missions sont les suivantes : Support technique : accompagner les développeurs Python et R dans la résolution de problématiques techniques et l'utilisation des technologies data. Revue et optimisation du code : analyser, relire, déboguer et améliorer le code existant afin d'en garantir la qualité, la performance et la maintenabilité. Industrialisation des traitements : fiabiliser et industrialiser les workloads Databricks, les pipelines de données et les processus ETL/ELT. Définition des bonnes pratiques : mettre en place des standards de développement, des modèles de code réutilisables et des stratégies de tests adaptées aux environnements de production. Automatisation des déploiements : contribuer à la mise en œuvre des processus d'intégration et de déploiement continus (CI/CD), conformément aux standards techniques établis. Qualité et gouvernance des données : garantir la qualité, la traçabilité et la cohérence des données, notamment à travers Delta Lake et Unity Catalog. Optimisation des performances : analyser et optimiser les traitements Spark et PySpark afin d'améliorer leur efficacité et leur robustesse. Accompagnement des migrations : évaluer la pertinence des migrations de traitements R vers Python ou SQL sur la base de critères objectifs, techniques et opérationnels. Accompagnement au changement : favoriser l'adoption des outils et des standards de développement, assurer le transfert de connaissances et diffuser les bonnes pratiques. Respect des exigences réglementaires : contribuer à la mise en œuvre de solutions analytiques fiables répondant aux exigences des environnements réglementés.

Vous aimez les plateformes de données qui tournent vraiment en production ? Rejoignez l'équipe qui fait vivre le datalake des fonctions Technologies & Opérations d'un grand groupe bancaire. La DSI fournit aux directions technologiques, aux opérations et à la banque de proximité les applications et les données dont elles ont besoin au quotidien. Le datalake Hadoop en est une pièce centrale : il alimente le pilotage et les usages analytiques de plusieurs directions. Vous intervenez en lien direct avec la production applicative et l'équipe DevOps, au sein d'une équipe IT internationale. Vos principales missions : Concevoir et mettre en production de nouvelles ingestions de données : collecte, préparation, transformation. Maintenir et faire évoluer les outils de gestion des pipelines de données (PySpark, shell scripting). Porter auprès de l'équipe DevOps les évolutions nécessaires de la plateforme. Rédiger des spécifications techniques claires et exploitables par l'équipe. Ce que la mission vous apporte : Un datalake en production, avec de vrais volumes et de vrais utilisateurs métier. Une équipe internationale : l'anglais est utilisé au quotidien. Une ouverture vers le cloud (GCP / BigQuery) pour qui veut élargir sa stack. Environnement technique : Hadoop, PySpark, Spark, Hive, Python, SQL, Git, Jenkins, Jira, Unix / Linux — Scrum.

La prestation vise à accompagner l'équipe dans la conception et l'industrialisation de solutions Data & IA. Cette mission consiste à contribuer aux différentes étapes d'un projet Data & IA, de la compréhension des besoins métier jusqu'à la mise en production des solutions. Les principaux attendus sont : - Analyse et traduction des besoins métier en cas d'usage Data / IA. - Exploration, préparation et exploitation des données nécessaires. - Conception, développement et évaluation de modèles de Machine Learning et d'IA générative. - Réalisation de prototypes / MVP pour valider la faisabilité et la valeur des solutions. - Industrialisation et intégration des solutions dans l'écosystème existant. - Mise en place des tests et du suivi de la performance des modèles. - Production d'un code robuste, maintenable et documenté, ainsi que de la documentation nécessaire au transfert de connaissances. Profil recherché Compétences attendues : RAG-Engine, Full Stack Python, VertexAI, GIT, BIGQUERY, GCP, Shell Unix.

Localisation : IDF Présence sur site : 3 jours par semaine Démarrage : ASAP Fin de mission : 04/01/2028 TJM : 630 € Expérience : Plus de 7 ans Contexte de la missionDans le cadre de l'évolution d'une plateforme Data sur GCP, vous interviendrez sur la conception et le développement de solutions visant à améliorer les pratiques d'ingénierie logicielle, l'outillage des développeurs et l'automatisation des traitements. La mission porte notamment sur le développement d'agents IA destinés à accompagner les équipes techniques dans leurs activités, avec une montée en autonomie progressive sur différents domaines de la Data Platform. Objectifs de la missionConcevoir et développer des agents IA dédiés à l'outillage des équipes de développement. Contribuer à l'automatisation des activités de conception, de développement et de mise en production. Participer à l'amélioration continue des pratiques d'ingénierie et de déploiement. Contribuer à la modernisation, à la sécurisation et à l'observabilité de la plateforme. La roadmap prévoit notamment le développement d'agents dédiés à l'outillage des développeurs (MCP, skills, cartographie des pipelines), puis leur extension à différents domaines : DBT, Kafka Streams, APIs et Dataproc, de la conception jusqu'à la mise en production, avec des mécanismes de rollback. En parallèle, les travaux se poursuivent sur la modernisation du socle, notamment les migrations, la sécurisation et l'observabilité. L'objectif principal de la mission est de concevoir et développer ces agents IA. Compétences requises – Must Have Solide expérience en ingénierie logicielle ou plateforme sur GCP, notamment sur les sujets CI/CD, tests et observabilité. Pratique du traitement batch (dbt / BigQuery) ou du streaming (Kafka). Expérience avérée dans la conception et la mise en production d'au moins un agent IA, utilisé par d'autres personnes. Compétences appréciées – Nice to Have Expérience dans la création de serveurs MCP ou l'utilisation de frameworks d'agents tels que ADK ou Claude Agent SDK. Expérience en équipe plateforme ou Developer Experience, avec des outils internes utilisés par plusieurs équipes. Expérience dans la mise en place de dispositifs d'évaluation d'agents ou de systèmes LLM.

Une plateforme data sur Google Cloud, des demandes métier concrètes et une équipe internationale : une mission pour un Data Engineer qui veut construire, pas seulement maintenir. La DSI d'un grand groupe bancaire déploie une plateforme de données sur Google Cloud Platform au service des directions technologiques, des opérations et de la banque de proximité. Vous mettez en œuvre techniquement les demandes des métiers, en lien direct avec la production applicative et l'équipe DevOps. Vos principales missions : Concevoir et mettre en production de nouvelles ingestions de données : collecte, préparation, transformation. Maintenir et faire évoluer les outils de gestion des pipelines de données. Porter auprès de l'équipe DevOps les évolutions nécessaires de la plateforme. Rédiger des spécifications techniques claires et exploitables par l'équipe. Ce que la mission vous apporte : Une stack cloud moderne : BigQuery, Cloud Storage, Python orienté objet. Des cas d'usage métier variés, livrés en Scrum. Une équipe internationale : l'anglais est utilisé au quotidien. Environnement technique : GCP, BigQuery, Cloud Storage, Python, Pandas / Dask, SQL, Bash, Git — Scrum.