Find your next tech and IT Job or contract Data Engineering

Data Engineers Databricks, PySpark, Python, SQL, Gitlab, Nexus, Terraform Nantes ( 3 à 4 jours de télétravail) 05/10/2026 Databricks, PySpark, Python, SQL, Gitlab, Nexus, Terraform Nous recherchons 2 data Engineers confirmés qui travailleront sur des cas d'usage. Les principales tâches seront: - Participer à la conception des usages suivant l'architecture définie. - Réaliser les développements en langage python/spark, - Être vigilant sur les bonnes pratiques du point de vue FINOPS - Réaliser les travaux jusqu'en environnement de production - Participer au support N3 de la production - Être force de proposition, - Documenter les réalisations. Il est nécessaire de maitriser Databricks, Python, PySpark

Dans le cadre du développement et de l'évolution de sa plateforme Data, notre client recherche un Tech Lead Data Engineer capable d'intervenir aussi bien sur la conception fonctionnelle et technique que sur l'implémentation des solutions Data. Le consultant travaillera en étroite collaboration avec le Product Owner afin de comprendre les besoins métiers, les challenger et les traduire en spécifications fonctionnelles et techniques exploitables par l'équipe Data. Il jouera également un rôle de référent technique auprès des Data Engineers, dans un environnement principalement basé sur Snowflake, dbt et Google Cloud Platform (GCP).

Location - 2 days p/week in Glasgow Duration - 12 months Rate - £365 Inside IR35 Role Overview: You will be responsible for the reliable extraction, transformation, and loading of end-of-day data. Your primary focus will be managing the overnight batch processes that synchronize data across various internal sources. Key Responsibilities: Develop, schedule, and maintain complex automated batch jobs for overnight file creation. Transform large datasets from various internal upstream sources into standardized formats. Ensure data integrity and implement robust error-handling and alerting . Required Skills: Strong proficiency in Python. Hands-on experience with Pandas for high-performance data manipulation and analysis. Experience building and orchestrating pipelines using Apache Airflow. A plus: Understanding of financial instruments, specifically structured products and derivatives. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. A multiple award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over consecutive years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.

Vos missionsEn tant que Data Test Engineer, vous assurez la définition et le pilotage de la stratégie de tests des produits Data, de leur conception jusqu'à leur mise en production. À ce titre, vous serez notamment chargé(e) de : Contribuer aux études, au chiffrage et à la planification des activités de tests ; Définir les périmètres, scénarios, jeux de données et moyens nécessaires aux tests ; Concevoir et piloter les stratégies de tests de bout en bout ; Exécuter des tests manuels et automatisés en environnement d'intégration ; Réaliser des tests bouchonnés, non bouchonnés, transverses et de performance ; Automatiser les tests d'intégration dans un environnement CI/CD ; Coordonner les activités avec les testeurs, développeurs, Product Owners et équipes projet ; Assurer le suivi des anomalies et réaliser leur premier niveau d'analyse ; Accompagner les équipes métier pendant la préparation et l'exécution des recettes ; Participer à la maintenance corrective et évolutive des produits ; Contribuer aux projets de migration, aux évolutions d'architecture et aux montées de version ; Suivre la qualité des produits de bout en bout et produire le reporting associé ; Rédiger et maintenir les stratégies, rapports, procès-verbaux et documents de tests ; Participer activement aux cérémonies Agile et SAFe.

Contexte Notre client lance ses premiers projets d'IA et d'automatisation. Le premier chantier est un POC d'automatiser, c'est-à-dire le recensement d'informations dans les PDF, images et autres, fait aujourd'hui à la main. D'autres projets data et IA suivront. La mission Construire la chaîne de traitement : extraction des PDF, détection des publicités, structuration des données (annonceur, marque, format, page, numéro). Choisir et comparer les approches (OCR, vision, LLM) sur des métriques mesurées : précision, rappel, coût, temps. Livrer du code de production : tests, logs, reprise sur erreur, API, Docker. Préparer la suite : intégrer le traitement aux données et automatiser d'autres processus.

La mission consiste à contribuer à la conception, l'industrialisation, l'exploitation et l'évolution des plateformes et services Data. Le consultant interviendra aussi bien sur les projets DATA que sur les activités de RUN. Il devra être capable de travailler dans un environnement technique large, sans nécessairement être expert sur chaque technologie, mais avec une bonne culture Data / Big Data / DevOps / Cloud. Une forte capacité d'autonomie, de curiosité et de proposition est attendue afin d'accompagner les équipes dans leurs choix techniques et leur évolution. MISSIONS PRINCIPALESParticiper aux projets Data et aux activités de RUN. Concevoir et faire évoluer les solutions Data Engineering. Participer à l'industrialisation et à l'automatisation des traitements et infrastructures. Développer et maintenir les pipelines CI/CD. Participer à la gestion et à l'exploitation des environnements Docker / Kubernetes. Automatiser les opérations à l'aide d'Ansible et/ou Terraform. Intervenir sur les bases de données SQL Server, PostgreSQL et MongoDB. Participer à l'exploitation et à l'évolution des environnements Big Data. Contribuer aux sujets Cloud public AWS / GCP. Participer à la supervision et à l'observabilité des plateformes. Analyser les problématiques de production et contribuer à leur résolution. Proposer des améliorations techniques et opérationnelles. Challenger l'existant et orienter les choix techniques lorsque nécessaire. Collaborer avec les équipes Data, DevOps, infrastructure et projets.

Au sein de la DSI de notre client, dont la mission est de concevoir et maintenir les applications stratégiques des métiers du Groupe. Dans le cadre de l'évolution du Data Lake CIO Office, nous recherchons un Data Engineer expérimenté afin de participer au développement, à l'évolution et à l'industrialisation des pipelines de données, en collaboration avec les équipes de production applicative et DevOps. Vous évoluerez dans un environnement Big Data moderne, orienté Cloud et Agile, avec des échanges réguliers avec les équipes internationales basées à Porto.

ContexteDans le cadre de la transition vers une architecture Data Mesh, nous recherchons un(e) Data Product Engineerspécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst (Trino). La mission consiste à concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain teams et les data owners. MissionsConcevoir des flux de données et des Data Products Développer des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData Développer des requêtes SQL optimisées pour Starburst/Trino (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet) Automatiser les pipelines de données (ETL/ELT) avec des outils comme Airflow, dbt, ou Starburst Galaxy Configurer des accès sécurisés (RBAC, row-level security) et des politiques de gouvernance (tagging, lineage) Collaborer avec les domain teams pour identifier les sources de données et les cas d'usage Documenter les data products (métadonnées, ownership, qualité) via des outils comme Amundsen, DataHub, ou Starburst Discover Participer à la définition des standards d'interopérabilité (formats communs, APIs de données) Monitorer la performance (latence, coût des requêtes) et la qualité des données (frais, complétude) Mettre en place des alertes et des dashboards (Grafana, Metabase) pour le suivi des data products Contribuer à l'amélioration continue de la plateforme Starburst (scaling, caching, federation) Compétences techniques requisesTalend RealTime BigData : expérience avancée en développement de pipelines sur Talend Studio en mode batch ou route (runtime) Starburst/Trino : expérience avancée en SQL sur Starburst/Trino (jointures, CTEs, fonctions analytiques) Data Modeling Pipelines : expérience avec Airflow/Astronomer, Spark, Talend Real Time Big Data / Talend Data intégration Stockage : connaissance des formats Iceberg, Parquet, S3 Gouvernance : familiarité avec les outils de sécurité (Ranger, RBAC) DevOps/DataOps : pratiques CI/CD pour les pipelines, infrastructure-as-code (Terraform, Kubernetes) Langages : SQL avancé (mandatory), Python (Pandas, PySpark), bash Compétences transverses (Data Mesh)Compréhension des principes Data Mesh (domain-oriented ownership, self-serve platform, federated governance) Capacité à travailler en mode produit (roadmap, priorisation, collaboration avec les métiers) Sensibilité à la data quality (tests, monitoring, remédiation) et à la documentation (data contracts, métadonnées) Soft SkillsEsprit collaboratif : travail avec les équipes métiers, data scientists, et DevOps Pédagogie : capacité à expliquer des concepts techniques à des non-experts Autonomie : prise d'initiative dans un cadre agile Environnement techniqueExpertise écosystème zoo Hadoop Connaissance / maîtrise Data Connaissance / maîtrise technique de l'environnement DevOps Maîtrise technique de l'environnement Data Expertise couche d'accès et d'échange (Kafka, Nifi, …) Expertise Java, Scala, Python, Hive, Spark Expertise ETL, Bash Expertise SQL / NoSQL

Bonjour, Pour le compte de l'un de mes clients dans le secteur du luxe, je suis à recherche d'un Data App Engineer - Databricks / Python en Pré-embauche. Dans le cadre d'un départ à venir dans les équipes de la Data Factory, nous recherchons un(e) consultant(e) Data App Engineer confirmé, disposant d'une expertise avérée sur Databricks Apps, en modélisation data, et en réalisation d'interfaces. Le profil attendu est un data “full stack”, maîtrisant les concepts d'ingénierie, d'architecture et d'UX/UI, capable de concevoir, construire et maintenir des applications de collecte et de gestion de données, en interaction avec les chaînes analytiques. Le candidat devra être immédiatement opérationnel, justifier d'au moins 2 années d'expérience sur des projets Data App, et démontrer une excellente maîtrise de l'écosystème Databricks, ainsi que des frameworks orientés Data Apps (Dash et idéalement Node.js). Objectifs de la mission : Concevoir et développer des Data Apps, orientées saisie et gouvernance des données référentielles Garantir l'intégration fluide des applications avec les couches analytiques Modéliser des structures data robustes, performantes et sécurisées Industrialiser les flux et orchestrations nécessaires au cycle de vie des données Assurer un haut niveau de qualité UX/UI afin de favoriser l'adoption par les équipes métiers Mettre en place une démarche d'ingénierie pérenne : sécurité, logging, observabilité, CI/CD Périmètre d'intervention : Conception et développement d'applications Databricks Apps (front + logique métier + data pipelines) Création de modèles de données durables, optimisés et gouvernés sous Unity Catalog Mise en place et optimisation de la sécurité Lakehouse, notamment via RLS Conception des flux d'ingestion / exposition / synchronisation entre le Lakehouse (couche analytique) et Lakebase (couche applicative) : synced tables, CDF Développement Python avancé : data processing, API internes, logique applicative Participation aux rituels du delivery et contribution aux bonnes pratiques d'ingénierie Documentation des architectures, process et guidelines Support à l'intégration, aux tests et aux mises en production

ContexteDans le cadre de l'évolution et de l'optimisation de sa plateforme décisionnelle, notre client recherche un Data Engineer SQL & GCP expérimenté afin de renforcer l'équipe en charge du Datawarehouse. Vous interviendrez sur des projets liés à la gestion, à la transformation et à l'optimisation des données, avec un fort enjeu de performance et de qualité des traitements dans un environnement Cloud Google. Vos missionsConcevoir, développer et maintenir les traitements d'alimentation du Datawarehouse. Développer et optimiser des requêtes SQL complexes sur Teradata et Google BigQuery. Concevoir et maintenir les flux ETL sous PowerCenter et/ou IDMC (Informatica Intelligent Data Management Cloud). Participer à la migration et à l'industrialisation des traitements vers Google Cloud Platform. Garantir la qualité, la performance et la fiabilité des traitements de données. Participer aux phases d'analyse, de conception technique et de recette. Assurer le suivi des traitements batch et résoudre les incidents. Collaborer avec les équipes Data, BI, Architecture et Métiers dans un environnement Agile. Environnement techniqueBases de données & SQL (60%)SQL avancé Teradata Google BigQuery ETL (20%)Informatica PowerCenter Informatica IDMC Outils & Cloud (20%)Google Cloud Platform (GCP) Control-M Jira Git (apprécié) Profil recherchéMinimum 5 ans d'expérience en Data Engineering. Excellente maîtrise de SQL, notamment sur de gros volumes de données. Expérience significative sur Teradata et/ou Google BigQuery. Bonne maîtrise des outils Informatica PowerCenter ou IDMC. Expérience dans un environnement Google Cloud Platform (GCP). Connaissance des ordonnanceurs (Control-M) appréciée. Expérience en environnement Agile. Autonomie, rigueur et esprit d'équipe. Compétences indispensablesSQL avancé Teradata Google BigQuery Informatica PowerCenter ou IDMC Google Cloud Platform (GCP) Datawarehouse Optimisation de requêtes SQL Les plusExpérience dans un contexte industriel ou aéronautique. Connaissance des problématiques de migration vers le Cloud. Maîtrise des outils de suivi de projet (Jira). Sensibilité aux bonnes pratiques Data et à la qualité des données.

🏠 1j télétravail/Semaine - 📍 Toulouse - 🛠 Expérience d'au moins 3 ans Nous recherchons un(e) Data Engineer motivé(e) pour rejoindre une équipe Analytics dédiée à l'amélioration et à l'optimisation des flux de développement et de l'utilisation des ressources de calcul dans un environnement semi-conducteurs. Ce poste offre une forte exposition transverse avec des équipes variées : design, développement de flux, IT, finance, etc. Vous interviendrez principalement sur la mise en place et l'industrialisation de pipelines de données pour alimenter des cas d'usage à forte valeur ajoutée : analytics opérationnel, analyses d'opportunités, prévision et modèles prédictifs. Voici un aperçu détaillé de vos missions : 🎯 Concevoir, développer et maintenir des pipelines de données robustes et scalables sur AWS Automatiser les flux de traitement et garantir la qualité des données Alimenter des solutions d'analytics avancées et des moteurs de prévision (forecasting / ML) Participer à l'architecture des plateformes data Collaborer avec des équipes métiers et techniques pour identifier et adresser les besoins Mettre en œuvre des solutions pérennes, maintenables et industrialisées Assurer le monitoring et l'amélioration continue des processus data Environnement technique : 🧑‍💻 AWS (stack data complète) DBT / Dagster Python Outils d'intelligence artificielle pour applications analytiques

ASAP Technologies recherche un AI Engineer / Data Scientist pour accompagner un acteur majeur du secteur bancaire au sein de sa direction Data & IA. Vous intégrerez une équipe d'expertise transverse composée de 18 data scientists, dont les projets s'articulent autour du NLP, des moteurs de recherche et de l'IA générative. Vous contribuerez à un projet interne confidentiel visant à exploiter des données chiffrées et textuelles pour générer des synthèses. Le périmètre pourra également intégrer un moteur de recommandation et évoluer vers des interactions vocales, nécessitant notamment la sélection de modèles Speech-to-Text. Vos missions Analyser les besoins et participer au cadrage des lots à réaliser. Concevoir et développer des fonctionnalités de synthèse exploitant des données chiffrées et textuelles. Contribuer au développement et au suivi des projets d'IA générative. Concevoir, tester et optimiser les prompts. Évaluer les performances des LLM et des dispositifs RAG, ainsi que la qualité des réponses produites. Participer au choix des modèles Speech-to-Text en vue des évolutions vocales. Contribuer à l'industrialisation des développements : conteneurisation, API REST et CI/CD/MLOps. Assurer une veille technologique et partager vos connaissances avec l'équipe.

Data & AI Engineer (Data Engineering / AI Engineering) Qui sommes-nous ? Fondée par des experts techniques et portée par des passionnés de l'IT, Big APPS est une société de conseil spécialisée dans la Data, le Cloud, le DevOps et l'Intelligence Artificielle (IA). Nous accompagnons nos clients dans leurs projets de transformation digitale en concevant des plateformes de données performantes et des solutions innovantes basées sur l'IA. Nous intervenons sur des projets à forte valeur ajoutée en mettant en œuvre les technologies les plus récentes et les meilleures pratiques du marché. Dans le cadre de notre croissance, nous recherchons un(e) Data & AI Engineer pour renforcer nos équipes. Vos missions En tant que Data & AI Engineer, vous serez amené(e) à : Concevoir, développer et maintenir des plateformes de données robustes et évolutives. Développer et optimiser des pipelines de données (ETL/ELT). Concevoir des architectures Data sur Azure, AWS ou GCP. Préparer, transformer et valoriser les données pour les projets d'IA. Développer, intégrer et industrialiser des modèles de Machine Learning et d'IA générative. Participer au déploiement des modèles en production (MLOps). Collaborer avec les équipes métiers, Data Science et Cloud. Mettre en œuvre les bonnes pratiques DevOps, CI/CD et Infrastructure as Code. Garantir la qualité, la sécurité et la disponibilité des données. Que vous soyez Data Engineer, AI Engineer, Data Scientist ou déjà doté(e) d'une double compétence Data & IA, vous souhaitez intervenir sur des projets innovants mêlant Data Engineering, Machine Learning, IA Générative et Cloud ? Rejoignez Big APPS !

Our government client is looking for Data Engineers to begin ASAP. Please see below for role description and details. - Hybrid, 2 days per week on site in Swansea, Wales - Inside IR35 - SC clearance required - 3-6 months initially + longer extensions expected Role details: To migrate legacy IMPALA reporting (Oracle materialised views and Discoverer workbooks) to Databricks Lakeflow Declarative Pipelines. The work involves translating existing SQL logic into a lakehouse architecture, building reconciliation checks to validate output against the legacy system, and supporting the pipelines once live. It is mostly SQL knowledge but some familiarity with Python on Databricks (in Azure) will be beneficial. Source data is already available in Databricks - you would be working with tables in Unity Catalog, not managing data ingestion or connectivity. Due to the nature and urgency of this post, candidates holding or who have held high level security clearance in the past are most welcome to apply. Please note successful applicants will be required to be security cleared prior to appointment which can take a minimum 10 weeks. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. An award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over multiple years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.

🏠 1j télétravail/Semaine - 📍 Toulouse - 🛠 Expérience d'au moins 3 ans Nous recherchons un(e) Data Engineer motivé(e) pour rejoindre une équipe Analytics dédiée à l'amélioration et à l'optimisation des flux de développement et de l'utilisation des ressources de calcul dans un environnement semi-conducteurs. Ce poste offre une forte exposition transverse avec des équipes variées : design, développement de flux, IT, finance, etc. Vous interviendrez principalement sur la mise en place et l'industrialisation de pipelines de données pour alimenter des cas d'usage à forte valeur ajoutée : analytics opérationnel, analyses d'opportunités, prévision et modèles prédictifs. Voici un aperçu détaillé de vos missions : 🎯 Concevoir, développer et maintenir des pipelines de données robustes et scalables sur AWS Automatiser les flux de traitement et garantir la qualité des données Alimenter des solutions d'analytics avancées et des moteurs de prévision (forecasting / ML) Participer à l'architecture des plateformes data Collaborer avec des équipes métiers et techniques pour identifier et adresser les besoins Mettre en œuvre des solutions pérennes, maintenables et industrialisées Assurer le monitoring et l'amélioration continue des processus data Environnement technique : 🧑‍💻 AWS (stack data complète) DBT / Dagster Python Outils d'intelligence artificielle pour applications analytiques