Find your next tech and IT Job or contract Data Engineering

Dans le cadre d'un programme de transformation Data , nous recherchons un Data Engineers GCP confirmé pour participer à la migration complète d'un écosystème Data On-Premise vers Google Cloud Platform. L'objectif est de construire une architecture moderne et cloud-native, capable de traiter d'importants volumes de données tout en répondant à des enjeux de temps réel, de fraîcheur et de qualité des données. Missions * Concevoir et développer des pipelines de données batch et temps réel ; * Migrer les traitements On-Premise vers les services managés de GCP ; * Développer et optimiser les transformations ELT avec BigQuery et Dataform ; * Orchestrer les flux et traitements avec Cloud Composer ; * Déployer des composants serverless avec Cloud Run et Cloud Functions ; * Garantir la qualité, la disponibilité et la fraîcheur des données ; * Participer à l'industrialisation et à l'optimisation de la plateforme Data. Compétences recherchées * Expertise confirmée de Google Cloud Platform ; * Très bonne maîtrise de BigQuery, SQL et Dataform ; * Expérience significative sur Dataflow et Cloud Composer ; * Maîtrise de Cloud Run et Cloud Functions ; * Expérience des architectures Data temps réel ; * Bonne connaissance des problématiques de migration On-Premise vers le Cloud ; * Maîtrise des enjeux de qualité, d'observabilité et de performance des données. Profil attendu Data Engineer confirmé disposant d'une expérience solide sur des projets GCP en production, capable d'intervenir de manière autonome sur la conception, le développement et l'industrialisation de pipelines Data.

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer expert. Vous rejoignez une plateforme de données dédiée aux activités de marché, au cœur de use cases d'intelligence artificielle. Vous travaillez au quotidien avec des équipes Data Science et ML sur des sujets à fort enjeu. Vos missions : - Concevoir, développer et maintenir des pipelines de données scalables qui alimentent des use cases d'IA. - Architecturer des flux batch et streaming fiables, traçables et conformes. - Accompagner les équipes Data Science/ML dans la mise en production des modèles (MLOps). - Optimiser les performances des bases et entrepôts de données (SQL, NoSQL, Data Lake). - Mettre en place l'observabilité : monitoring, alerting, logging et métriques. - Veiller à la sécurité des flux et à la gouvernance de la donnée (catalogue, lineage). Vous êtes recruté en CDI cadre chez Ingéniance et vous rejoignez une communauté d'experts de la data et de la finance de marché. Ref : O-LWDVQ

Dans le cadre de la modernisation de son système d'information, un acteur spécialisé dans la gestion d'actifs financiers recherche un Data Engineer Junior pour contribuer à la construction d'une nouvelle plateforme de données sous Snowflake. Vous rejoindrez un environnement Data en évolution, avec pour objectif de développer des flux de données fiables, d'automatiser les traitements et de faciliter l'exploitation des données par les équipes métier. Vos missionsDéveloppement des flux de données Développer des traitements permettant de récupérer, transformer et intégrer des données provenant de différentes applications ; Programmer des scripts et des automatisations en Python ; Écrire des requêtes SQL pour transformer, contrôler et exploiter les données ; Participer à la structuration des données entre les différentes étapes de traitement : données brutes, nettoyées et prêtes à être utilisées ; Contribuer aux contrôles de qualité et à la fiabilisation des données. Utilisation de Snowflake et des outils Data Participer au développement et à l'évolution des traitements sur Snowflake ; Découvrir ou approfondir les bonnes pratiques de structuration et de transformation des données ; Contribuer à la mise en place de transformations avec dbt ; Participer à l'automatisation et à l'orchestration des traitements avec Airflow ; Appliquer les bonnes pratiques de développement et de documentation. Collaboration et amélioration continue Travailler avec les équipes Data pour comprendre les besoins et les contraintes techniques ; Échanger avec les interlocuteurs métier afin de faciliter l'exploitation des données ; Participer à la mise en place d'API REST permettant d'exposer les données à d'autres applications ; Rédiger et maintenir la documentation technique ; Participer au suivi et à l'amélioration des traitements existants ; Monter progressivement en autonomie sur les outils et les composants de la plateforme.

Bonjour, je recherche pour l'un de mes clients un(e) devOps / data engineer DATABRICKS. Skills : Databricks - AWS - Java Mission : -gérer l'infrastructure Cloud (AWS) -automatiser les déploiements -concevoir, développer, déployer et maintenir des pipelines de traitement de données sur la plateforme Databricks -développer et optimiser des traitements distribués avec Apache Spark afin de garantir la performance et la fiabilité des flux de données -développer et maintenir des API et des services avec Spring Boot N'hésitez pas à revenir vers moi pour des informations complémentaires.

Présentation du posteDans le cadre du développement de notre activité Data, nous recherchons un Data Analyst / Analytics Engineer pour intervenir sur des projets de transformation, de modélisation et de valorisation des données. Vous travaillerez à l'interface entre les équipes métiers, BI et Data Engineering afin de transformer les besoins opérationnels en modèles de données fiables, indicateurs pertinents et tableaux de bord exploitables. Vos missionsRecueillir et analyser les besoins des équipes métiers. Définir les indicateurs et les règles de gestion associées. Extraire, transformer et analyser les données avec SQL. Concevoir et maintenir des modèles de transformation avec dbt. Construire des modèles dimensionnels et des architectures en étoile. Développer et faire évoluer des rapports Power BI. Créer et optimiser des mesures et calculs DAX. Exploiter les données disponibles dans BigQuery. Mettre en place des contrôles de qualité et des tests de non-régression. Participer aux projets de migration et de modernisation des environnements décisionnels. Documenter les modèles, les traitements et les indicateurs. Restituer les analyses et formuler des recommandations auprès des métiers. Stack techniqueData Visualisation : Power BI Langages : SQL, DAX, Python Transformation : dbt Cloud : GCP, BigQuery Orchestration : Cloud Composer, Airflow Bases et outils décisionnels : SQL Server, PostgreSQL, SSIS Modélisation : modèles dimensionnels, modèles en étoile, Data Warehouse Qualité et déploiement : tests dbt, Git, CI/CD Data Science et IA : Vertex AI, RAG, LangChain, API OpenAI Compétences recherchéesTrès bonne maîtrise de SQL. Bonne connaissance de Power BI et DAX. Expérience opérationnelle avec dbt. Maîtrise de la modélisation dimensionnelle. Bonne compréhension d'une chaîne décisionnelle de bout en bout. Connaissance des principes de qualité, de fiabilisation et de gouvernance des données. Capacité à comprendre et formaliser les besoins métiers. Une première expérience sur GCP et BigQuery est appréciée. Une sensibilité aux sujets Data Science et IA générative constitue un plus.

Data Engineer - Health Data Warehouse Sophia Antipolis Role Overview: Rejoignez l'équipe Data pour un projet stratégique de déploiement d'un Entrepôt de Données de Santé. Vous intervenez au cœur de la chaîne de traitement pour fiabiliser et structurer les données hospitalières, soutenant la recherche, le pilotage et l'IA. Key Responsibilities: Cartographier les systèmes sources et concevoir des pipelines ETL. Intégrer, nettoyer et pseudonymiser les données de santé dans la plateforme Arkhn. Garantir la traçabilité et la conformité RGPD/CNIL. Collaborer avec les équipes techniques, médicales et les éditeurs. Required Skills: Maîtrise des technologies SQL, ETL et bases de données (PostgreSQL, Oracle). Connaissance des standards santé (FHIR, OMOP) et des environnements hospitaliers. Expérience en gestion de données sensibles et conformité. Preferred Skills: Connaissance de la plateforme Arkhn et des outils de Data Clean Room. Familiarité avec les SI hospitaliers (Orbis, GAP, PMSI).

Connaissance de la Suite Office 365, en particulier Excel et PowerBI Bonne connaissance sur power automate Maitrise de JIRA pour gérer les tickets de travaux Maitrise absolue d'Unity Catalog (Co admin du metastore France en PRODUCTION) TRES bon niveau sous databricks (co admin workspace en PRODUCTION) Connaissance de SQL, XML, JSON La mission nécessite des connaissances SI fortes. Une expérience en gestion d'application, de préférence dans un contexte BIGDATA. Il serait apprécié que le titulaire de la mission connaisse certains outils Bigdata tel que Azure, Databricks, Azure blob storage, Powerbi , PowerAutomate, PowerApp. La maitrise d'au moins un de ces éléments sera un plus. Environnement Technique Azure Power BI DATABRICKS Power Automate

L'équipe est chargée de la gestion transversale et globale des outils dédiés aux filières éolienne, solaire et hydraulique, en étroite collaboration avec Engie Digital et les systèmes d'information (SI) des différentes zones géographiques ; elle recherche actuellement un ingénieur plateforme de données (Data Platform Engineer). La mission s'effectuera au sein de l'équipe « Digital Delivery » ; elle consistera à soutenir la gouvernance des données ainsi que la gestion de la plateforme Databricks, et à piloter la migration des données depuis l'ancien « data lake » d'entreprise vers Databricks. Les objectifs de la mission sont les suivants : - Administrer et sécuriser la plateforme Databricks (gestion technique et opérationnelle) - Déployer et faire respecter la gouvernance des données appliquée à Databricks ainsi que les bonnes pratiques associées (structure du catalogue, organisation par domaines, règles d'accès et d'utilisation) - Piloter la migration des données depuis l'ancien « data lake » d'entreprise vers Databricks - Accompagner et soutenir les ingénieurs de données (data engineers) et les utilisateurs métiers (data citizens) dans l'utilisation de la plateforme - Intégrer les impératifs de cybersécurité, de conformité et de maîtrise des coûts dès la conception (« by design ») - Contribuer à la communauté informatique (échanges sur les bonnes pratiques, retours d'expérience, etc.) Activités principales : - Administration de la plateforme Databricks : administrer, surveiller et maintenir les espaces de travail (workspaces) Databricks (gestion technique et opérationnelle : espaces de travail, ressources de calcul, accès, coûts, sécurité, gestion des incidents) - Gouvernance des données sur Databricks : mettre en œuvre et faire évoluer le cadre de gouvernance des données sur la plateforme Databricks (structure du catalogue, organisation par domaines, règles d'accès, normes de nommage et de qualité) et garantir la conformité avec les politiques du Groupe - Migration depuis l'ancien « data lake » : piloter la migration des données de l'ancien « data lake » d'entreprise vers Databricks : évaluer le périmètre existant, définir l'architecture cible et la feuille de route, planifier et coordonner les vagues de migration avec les équipes « data », et sécuriser le basculement - Accompagnement et support des utilisateurs : accueillir et soutenir les nouveaux utilisateurs — des ingénieurs de données aux utilisateurs métiers — dans l'adoption de Databricks et l'application des bonnes pratiques ; Fournir de la documentation, du coaching et de la formation - DataOps sur Databricks : Concevoir et mettre en œuvre les pipelines permettant de promouvoir les actifs de données et le code entre les environnements Databricks (développement, test, production) et les catalogues, en utilisant l'intégration et le déploiement continus (CI/CD) basés sur Git ainsi que les outils natifs de Databricks (ex. : Databricks Asset Bundles), tout en encourageant l'adoption des pratiques DataOps au sein des équipes. - Veille technologique : Tester et évaluer les nouvelles fonctionnalités de Databricks (y compris les capacités d'IA) ainsi que les outils complémentaires, et recommander leur adoption. - Reporting et communication : Rendre compte de l'avancement de la plateforme et de la migration, et partager les meilleures pratiques ainsi que les retours d'expérience avec la communauté informatique. Principaux défis : • Adoption de la gouvernance : Amener les entités et les utilisateurs à adopter les normes définies en matière de catalogues, de domaines et d'accès, tout en garantissant une plateforme simple d'utilisation pour les utilisateurs métiers (« data citizens »). • Complexité de la migration : Migrer les données et les consommateurs de l'ancien « data lake » vers Databricks sans perturber les activités en cours, tout en préservant la qualité et la traçabilité (lignage) des données. • Équilibre entre exploitation (Run) et développement (Build) : Assurer la stabilité, la sécurité et la maîtrise des coûts de la plateforme tout en menant à bien la migration et en prenant en charge de nouveaux cas d'usage. Livrables attendus : ? Documentation sur la gouvernance et le modèle opérationnel : Structure des catalogues et des domaines, modèle d'accès, conventions de nommage et normes d'utilisation alignés sur les standards internes relatifs aux données et à l'IA. ? Plan de migration (de l'ancien data lake vers Databricks) et rapports d'avancement : Périmètre, priorisation, calendrier, risques et points de situation réguliers auprès des comités de pilotage. ? Supports d'intégration et de bonnes pratiques : Guides, modèles, architectures de référence (blueprints) et sessions de formation destinés aux ingénieurs de données et aux utilisateurs métiers. ? Rapports d'exploitation de la plateforme : Indicateurs de suivi, de coûts, de sécurité et de conformité de la plateforme Databricks.

Je recrute un Lead Data Engineer - Microsoft Fabric / Azure Databricks Je recherche un profil Lead Data Engineer senior (7+ ans d'expérience) capable de combiner expertise technique, architecture Data et posture de consultant. Je recherche un Lead Data Engineer senior (10+ ans d'expérience) capable de combiner expertise technique, architecture Data et posture de consultant. Prérequis indispensables * Expertise hands-on Microsoft Fabric ET/OU Azure Databricks * Solide maîtrise de l'écosystème Data Microsoft / Azure * Expérience en architecture de plateformes Data modernes * Anglais courant / fluent * Excellente posture client : workshops, conseil, communication avec les stakeholders et leadership technique ⚠️ Microsoft Fabric ou Azure Databricks est indispensable. Si vous n'avez travaillé sur aucune de ces deux technologies, inutile de postuler à cette opportunité. Les sujets * Concevoir des plateformes Data greenfield * Moderniser des environnements Data & BI existants * Piloter techniquement des migrations vers le Cloud * Définir et challenger les choix d'architecture * Encadrer les équipes techniques * Intervenir comme référent Data & Analytics en avant-vente Je cherche donc quelqu'un qui ne soit pas uniquement un très bon Data Engineer : il faut pouvoir porter une architecture, challenger un client, prendre le lead techniquement et embarquer une équipe. 📍 CDI - 100 % full remote, avec une localisation obligatoire en France. 📩 Intéressé(e) ? Envoyez-moi directement votre CV en MP. #DataEngineering #MicrosoftFabric #AzureDatabricks #Azure #DataArchitecture #LeadDataEngineer #Microsoft Montreal Associates is acting as an Employment Agency in relation to this vacancy.

Data & AI Engineering Tech Lead / Agentic AI Architect, mission longue, basé·e à Lille (hybride). Le poste consiste à prendre en charge l'architecture et l'industrialisation des capacités d'agents intelligents au sein d'une équipe technique pluridisciplinaire. Les responsabilités incluent la définition des guidelines d'architecture pour l'intégration entre Databricks (orchestrateur central / Unity Catalog) et des environnements multi-cloud (AWS, GCP, BDC-SAP), la conception et le pilotage d'un POC Agent-to-Agent (A2A) avec spécifications techniques et protocoles d'interaction, l'analyse des impacts d'architecture sous contraintes réglementaires et cloud locales (ex. Chine), ainsi que l'alignement ontologique du domaine SMP en s'appuyant sur une Data Centrale. Le poste implique également la production d'une matrice d'évaluation technique et financière (ex. SAP Joule vs agents custom), l'orientation technique de développements cross-tech, et la livraison de livrables opérationnels : document de cadrage d'architecture, grille décisionnelle, cadrage POC A2A, matrice de gouvernance et projection budgétaire 2027. Le/la titulaire travaillera en étroite collaboration avec les équipes Data, Produit et Ingénierie pour définir le routage d'intelligence, bâtir une infrastructure sécurisée permettant aux agents d'interagir avec les données d'entreprise et les systèmes historiques, et accompagner les équipes opérationnelles dans la validation des preuves de concept. Abonnez-vous à la page NaxoTech sur LinkedIn pour découvrir nos offres régulières

Dans le cadre d'un projet stratégique de transformation et de valorisation des données, nous recherchons un Data Engineer Senior spécialisé sur Google Cloud Platform (GCP) pour accompagner la mise en place et l'industrialisation de pipelines de données issus de l'écosystème Amazon. L'objectif principal est d'assurer la collecte, l'intégration, la transformation et la mise à disposition des données Amazon au sein d'une plateforme Data hébergée sur GCP. La priorité sera donnée aux données Sales Performance, puis aux données Media, afin de permettre leur exploitation à des fins d'analyse, de reporting et de pilotage de la performance. Vos principales missions : Configurer et sécuriser les accès aux API Amazon : Amazon Ads, Vendor Central et Seller Central. Concevoir, développer et industrialiser les pipelines d'extraction et d'intégration des données dans GCP. Structurer, transformer et modéliser les données selon les standards IT et les besoins métiers. Développer les objets techniques et métiers nécessaires à l'exploitation des données. Garantir la qualité, la fiabilité et la disponibilité des données intégrées. Assurer la maintenance, le support et les évolutions de l'environnement Amazon Marketing Cloud (AMC). Optimiser les performances des traitements et des pipelines de données. Collaborer avec les équipes Data, IT et métiers dans un environnement international.

Localisation : Lyon Démarrage : ASAP Fin de mission : 16/11/2027 Télétravail : 3 jours par semaine (2 jours sur site) TJM : 330 € HT/jour Expérience : 3 à 7 ans Contexte de la missionDans le cadre du développement de sa Data Platform, notre client recherche un Data Engineer Java / Scala pour concevoir et développer des services digitaux centrés sur la donnée. L'objectif est de mettre à disposition des équipes des données fiables et accessibles via API, de simplifier les traitements analytiques et de renforcer l'alignement entre les besoins opérationnels et décisionnels. Le consultant interviendra notamment sur des projets liés aux référentiels articles et magasins. Missions principalesConcevoir, développer et maintenir des pipelines de données performants et fiables. Participer à la mise à disposition des données via des API et des services adaptés aux besoins métiers. Développer des traitements distribués et des flux de données en temps réel. Exploiter les environnements Cloud et les services de la plateforme data. Optimiser les requêtes SQL et les traitements sur des volumes importants de données. Mettre en œuvre les bonnes pratiques de qualité, de tests et d'industrialisation du code. Contribuer à l'amélioration continue de la plateforme et partager les bonnes pratiques au sein de l'équipe. Compétences techniques requisesLangages : Java et/ou Scala, avec une bonne compréhension de la programmation fonctionnelle. Traitement de données : Apache Spark, Apache Kafka. Cloud & Data : Google Cloud Platform (GCP), BigQuery, SQL avancé. Pipelines de données : DBT (Data Build Tool). Streaming : Pub/Sub et gestion des flux en temps réel. Industrialisation : GitLab CI/CD, Docker Compose. Environnement : Linux, ligne de commande et Git. Méthodologie : Agile / Scrum.

🎯 Okara cherche un Analytics Engineer / Data Engineer L'enjeu : Devenir le garant de l'équilibre économique chez l'un des leaders mondiaux du retail et de l'aménagement de la maison. En tant que consultant·e Okara, tu rejoins l'équipe "Finance & Performance" de notre client pour piloter la rentabilité de la structure. Ton terrain de jeu ? Une équipe de choc de qui gère le Build et le Run de produits data critiques. Un scope hybride passionnant, au carrefour du Data Engineering, de la modélisation et de la business intelligence. 🚀 Ton rôle Tu es l'architecte de la performance financière. L'enjeu actuel est double : moderniser la tuyauterie technique et traquer le moindre coût superflu pour optimiser l'infrastructure. Concrètement, tu vas : Propulser la migration (Modern Data Stack) : Participer activement au passage des flux historiques vers DBT. Tu ne te contentes pas de déplacer la donnée, tu la structures intelligemment en étoile directement dans BigQuery pour soulager la restitution. Piloter par la performance (Le défi FinOps) : Devenir le chasseur officiel de requêtes gourmandes. Ton objectif ? Atteindre une réduction des coûts cloud et DataViz en appliquant les meilleures pratiques de code Illuminer le Business (Analytics & Restitution) : Consacrer 20 à 30% de ton temps à façonner des modèles sémantiques et concevoir des dashboards Power BI fluides, performants et directement actionnables par les directions métiers. Garantir une donnée de confiance : Assurer la qualité, le nettoyage (adieu les doublons !) et la cartographie des données entrant dans le Data Lake pour faciliter le travail des Data Analysts et Data Scientists.

Hello, Je recherche un(e) Expert(e) Senior IA / MLOps / FinOps pour une mission longue durée à fort enjeu stratégique. 🎯 Mission : concevoir une approche end-to-end de visibilité, gouvernance et optimisation des coûts IA / GenAI à l'échelle de plusieurs entités. Profil recherché+8 ans d'expérience en Cloud, FinOps et IA/ML Expertise des coûts IA / GenAI et des stratégies d'optimisation Expérience en Data & Analytics à grande échelle Excellente capacité à vulgariser des sujets complexes Anglais courant 📍 Paris – 3 jours de télétravail/semaine 💼 Freelance – Mission longue durée