Trouvez votre prochaine mission ou futur job IT.

Rattaché à une équipe dédiée à la performance data, vous intervenez sur la conception, le développement et l'évolution de solutions de Business Intelligence orientées e-Retail. Vous prenez en charge l'ensemble du cycle de vie des projets data : de l'analyse des besoins métiers jusqu'au déploiement des solutions, en passant par leur développement. Grâce à votre séniorité, vous jouez un rôle clé de référent technique et de manager d'équipe. Gestion de projet & delivery :Piloter la planification, le budget et les ressources des projets data Recueillir et traduire les besoins métier en spécifications techniques et data products Superviser la conception, le développement et la maintenance des pipelines de données Garantir la livraison des dashboards et reportings (Power BI) Optimiser les processus afin d'assurer la qualité et la fiabilité des données Coordination & cohérence :Assurer la cohérence globale des projets BI via des référentiels et catalogues de données Faciliter la communication entre équipes techniques et métiers Garantir l'alignement des projets avec les enjeux business Favoriser les synergies entre les différents projets data Management d'équipe :Encadrer et accompagner une équipe de data engineers / analytics engineers Promouvoir un environnement de travail collaboratif et bienveillant Assurer le développement des compétences (coaching, formation, feedback) Développement & évolution technique :Développer des pipelines et transformations de données Construire et maintenir des rapports et dashboards Optimiser les performances des traitements et modèles de données Maintenance & support :Identifier et corriger les incidents liés aux flux data et aux reportings Garantir des délais de résolution efficaces Assurer le suivi et le reporting des incidents Lead technique :Piloter les revues de code et garantir les bonnes pratiques Être référent technique pour l'équipe Intervenir en support sur des projets critiques ou urgents Assurer la continuité opérationnelle de l'équipe data

Nous recherchons un(e) Tech Lead Data Engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Assurer la mise en œuvre de l'accès, du référencement et de la qualité de la donnée • Assurer l'industrialisation, la supervision et l'intégration des solutions • Rédiger les normes de développement • Participer à la rédaction du manuel d'exploitation En tant que Tech Lead, vous savez : • Vous présenter et promouvoir des architectures data face au client • Identifier et comprendre les besoins métiers • Former, encadrer et faire évoluer les consultants juniors • Participer à la réponse aux appels d'offres (avant-vente) Référence de l'offre : 9h4by3tiip

Dans le cadre du développement et de l'évolution de sa plateforme Data, notre client recherche un Tech Lead Data Engineer capable d'intervenir aussi bien sur la conception fonctionnelle et technique que sur l'implémentation des solutions Data. Le consultant travaillera en étroite collaboration avec le Product Owner afin de comprendre les besoins métiers, les challenger et les traduire en spécifications fonctionnelles et techniques exploitables par l'équipe Data. Il jouera également un rôle de référent technique auprès des Data Engineers, dans un environnement principalement basé sur Snowflake, dbt et Google Cloud Platform (GCP).

EccoTechnologies est une ESN à taille humaine spécialisée dans les métiers de l'IT et de la transformation digitale. Nous accompagnons nos partenaires sur des projets à forte valeur ajoutée en mettant l'expertise technique, la proximité et l'humain au cœur de notre démarche. Dans le cadre du développement de nos activités, nous recherchons un Tech Lead Data Engineer pour intervenir auprès de l'un de nos partenaires sur un projet stratégique de modernisation d'une plateforme Data, au sein d'un environnement Agile, Cloud et international. Vous intégrerez une équipe Agile avec des équipes réparties en France et à l'international. Vous participerez à l'évolution d'une plateforme Big Data récemment migrée vers Google Cloud Platform. Dans un contexte de transformation et d'amélioration continue, vous contribuerez à l'optimisation des traitements de données, à la modernisation de l'architecture technique et à l'accompagnement de l'équipe sur les choix techniques. Missions : Concevoir, développer et maintenir des pipelines de traitement de données. Développer et optimiser des traitements Java et Apache Spark. Participer aux évolutions fonctionnelles et techniques de la plateforme. Contribuer aux travaux de refactoring et d'amélioration continue. Participer aux choix d'architecture et être force de proposition. Accompagner l'équipe sur les sujets techniques et partager les bonnes pratiques. Collaborer avec les équipes Produit, Architecture et Ops. Garantir la qualité, la performance et la maintenabilité des développements.

Vos missionsReprendre et faire évoluer un produit Data existant dans une logique de robustesse, de scalabilité et de maintenabilité. Concevoir, développer et optimiser les pipelines de données sur Google Cloud Platform. Modéliser et optimiser les Data Marts et le Data Warehouse. Développer et optimiser les traitements SQL et les requêtes BigQuery. Orchestrer les workflows de données et automatiser les déploiements. Participer à l'intégration avec des applications tierces et des APIs. Garantir la qualité, la performance et la sécurité des données. Contribuer aux choix d'architecture et aux bonnes pratiques de développement. Collaborer avec plusieurs équipes techniques et métiers dans un environnement international. Environnement techniqueGoogle Cloud Platform BigQuery Cloud Storage Cloud Run Cloud Functions Workflows SQL avancé Python Terraform Git / CI-CD AppSheet Compétences Machine LearningUne première expérience sur des sujets ML est attendue, notamment autour de : Forecasting / séries temporelles Vertex AI BigQuery ML Compréhension et évolution de modèles existants Capacité à vulgariser des sujets techniques auprès d'interlocuteurs non techniques Profil recherchéSolide expérience en Data Engineering sur GCP. Excellente maîtrise de BigQuery, SQL et de la modélisation de données. Expérience sur des architectures Data industrielles et des pipelines de données. Capacité à reprendre un produit existant et à le faire évoluer. Bon relationnel et aisance dans les environnements transverses. Esprit de synthèse et bonnes capacités de communication. Anglais courant indispensable. Montreal Associates is acting as an Employment Business in relation to this vacancy.

Rejoignez une grande entreprise du secteur automobile en tant que Lead Data Orchestration Engineer pour piloter l'optimisation et la sécurisation d'une plateforme d'orchestration Airflow critique. Vous piloterez une mission stratégique combinant expertise technique, architecture cloud et mentorat d'équipes dans un environnement à fort enjeu de continuité de service. Contexte de la mission Vous intégrez une équipe Data Platform au sein d'un groupe majeur du secteur automobile. La plateforme d'orchestration Airflow MWAA (version 2.10.3) gère des pipelines de données transactionnelles complexes à travers 9 pays européens. Suite à un audit technique approfondi ayant stabilisé les fondations, la mission porte désormais sur quatre axes stratégiques : optimisation architecturale et passage à l'échelle, sécurisation et résilience de bout en bout, évaluation et migration vers une infrastructure cible mieux adaptée, et montée en compétence progressive des équipes Dev et Ops. Environnement technique Plateforme actuelle : AWS MWAA avec SQS/SNS, Secrets Manager, CloudWatch et IAM ; plus de 200 DAGs en production avec DAG Factory dynamique existante. Méthodologie : approche Agile avec cycles d'optimisation, benchmarking technique et gestion de programme structurée. Périmètre : infrastructure multi-pays, multi-environnements (Dev/Ops séparés), avec enjeux forts de performance, coûts et conformité. Responsabilités : - Optimiser et faire évoluer l'architecture d'orchestration existante : enrichissement de la DAG Factory, migration vers les Datasets natifs Airflow, optimisation des performances au parse-time et runtime, mise en place de validation automatisée en CI/CD (parse test, linting, tests d'intégration) - Concevoir et implémenter une stratégie de sécurisation robuste : politique de rotation des secrets, routage d'alertes différencié par type et criticité, hardening réseau et configuration, patterns avancés de résilience (retry strategies, Dead Letter Queues, circuit breakers) - Piloter la phase d'étude et de benchmarking des alternatives à AWS MWAA (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect, etc.) en regard des contraintes métier, puis élaborer une recommandation argumentée avec analyse coûts/bénéfices et plan de transition - Prendre en charge la migration vers l'infrastructure cible retenue, en garantissant continuité de service, POC validant et bascule progressive en production - Conduire le programme de formation et de montée en compétence des équipes (~10 personnes Dev et Ops), favoriser la constitution d'une méta-équipe plateforme unifiée, et accompagner l'évolution des profils (Dev vers Data Engineers, Ops vers DataOps) - Concevoir et faire appliquer des standards techniques transverses : patterns de conception, conventions de code, processus de review et bonnes pratiques d'observabilité - Piloter le capacity planning, le tuning de...

• Analyse et cadrage Recueillir et analyser les besoins métiers. Formaliser les US en spécifications techniques exploitables. • Pilotage technique Assurer un pilotage intermédiaire sur un périmètre projet (coordination technique, suivi d'avancement). Contribuer aux choix techniques structurants. • Développement et expertise Réaliser des développements complexes. Assurer la maintenance applicative (Gestion des obsolescence et vulnérabilités) Apporter un support technique aux équipes sur les composants critiques. • Contribution agile Participer à l'élaboration et à la priorisation du backlog avec les PO et BA. Animer et contribuer aux rituels techniques (code reviews, challenger les estimations de charge etc.) • Architecture et standards Concevoir et mettre en oeuvre l'architecture applicative et technique. Veiller au respect des normes, bonnes pratiques et standards Groupe. • Qualité et documentation Garantir la qualité des livrables (revues de code, bonnes pratiques). Assurer la production et la maintenance de la documentation projet. • RUN Planification des activités, gestion du calendrier de l'équipe et priorisation des actions Assurer le suivi d'exploitation des traitements PySpark en production : supervision, résolution des incidents, analyse des performances et amélioration continue des traitements Maîtrise avancée des environnements de conteneurisation et d'orchestration, notamment Kubernetes et Docker, ainsi que de la gestion sécurisée des secrets avec HashiCorp Vault Maîtrise avancée des traitements Big Data, incluant PySpark 3 ainsi que la manipulation de formats de données distribués (Parquet, gestion des buckets). Maîtrise opérationnelle de l'orchestration de workflows de données à l'aide de l'outil Apache Airflow. Maîtrise confirmée des bases de données relationnelles, particulièrement PostgreSQL. Maîtrise des outils de gestion de code et de qualité logicielle, incluant GitLab, Fortify et SonarQube. Maîtrise des outils de stockage objet, notamment via l'utilisation des commandes MinIO. Maîtrise des outils de transfert de fichiers, en particulier CFT (Cross File Transfer). Pour l'ensemble du projet de titrisation Bail : • Dossiers d'architecture (schémas, principes techniques, choix structurants). • Backlog enrichi et priorisé en lien avec les parties prenantes. • Composants applicatifs développés, testés et documentés. • Comptes rendus des revues de code et plan d'amélioration continue. • Documentation projet à jour (Spécifications techniques, JIRA, Page Confluence, Runbook). • Reporting d'avancement sur le périmètre confié. • RUN : Reporting de type Morning check

Nous recherchons un(e) Lead Data Platform Engineer pour rejoindre une Digital Factory innovante et contribuer à la conception et au développement d'une plateforme d'ingestion de données moderne et évolutive. Missions principales Concevoir et développer une plateforme d'ingestion de données générique en Python sur Microsoft Fabric. Automatiser les pipelines de données et garantir leur qualité et leur fiabilité. Déployer et gérer l'infrastructure avec Docker, DBT, SQL et des outils DevOps (CI/CD, monitoring, alerting). Collaborer étroitement avec les équipes Data & IA pour industrialiser les nouveaux cas d'usage. Compétences requises Expertise avancée en Python et son écosystème (Poetry, Pytest, Pandas). Maîtrise de Docker, SQL, Git, et des bonnes pratiques DevOps (CI/CD). Expérience avec Microsoft Azure (Microsoft Fabric est un plus). Expérience en ingestion et transformation de données à grande échelle. Bon relationnel, esprit collaboratif et veille technologique active. Profil recherché 5 à 8 ans d'expérience en tant que Platform Engineer / Data Engineer avec une forte appétence pour la construction de plateformes de données. Expérience dans un environnement cloud (Azure idéalement). Une expérience dans la création de plateformes d'ingestion in-house serait un vrai plus.

Dans le cadre d'un programme stratégique de transformation Data, notre client renforce son équipe avec un(e) Lead Data Engineer spécialisé(e) sur l'écosystème Databricks. L'objectif est d'accompagner la mise en place d'une nouvelle plateforme de données moderne, capable de répondre aux enjeux de performance, de gouvernance, de qualité et de valorisation de la donnée. Vous interviendrez sur des projets structurants autour de l'industrialisation des flux de données, de la modélisation des référentiels analytiques et de la diffusion des données vers les outils décisionnels. Vos missions: Concevoir, développer et industrialiser des pipelines de données sur Databricks et Spark. Participer à la définition et à la mise en œuvre du modèle de données cible. Structurer les flux de données afin de garantir leur qualité, leur cohérence et leur performance. Contribuer à l'exposition et à la valorisation des données auprès des équipes BI et des utilisateurs métiers. Définir et mettre en place les standards de développement, de qualité et d'industrialisation. Mettre en œuvre les pratiques de tests automatisés et les processus CI/CD. Participer aux travaux de migration et de transformation de la plateforme Data. Accompagner les équipes sur les sujets techniques liés à Databricks et aux architectures Lakehouse. Contribuer à l'amélioration continue des solutions et des méthodes de travail. Assurer un rôle de référent technique sur les problématiques Data Engineering.

Dans le cadre d'une initiative innovante en phase d'incubation, l'objectif est de concevoir et valider une solution de type plateforme de data et business intelligence dédiée à l'analyse de données complexes. Un POC (Proof of Concept) est en cours pour explorer la faisabilité technique et les usages métiers, incluant une chaîne complète d'ingestion, de traitement et de valorisation des données ainsi que des capacités de simulation. Missions principalesRôle Tech LeadSuperviser une équipe technique pluridisciplinaire (Data Science, Data Engineering, Data Analysis) Structurer et développer les compétences de l'équipe Garantir la qualité, la robustesse et la scalabilité des livrables Piloter la conception de l'architecture globale, notamment orientée systèmes agentiques Orienter les choix technologiques et les bonnes pratiques Assurer la veille technologique et proposer des innovations pertinentes Optimiser la phase exploratoire du POC (rapidité d'expérimentation, pertinence des cas d'usage) Rôle Agentic Data EngineerConcevoir et implémenter des pipelines de traitement de données Intégrer différentes sources de données internes et externes Développer les briques nécessaires à une plateforme data modulaire et performante Participer au développement d'un portail de restitution des données Garantir la maintenabilité, la performance et la qualité des solutions développées Concevoir une architecture orientée agents favorisant l'automatisation et la flexibilité Préparer le passage à l'échelle et une potentielle industrialisation

Contexte de la mission Dans le cadre de la transformation et de l'industrialisation d'une plateforme Data stratégique au sein d'un grand acteur national, nous recherchons un Lead Data Engineer / Expert Databricks pour accompagner la migration vers une nouvelle architecture Data moderne. Vous interviendrez au sein d'une équipe transverse en charge de la refonte des plateformes décisionnelles et analytiques, avec un fort enjeu de standardisation, performance et industrialisation des traitements. Missions principalesConception et développement de pipelines Data sous Databricks / Spark Développement Python, PySpark et SQL Participation à la définition du modèle de données cible Industrialisation des traitements (CI/CD, tests, déploiement) Mise en œuvre des bonnes pratiques de développement Data Orchestration des flux via Databricks Workflows Participation au RUN, à l'amélioration continue et à l'observabilité des traitements Accompagnement des équipes sur les standards techniques et les choix d'architecture Contribution aux sujets de performance et d'optimisation des coûts Cloud

Mission Freelance : Lead Data Engineer / Expert Databricks & Spark (H/F) 📋 Contexte de la missionAu sein d'un grand pôle industriel et de sa direction des systèmes d'information, vous rejoignez l'équipe Transverse SI Chaînes Communicantes à Lyon. Cette équipe, actuellement en pleine phase de structuration, pilote et supervise des projets d'envergure commune. L'objectif majeur de votre intervention est d'accompagner la migration globale et l'industrialisation d'une nouvelle plateforme data cible autour des technologies les plus modernes du marché. Vous serez l'un des piliers techniques pour mener à bien la refonte complète de nos applications d'informatique décisionnelle (Business Intelligence) à forte valeur ajoutée. 🎯 Vos principales responsabilités1. Ingénierie Data & Développement (Activité principale)Pipelines de données : Concevoir, développer et maintenir des pipelines de données robustes sous Databricks et Spark. Traitements complexes : Développer l'ensemble des flux de traitement de données en Python, PySpark et SQL. Modélisation : Contribuer activement à la définition et à la mise en œuvre du modèle de données cible en exploitant Delta Lake et Unity Catalog. Orchestration : Assurer l'ordonnancement des traitements via Databricks Workflows et Lakeflow Jobs. 2. Industrialisation & QualitéStandards de production : Mettre en œuvre des pratiques d'industrialisation poussées (tests unitaires/d'intégration, pipelines CI/CD pour la Data). Performance & FinOps : Optimiser l'exécution des requêtes techniques, garantir la scalabilité du système tout en maîtrisant les coûts d'infrastructure cloud. MCO : Participer au suivi de la production (Run), analyser les incidents techniques et piloter l'amélioration continue de la plateforme (fiabilité et observabilité). 3. Cadrage & Accompagnement (Activité secondaire)Participer au cadrage fonctionnel des besoins en étroite collaboration avec le Product Owner et les équipes utilisatrices. Assurer l'interfaçage de la plateforme avec Power BI pour faciliter l'exposition et la consommation des données par le métier. Contribuer à l'intégration de flux d'alimentation temps réel vers le datalake (via Kafka). Rédiger la documentation technique et animer les rituels agiles au sein de la feature team. 👤 Profil recherchéNous recherchons un Lead Data Engineer / Expert Databricks senior (Niveau 3) capable de démontrer une autonomie complète après une phase d'intégration de 4 jours sur nos spécificités métiers. Vous devez justifier d'une expertise confirmée de 4 ans minimum sur l'environnement Databricks, idéalement validée par une certification officielle de l'éditeur. Votre parcours témoigne obligatoirement d'une participation active à un projet d'envergure de migration ou de transformation d'architectures data, soutenu par de solides compétences en modélisation de données (Delta Lake, Unity Catalog). Sur le plan technique, vous possédez une maîtrise parfaite de l'écosystème Spark / PySpark, de Python et de SQL, ainsi qu'un savoir-faire éprouvé dans l'automatisation de l'infrastructure via Terraform pour les sujets Cloud et Databricks. Au-delà de vos compétences de développeur émérite, vous affichez un véritable leadership technique naturel (sans posture managériale requise) qui vous permet de guider, structurer, standardiser et documenter le travail d'une équipe. Force de proposition, orienté solutions robustes et pragmatiques, vous savez collaborer avec des profils variés, allant des Data Scientists et experts BI jusqu'au Product Owner et interlocuteurs métiers. 💻 Environnement de travailVous évoluerez au cœur de Lyon au sein d'une structure moderne favorisant un équilibre de vie professionnelle grâce à un accord de télétravail fixé à 50%. La mission s'inscrit dans un cadre méthodologique strictement Agile, au sein d'une équipe transverse dynamique et en pleine construction, actuellement composée d'un chef de projet et appuyée par des experts du pôle (référents techniques, managers, coordinateurs). La stack technique mise à votre disposition est à la pointe de l'ingénierie des données : Databricks, Spark, PySpark, Delta Lake, Unity Catalog, le tout s'exécutant sur un environnement cloud public. L'industrialisation, l'observabilité et la qualité de service sont au centre des préoccupations de cette DSI, s'appuyant sur des chaînes CI/CD automatisées et de l'Infrastructure as Code. Vous aurez l'opportunité d'intervenir sur des flux de données complexes, incluant l'ingestion de sources variées, l'intégration de technologies événementielles comme Kafka, et la liaison étroite avec des outils de restitution de premier ordre tels que Power BI. Aucun horaire décalé (HHN) ni aucune astreinte ne sont prévus pour cette mission, vous assurant un cadre de production stable au quotidien. 🛠️ Stack technique récapitulativeIncontournables (Niveau Expert) : Databricks, Spark, PySpark, Python, SQL. Architecture Data : Modélisation de données, Delta Lake, Unity Catalog. DevOps / Industrialisation : CI/CD, Tests automatisés, Terraform, Databricks Workflows. Écosystème apprécié : Kafka, Lakeflow / DLT, Power BI, Certifications Cloud.

Contexte de la mission Cette équipe en cours de construction est aujourd'hui constituée d'un chef de projet. Elle est accompagnée par diverses ressources du pôle, du département ou des équipes applicatives ( managers, coodinateurs, référent techniques, pilote de système applicatifs...). La mission du projet : Accompagner la migration et l'industrialisation d'une plateforme data cible autour de Databricks / Spark / Power BI​ Description du profil: Nous recherchons un Lead Data Engineer / Expert Databricks pour accompagner la migration et l'industrialisation d'une nouvelle plateforme data. Le profil interviendra sur la conception de pipelines Databricks / Spark, la structuration du modèle de données cible et la mise en place de standards de développement robustes, maintenables et industrialisés. Le profil devra accompagner les équipes de développement pour assurer le respect des bonnes pratiques établies pendant la migration. Une capacité à prendre du recul, à proposer des choix techniques structurants et à travailler avec des équipes Data, BI et métier est attendue. Une connaissance de Power BI est appréciée pour faciliter l'exposition des données vers les usages analytiques. Objectifs et livrables Activité principale : Concevoir, développer et maintenir des pipelines data sous Databricks / Spark Développer les traitements en Python, PySpark et SQL Contribuer à la définition et à la mise en œuvre du modèle de données cible Industrialiser les pipelines : standards de développement, tests, CI/CD, déploiement Mettre en place des traitements robustes, maintenables et scalables Orchestrer les traitements via Databricks Workflows / Lakeflow Jobs Contribuer à la qualité, à l'observabilité et à la fiabilité des traitements Participer au run : suivi de production, analyse d'incidents, amélioration continue Prendre en compte les enjeux de performance et de maîtrise des coûts Activité secondaire : Participer au cadrage des besoins avec le Product Owner et les équipes utilisatrices Contribuer aux choix techniques liés à la nouvelle plateforme data Participer à la mise en place des pratiques de développement Databricks Contribuer à l'interfaçage avec Power BI ou à des processus intégrés Databricks / Power BI Participer à l'intégration de sources d'alimentation du datalake, Kafka apprécié Contribuer à la documentation technique et aux standards d'équipe Participer aux rituels agiles et à l'amélioration continue de la feature team Stack technique de l'équipe: Obligatoires : Databricks, Spark, PySpark, Python, SQL Obligatoires : Modélisation data, Delta Lake, Unity Catalog Obligatoires : CI/CD, tests, industrialisation des pipelines Demandées : Certification Databricks, cloud public, Terraform Demandées : Databricks Workflows, observabilité Appréciées : Kafka, Lakeflow / DLT, Power BI Appréciées : Certification cloud