Trouvez votre prochaine offre d’emploi ou de mission freelance Unity

Dans le cadre d’un projet Data sous environnement Microsoft Azure, nous recherchons un Data Engineer disposant d’une expérience significative sur Azure Databricks (Python). Le consultant interviendra sur la conception, le développement et l’optimisation de traitements data au sein d’une plateforme moderne. Il participera à la mise en place de pipelines de transformation et à l’intégration des flux dans l’écosystème Azure. Les principales responsabilités incluent: Développement de notebooks Azure Databricks en Python / PySpark Conception et optimisation de pipelines de transformation Intégration avec Azure Data Factory Contribution aux sujets de gouvernance via Unity Catalog Participation aux déploiements et bonnes pratiques d’industrialisation (Terraform)

Bonjour et merci d'avoir cliqué sur cette offre 😊 Nous recherchons un.e Data Engineer Senior pour une grande entreprise internationale sur Lille ! 🚀 Ce poste est fait pour toi si : tu as 5 ou plus années d'expérience professionnelle en tant que Data Engineer. tu as travaillé au moins 3 ans sur le cloud Azure. tu maîtrises Databricks, Delta Lake, Unity Catalog, Workflows, Jobs et Notebooks. tu es expert.e dans la conception et optimisation d'architectures data tu maîtrises la modélisation de données (schéma analytique, SCD, faits et dimensions). tu as déjà travaillé sur des outils de développement assistés par l'IA. tu as déjà implémenté des Data Quality. Stack supplémentaire démandée : Python, SQL, Git. Objectif principal du poste : Mettre en oeuvre et maintenir la conception, l’industrialisation et l’évolution des solutions data et IA sur la plateforme Lakehouse. Garantir la robustesse, la performance, la sécurité et la qualité des données au service des usages métiers, analytiques et IA. Missions : Expertise avancée Databricks & Lakehouse. Concevoir et optimiser des architectures data sur Databricks. Maîtriser Delta Lake, Unity Catalog, Workflows, Jobs et Notebooks. Garantir performance, scalabilité et optimisation des coûts. Définir et appliquer les bonnes pratiques (partitionnement, optimisation, gouvernance, sécurité). Modélisation & conception de la donnée Concevoir des modèles analytiques et décisionnels robustes. Définir faits, dimensions, granularité et historisation (SCD). Assurer cohérence, unicité et maintenabilité des modèles. Traduire les besoins métiers en structures data pérennes. Industrialisation & Data Engineering Développer et fiabiliser des pipelines ELT/ETL. Superviser les tests, validations et mises en production. Contribuer à la démarche CI/CD. Développement augmenté par l’IA Exploiter les outils de développement assisté par l’intelligence artificielle pour accélérer la production tout en maintenant un haut niveau d’exigence (qualité, sécurité, maintenabilité). Qualité & gouvernance des données Implémenter et superviser les contrôles de Data Quality. Structurer la gestion des anomalies et rejets. Garantir la traçabilité et le data lineage. Leadership & contribution transverse Diffuser les standards et collaborer étroitement avec PO, Architectes et Data Stewards. Démarrage : mars 2026. TT: 2 jours par semaine. Durée : 3 ans. 👉 Tu as envie d’un nouveau défi, entouré(e), valorisé(e), écouté(e) ? Postule et parlons-en. Même si ce n’est pas pour cette mission, on trouvera peut-être celle qui te correspond parfaitement. Les étapes à venir après avoir postulé : nous étudierons ta candidature avec attention. si elle nous intéresse, tu recevras un appel pour un premier échange de préqualification. On t’enverra un mail si on n’arrivera pas à te joindre. Si elle ne nous intéressera pas (ça sera certainement pour une autre mission 😉), on t’enverra un mail. Merci de ton attention et à très vite pour une aventure épanouissante chez Winside 🙂

Mettre en oeuvre et maintenir la conception, l’industrialisation et l’évolution des solutions data et IA sur la plateforme Lakehouse. Garantir la robustesse, la performance, la sécurité et la qualité des données au service des usages métiers, analytiques et IA. Mission 􋰄 Expertise avancée Databricks & Lakehouse. Concevoir et optimiser des architectures data sur Databricks. Maîtriser Delta Lake, Unity Catalog, Workflows, Jobs et Notebooks. Garantir performance, scalabilité et optimisation des coûts. Définir et appliquer les bonnes pratiques (partitionnement, optimisation, gouvernance, sécurité). 􋰄 Modélisation & conception de la donnée Concevoir des modèles analytiques et décisionnels robustes. Définir faits, dimensions, granularité et historisation (SCD). Assurer cohérence, unicité et maintenabilité des modèles. Traduire les besoins métiers en structures data pérennes. 􋰄 Industrialisation & Data Engineering Développer et fiabiliser des pipelines ELT/ETL. Superviser les tests, validations et mises en production. Contribuer à la démarche CI/CD. 􋰄 Développement augmenté par l’IA Exploiter les outils de développement assisté par l’intelligence artificielle pour accélérer la production tout en maintenant un haut niveau d’exigence (qualité, sécurité, maintenabilité). 􋰄 Qualité & gouvernance des données Implémenter et superviser les contrôles de Data Quality. Structurer la gestion des anomalies et rejets. Garantir la traçabilité et le data lineage. 􋰄 Leadership & contribution transverse Diffuser les standards et collaborer étroitement avec PO, Architectes et Data Stewards.

Contexte de la prestation La division CAP de MATHIS SNCF Réseau participe aux grands chantiers de modernisation du réseau ferroviaire. Il consiste à automatiser l'ensemble des processus de surveillance, maintenance, ingénierie . L'objectif est de tirer parti des opportunités offertes par les nouvelles technologies dans la collecte et le traitement des données pour réduire au maximum l'impact sur les circulations. Au sein de ce programme et en lien avec la gouvernance de la donnée, un socle centralisé d’ingestion, de stockage, de traitement et de mise à disposition des données provenant des différentes sources, à destination des différents consommateurs du programme, a été construit. En 2025-2026-2027, ce socle va évoluer selon les axes suivants : •Rapatriement d’une partie des services techniques, à ce jour hébergé chez IT Novem, dans le SI géré par la DGNUM •Déploiement de la plateforme data basée sur l’outil Databricks et les nouvelles fonctionnalités de gestion de la donnée (sql endpoint, unity Catalog, deltasharing, …) •Déploiement des plateformes d’ingestion basée sur l’outil Apache Nifi et les nouvelles fonctionnalités sur AKS. •Intégration des applications d’espace d’analyse, selon la cible d’architecture et les points précédents dans une cible globale •Extension du puits acquisition SNCF RESEAU vers des usages département MATHIS et plus en fonction des besoins DGNUM.

Descriptif du poste Expert reconnu en plateforme de données et architecture Lakehouse, incluant : Optimisation Spark / PySpark (AQE, broadcast joins, stratégies de caching, autoscaling de cluster). Politiques de cluster, configuration de cluster et pool, et optimisation des coûts. Monitoring, diagnostics et dépannage des performances à l'aide de métriques et event logs. APIs REST et CLI pour l'automatisation. Expert reconnu en utilisation de Delta Lake, incluant : Pipelines d'ingestion et de transformation (Bronze–Silver–Gold). Delta Live Tables pour les pipelines de production (CDC, expectations, orchestration). Structured streaming et traitement incrémental. Débogage des goulots d'étranglement de performance dans les workloads Delta (data skew, petits fichiers, auto-compaction). Expert reconnu en : Python pour l'ingénierie des données, programmation orientée objet, data science, tests unitaires (pytest) et packaging. SQL (SQL analytique, window functions, SQL Databricks). Spark / PySpark pour le traitement distribué et l'optimisation. Expert reconnu en utilisation de Unity Catalog, incluant : Implémentation du contrôle d'accès granulaire (sécurité au niveau des lignes et colonnes, vues dynamiques, masquage). Gestion des objets Unity Catalog à grande échelle (catalogs, schémas, tables, modèles et gouvernance des fonctions). Pratiques de développement sécurisé, protection des données et conformité réglementaire (RGPD, PII). Expert reconnu en Databricks Jobs et Workflows (orchestration des tâches, retries, monitoring), incluant : Databricks Repos et intégration Git / Gitflow. Déploiement des assets Databricks (notebooks, jobs, pipelines DLT) via des pipelines CI/CD. Databricks SQL editor et SQL Warehouses pour les dashboards ou pipelines de production. Infrastructure as Code utilisant Terraform (providers Databricks et Azure) et ARM templates. Maîtrise avancée de l'écosystème Databricks Machine Learning et Generative AI. Maîtrise avancée de MLflow (experiment tracking, model registry, model serving). Maîtrise avancée de la construction de pipelines ML utilisant Databricks AutoML, Feature Store et feature engineering. Expérience pratique avérée avec les outils de développement basés sur l'IA, incluant les workflows basés sur des agents. Bonne compréhension des normes d'interopérabilité émergentes telles que le Model Context Protocol (MCP) ou équivalent. Capacité à évaluer de manière critique et à intégrer de manière sécurisée les résultats générés par l'IA dans les workflows de développement.

Contexte de la mission : Dans le cadre du déploiement et de l’industrialisation de notre démarche de gouvernance des données, nous recherchons un consultant expert technique Collibra. La mission s’inscrit dans un programme structurant visant à renforcer le catalogage des données et la traçabilité (data lineage). Le consultant intégrera l’équipe Data en lien direct avec les architectes de la DSI qui ont une vision sur l’ensemble de la chaîne de valeur de la donnée, de l’acquisition à la restitution. Tâches à réaliser : · L’operating model de Collibra et la capacité à modifier les settings sur sa partie OOTB ou custom (asset type, attributs, relations…) selon un scope puis mesurer les impacts sur l’existant DEV/PROD et le déployer en PROD · L’asset model du Data Product · Les rôles et permissions (globale, ressources, …) · Les fonctionnalités de migration import/export (par ex. pour les vues) · Le paramétrage des vues de diagramme · Savoir lancer et interpréter les résultats des connecteurs EDGE (technologies Datalake Azure/AWS, Databricks unity) et technical lineage (Databricks, Power BI) · Savoir manipuler les assets en masse (modification d’attributs, déplacements, suppressions), si besoin par import/export · Connaitre les fonctionnalités liées à Edge pour le sampling, profiling, data notebook · Scripting / APIs / Workflow · Trouver et savoir tester les APIs Collibra du portail développeur · Savoir comprendre et modifier un workflow existant (script : Groovy), le rendre paramétrable, le versionner si besoin et déployer DEV/PROD · Scripter des validations rules sur les assets Livrables attendus · Expressions de besoins et documents de cadrage · Workflows Collibra configurés · Catalogues de données alimentés · Lineage modélisé et documenté · Toute l’implémentation est en langue EN, éventuelle doc. technique succincte à réaliser sur les actions menées Compétences recherchées : Obligatoires : Maîtrise avancée de Collibra (Catalog, Lineage, Workflows) Solide expérience en Data Gouvernance et Data Management Bonnes connaissances des environnements Azure/ AWS / Databricks / Power BI /API/ BDD Expérience nécessaire : 5 années minimum Langues : Anglais et français

Développeur Python devops AWS AZURE Anglais 480 e par jour Data analyste ET ANALYTICS Platform AWS AZURE PYTHON Anglais 500 e par jour Évolution des infrastructures cloud via l’Infrastructure as Code Gestion d’un cluster kubernetes Développement de micro-services en Python Conception et maintenance de chaînes de déploiement automatisé Assurer le bon fonctionnement opérationnel de la Data & Analytics Platform Enrichissement de la documentation à l’attention des utilisateurs Expérience significative sur le cloud AWS et/ou Azure, notamment sur les services de données (Gen2 et ou S3). Développement d’application web. Connaissance des pratiques du software craftsmanship. Bonne connaissance de la méthodologie Agile. Familiarité avec les mécanismes de traitement et de valorisation des données. Python, Terraform GitHub, GitHub Action Azure : AKS, Data Lake Gen2, Data Factory AWS : EKS, S3, ECS, VPC, NSG, Lambda, … Databricks : Unity Catalog, Policy, Cluster, PySpark Pratiques : Scrum Notions : DevSecOps, Data Engineering, Data Management Langues : Anglais et Français 480 e par jour