Nous recherchons un Cloud Data Engineer pour participer à la conception et à l'évolution d'une plateforme de données cloud moderne, destinée à soutenir les besoins croissants de l'entreprise en matière de données, d'analytique et de reporting. Vous rejoindrez une équipe d'ingénierie dynamique et collaborative, en charge de l'un des programmes technologiques les plus stratégiques de l'organisation. Votre équipeVous intégrerez une équipe de Data Engineers passionnés par la création de solutions de données performantes, évolutives et fiables. L'équipe est responsable du développement des fondations data permettant la mise en place de capacités analytiques avancées, de reporting et de produits de données à grande échelle. Vous collaborerez étroitement avec les équipes Data Platform, Data Ingestion, BI ainsi qu'avec les différents métiers afin de fournir des données fiables, accessibles et à forte valeur ajoutée pour l'ensemble de l'entreprise. Le poste est basé à Stockholm. Vos responsabilitésConcevoir, développer et maintenir des pipelines de données et des transformations de données à l'aide de Azure Databricks, dbt, PySpark et Python. Construire et maintenir des modèles de données robustes pour répondre aux besoins d'analyse, de reporting et des applications métiers. Orchestrer et automatiser les flux de données via Databricks Workflows, Apache Airflow et Azure Data Factory. Garantir la qualité, la fiabilité, la performance et la scalabilité des données sur l'ensemble de la plateforme. Mettre en place des capacités d'observabilité et de monitoring afin d'assurer le suivi et la validation des données. Contribuer à l'automatisation et à l'amélioration continue grâce aux pratiques CI/CD et aux standards d'ingénierie. Collaborer avec les développeurs, architectes, ingénieurs plateforme et parties prenantes métiers pour délivrer des solutions data à forte valeur. Participer activement à la vie de l'équipe, aux cérémonies Agile et au partage de connaissances afin de contribuer à une culture d'excellence. Votre profilNous recherchons un Data Engineer expérimenté possédant une solide expérience dans la conception, le développement et l'exploitation de pipelines de données au sein de l'écosystème Azure. Le poste est fortement orienté Data Engineering et développement de pipelines, plutôt que sur les aspects infrastructure ou administration de plateforme. Vous appréciez le travail en équipe, êtes à l'aise dans des environnements collaboratifs et savez interagir avec des interlocuteurs aussi bien techniques que métiers. La maîtrise du suédois est un plus, ou une volonté de développer cette compétence. Compétences requisesExcellente maîtrise de SQL, Python et PySpark. Expérience significative dans le développement de solutions data sur Azure Databricks. Bonne maîtrise de dbt pour la transformation, la modélisation, les tests et la documentation des données. Expérience avec des outils d'orchestration tels que Apache Airflow et/ou Azure Data Factory. Bonne compréhension des pratiques CI/CD et de l'automatisation des déploiements de pipelines de données. Connaissance des principes de gouvernance des données : qualité, traçabilité, gestion des accès et utilisation de Unity Catalog. Expérience de la création et de la maintenance de pipelines de données et de produits data en environnement de production. Compétences appréciéesExpérience avec Microsoft Fabric ou d'autres plateformes Data SaaS modernes. Expérience dans des environnements cloud d'envergure. Bonne compréhension des architectures data modernes et des plateformes analytiques cloud-native. Cette opportunité s'adresse à un Data Engineer souhaitant contribuer à la construction d'une plateforme de données moderne au sein d'un environnement technologique innovant et à fort impact métier.
ACCROCHE SI TU ADORES CONSTRUIRE DES PIPELINES SOLIDES COMME LE ROC, CETTE ANNONCE EST POUR TOI... CE QUE TU RECHERCHES : Évoluer au sein d'une équipe dynamique Participer à des projets innovants d'envergure Relever des défis liés à l'ingénierie des données, aux flux et aux performances Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi. Au sein d'un acteur majeur du secteur de la gestion d'actifs, tu participeras à la conception, à la mise en place et à l'optimisation d'architectures data robustes et évolutives au service de la valorisation de la donnée : Les pipelines de données, tu développeras La qualité, la fiabilité et la sécurité des données, tu garantiras L'intégration et la transformation des données, tu automatiseras Les architectures data (batch & temps réel), tu concevras La scalabilité et la performance des traitements, tu optimiseras Les outils de monitoring et de gestion des flux, tu mettras en place Ton équipe projet, tu accompagneras Aux rituels agiles et instances data, tu participeras QUI TU ES : Diplômé(e) de la formation qui va bien Surdoué(e) ou doté(e) d'une expérience de 10 ans minimum en ingénierie de la donnée ou en développement data Expert(e) en Azure Data Factory Habile avec les outils Azure Data Factory AU-DELÀ DES COMPÉTENCES TECHNIQUES, TU ES / AS : Dynamique : tu n'aimes pas rester les deux pieds dans le même sabot Autonome : un guide du Routard te suffira Esprit de synthèse : tu sais aller à l'essentiel Capacité d'adaptation : tu es un vrai caméléon Sens de la communication : les mots n'ont pas de secret pour toi Force de proposition : tu es l'Aladdin de l'informatique Esprit d'équipe : un pour tous et tous pour un !
Nous recherchons un profil : Architecte technique Data Sénior Le pôle BIGDATA développe sur son projet plusieurs use cases intégrant des données et produisant des résultats quotidiennement. Certains de ces use cases nécessitent des flux d'ingestion et d'exposition, via une datagateway ou autre voie, de la dataviz à connecter, des flux ETL auto. 2. Profil attendu : La mission nécessite des connaissances SI importantes. Une expérience en gestion d'application, de préférence dans un contexte BIGDATA. Il serait apprécié que le titulaire de la mission connaisse certains outils Bigdata tel que Azure, Databrick, Azure blob storage, Powerbi , PowerAutomate, PowerApp. La maitrise d'au moins un de ces éléments sera un plu Compétences clés : Connaissance de la Suite Office 365, en particulier Excel et PowerBI Bonne connaissance sur power automate Maitrise de JIRA pour gérer les tickets de travaux Maitrise absolue d'Unity Catalog (Co admin du metastore France en PRODUCTION) TRES bon niveau sous databricks (co admin workspace en PRODUCTION) Connaissance de SQL, XML, JSON
Profil recherchéVous disposez d'une solide expérience en développement Python et en conception logicielle. Vous maîtrisez les principes de programmation orientée objet et savez concevoir des composants modulaires, réutilisables et maintenables. Vous avez une expérience significative dans le traitement de données volumineuses et l'optimisation de calculs. Vous maîtrisez les tests automatisés, les bonnes pratiques de développement et les processus d'intégration continue. Vous avez déjà travaillé avec au moins un framework de calcul distribué : Ray, PySpark ou Dask. Vous êtes capable d'analyser du code existant, d'en évaluer la qualité et de garantir sa conformité aux standards techniques. Qualités attenduesRigueur technique : capacité à faire respecter les standards de développement et de qualité, notamment lors de l'intégration de code produit par des tiers. Autonomie et adaptabilité : aptitude à investiguer des environnements complexes, à résoudre des problèmes techniques et à appréhender de nouveaux outils. Pragmatisme : capacité à concilier qualité logicielle, performance et contraintes de mise en production. Communication : aisance dans les échanges avec des interlocuteurs techniques et métier. Anglais technique : capacité à exploiter la documentation et à échanger avec des équipes internationales. Les connaissances de l'écosystème Azure, des problématiques réseau et de sécurité ainsi que des plateformes Databricks et Dataiku DSS constitueront des atouts supplémentaires.
Contexte Dans le cadre de notre croissance, nous recrutons Deux Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d'ingestion, de transformation et de fiabilité des données. Missions Développement et ingestion de données • Concevoir et développer des pipelines de données en Python et Spark sur Databricks • Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake) • Optimiser les traitements et les performances Orchestration et qualité des données • Orchestrer les workflows avec AWS Airflow • Mettre en place des contrôles qualité et des mécanismes de validation • Développer des outils de monitoring et de gestion des anomalies Maintien en condition opérationnelle • Assurer la disponibilité et la performance des pipelines • Diagnostiquer et corriger les incidents • Participer à l'amélioration continue des traitements Contribution • Participer aux ateliers techniques et aux échanges avec les équipes • Documenter les pipelines, architectures et processus • Contribuer aux bonnes pratiques Data et Big Data
Dans le cadre du renforcement de ses équipes Data Platform / Data Factory, recherche un Data Engineer expérimenté pour intervenir sur ses projets Data. Le consultant intégrera un environnement Data en croissance, avec des enjeux d'industrialisation, de performance, de qualité et de gouvernance de la donnée. Missions principales Concevoir, développer et maintenir des pipelines de données. Assurer l'ingestion, la transformation et la mise à disposition des données. Développer et industrialiser les traitements Data sous Databricks / Spark. Participer à l'évolution de la Data Platform Azure. Optimiser les traitements et les performances des pipelines. Travailler sur la qualité, la fiabilité et la disponibilité des données. Participer aux problématiques de traitement batch et/ou temps réel. Contribuer aux bonnes pratiques de développement et d'industrialisation Data. Collaborer avec les équipes Data Platform, Data Engineering, Data Science et les équipes métiers. Contribuer aux enjeux de gouvernance et de sécurisation des données. Avec un écosystème Data Platform comprenant également des enjeux autour de Databricks Unity Catalog, notamment pour la gouvernance, le lineage et la gestion des accès.
Dans un environnement cloud et data, le Senior Run & Reliability Engineer intervient sur le maintien en conditions opérationnelles, la fiabilité et la disponibilité des plateformes et des services de production. Il apporte un support technique avancé sur les environnements Azure, Databricks et les plateformes associées, tout en contribuant à l'amélioration continue des processus opérationnels. Ses principales missions sont les suivantes : Support opérationnel avancé : assurer le support technique de niveau expert sur les plateformes cloud, les environnements data et les services de production associés. Gestion des incidents : piloter ou coordonner la résolution des incidents de production, assurer le suivi des actions correctives et contribuer au rétablissement rapide des services. Analyse des problèmes et des causes racines : réaliser des analyses approfondies (Root Cause Analysis – RCA), identifier les causes des dysfonctionnements récurrents et proposer des mesures préventives. Gestion des changements : contribuer à la préparation, à l'évaluation et au suivi des changements techniques afin de limiter les risques opérationnels. Supervision et observabilité : mettre en place, maintenir et optimiser les dispositifs de supervision, les métriques, les logs, les traces et les alertes pour anticiper les incidents et faciliter leur diagnostic. Exploitation Azure : assurer le suivi opérationnel des services Azure, notamment Azure Monitor, Log Analytics, Application Insights, Azure Storage et Azure Key Vault. Exploitation Databricks : surveiller les Jobs et Workflows Databricks, analyser les logs, diagnostiquer les erreurs d'exécution et résoudre les problèmes de performance. Administration opérationnelle d'Azure Batch : assurer le suivi des pools de calcul, des jobs, des tâches et du cycle de vie des nœuds de calcul. Analyser les problématiques liées à l'autoscaling, aux quotas, à l'ordonnancement des traitements et aux workloads conteneurisés. Diagnostic technique transverse : analyser les incidents impliquant plusieurs composants ou domaines techniques afin d'identifier rapidement les dépendances et les causes des dysfonctionnements. Automatisation des opérations : contribuer à l'amélioration des processus d'exploitation grâce au scripting, à l'automatisation et aux outils DevOps. Amélioration continue de la fiabilité : identifier les axes d'amélioration de la disponibilité, de la résilience et de la performance des plateformes. Coordination opérationnelle : collaborer avec les équipes techniques concernées, coordonner les interventions et assurer une communication claire pendant les incidents majeurs. Résilience et reprise d'activité : contribuer, le cas échéant, aux exercices de reprise après sinistre (Disaster Recovery – DR) et à la validation des procédures de restauration.
1. CONTEXTE DE LA MISSION Au sein de l'équipe MDM (Master Data Management) d'une filiale technologique d'un grand groupe de gestion d'actifs, la prestation a pour objectif de participer à la connectivité de la plateforme vers Snowflake et d'autres plateformes de distribution de données (Databricks, etc.). Les principales missions sont les suivantes : Minimiser les dépendances technologiques entre la plateforme et Snowflake, afin d'éviter un couplage fort avec la plateforme de distribution. Assurer la maintenance corrective et évolutive : spécifications, recettes, rédaction de documentation. Être référent sur les projets impactant l'équipe : suivi, coordination et plannings. Assurer le support utilisateur. 2. ENVIRONNEMENT FONCTIONNEL DE LA PRESTATION La prestation se déroulera au sein de l'équipe MDM, rattachée à la direction des développements dédiés à la gestion d'actifs. 3. ENVIRONNEMENT TECHNIQUE DE LA PRESTATION S3 Snowflake, Databricks Data Platform Data sharing API Data distribution
Dans le cadre du développement et de l'évolution de sa plateforme Data, notre client recherche un Senior Data Analyst pour rejoindre son équipe IT EDM. Vous interviendrez sur la conception, l'implémentation et la maintenance des fonctionnalités avancées des applications DataHub, ainsi que sur l'amélioration continue de l'écosystème Data. Missions : - Analyser les besoins métiers et proposer des solutions techniques adaptées. - Concevoir et rédiger les spécifications fonctionnelles et techniques. - Coordonner les équipes de développement, de tests et les parties prenantes. - Piloter les projets de la conception jusqu'à la livraison. - Assurer le suivi des délais, budgets et qualité des livrables. - Collaborer avec les équipes métiers et IT. - Assurer le support applicatif et résoudre les incidents liés aux données et reportings. - Accompagner les utilisateurs et contribuer à l'amélioration continue des solutions existantes. Environnement technique : DataHub, Bloomberg, Markit, Adjuto, Salesforce, Databricks, Azure Logic Apps, RabbitMQ et applications internes.
Data Owner, domaine logistique. Dans le cadre d'une mission longue basée à Lille (hybride), le titulaire est responsable de la connaissance, de la qualité et de l'accessibilité des jeux de données liés aux processus logistiques critiques. Il/elle définit les données, documente fonctionnellement les éléments de données, identifie et formalise les cas d'usage métier associés, et agit comme point d'entrée pour tous les sujets relatifs à ces données. Il/elle élabore une roadmap et une vision pour ses données, met en place et pilote des métriques de qualité (SLA, leadtimes, données de réception entrepôt, etc.), anime des plans d'action en coordination avec les équipes Engineering, Product, Business et Data, et veille à l'accessibilité des données au sein du datalake. Le poste requiert une autonomie forte et une capacité à traduire les besoins métiers en règles de données opérationnelles. Le rôle implique également de faire le lien entre les enjeux techniques et les équipes en charge de l'exploitation des données. Abonnez-vous à la page NaxoTech sur LinkedIn pour découvrir nos offres régulières
Au sein de la Data Tribe, vous participez à la conception, au développement et à l'exploitation de produits Data au service des équipes métier et des utilisateurs de la plateforme stratégique. L'équipe travaille à l'intersection de la Data Engineering, de l'Analytics et des plateformes Data, avec un fort enjeu autour de la fiabilité, de la performance et de la mise en production des solutions. La plateforme Data repose principalement sur Databricks et PySpark. Vous intervenez sur l'ensemble du cycle de vie des produits Data, de la compréhension du besoin métier jusqu'à leur exploitation en production. Vos missions En tant que Senior Data Engineer, vous serez notamment amené(e) à : Concevoir, développer et maintenir des pipelines Data robustes et industrialisés. Traduire les besoins métier en solutions Data scalables, performantes et maintenables. Travailler en étroite collaboration avec les Product Owners, équipes métier et équipes Analytics. Garantir la qualité, la fiabilité et la performance des données en production. Assurer le monitoring des pipelines et contribuer à la résolution des incidents. Identifier et mettre en œuvre des améliorations sur les modèles de données et les processus Data. Contribuer aux standards d'architecture, aux bonnes pratiques et aux décisions techniques. Participer aux revues de code et à l'amélioration continue des développements. Intervenir dans un contexte multi-BU, notamment sur le partage et la sécurisation des données avec des mécanismes de RLS / CLS. Prendre progressivement le rôle de référent Data Engineering sur un domaine métier.
1. Description du posteDans le cadre du développement de projets Data et IA sur Microsoft Azure, nous recherchons un Expert Azure Databricks / Azure Batch pour concevoir, industrialiser et maintenir des plateformes de traitement de données à grande échelle. Le consultant interviendra sur des environnements Cloud exigeants, avec un fort niveau d'automatisation, de performance, de sécurité et de fiabilité. Il participera à la conception d'architectures Data modernes ainsi qu'au développement de solutions robustes et industrialisées. Ses principales responsabilités seront les suivantes : Concevoir et développer des pipelines de traitement de données distribués sous Azure Databricks. Développer des notebooks, workflows et composants techniques en Python et PySpark. Optimiser les performances des traitements Databricks et des jobs distribués. Concevoir des architectures Lakehouse basées sur Delta Lake. Industrialiser et orchestrer des traitements massifs avec Azure Batch. Configurer les pools de calcul et les stratégies d'exécution adaptées aux besoins. Optimiser la parallélisation, la distribution de charge et la consommation des ressources. Mettre en place des solutions de monitoring, d'observabilité et de gestion des incidents. Développer des librairies Python réutilisables, maintenables et testées. Réaliser des tests unitaires, d'intégration et de performance. Participer aux revues de code et à l'amélioration continue des pratiques de développement. Mettre en œuvre des pipelines CI/CD et automatiser les déploiements. Développer et maintenir l'Infrastructure as Code avec Terraform et/ou Bicep. Garantir la qualité, la sécurité et la conformité des déploiements. Accompagner les équipes projet dans l'adoption des standards Cloud, Data Engineering et DevOps.
Ta mission sera de Garantir la robustesse du data contract registry (Aurora + Python fastAPI) Monitorer et prendre des actions proactives de management Assurer le support et l'accompagnement tournant sur les outils de l'équipe (S3, Glue, Unity Catalog, data contract registry) Restituer dans le datalake les metadonnées de nos produits Accompagner et former Définir et promouvoir les bonnes pratiques proposées au sein de l'équipe Participer et conseiller lors de la conception des pipelines de données des équipes Développer le futur Gouvernance automatisée (Data contract registry, access management, metadata management) Etroite collaboration avec les staff engineer de la plateforme pour le développement de nouvelle features (ADR)
Profil(s) le(s) plus à même de remplir la prestation (compétences requises et souhaitées) : • Maitrise de la Suite Office 365, en particulier Excel et PowerBI • Maitrise des outils ticketing pour gérer les tickets de travaux/demandes • Expériences d'usage d'un outil d'ordonnancement des jobs • Connaissance de SQL, XML, JSON 5.2 Environnement technique : • OS : Windows et Linux (Databricks) • Poste de travail : PC et machine virtuel serait apprécié des connaisses certains outils Bigdata tel que Azure Databrick, Azure blob storage, Powerbi , PowerAutomate, PowerApps… La maitrise d'au moins un de ces éléments sera un plus.
Nous recherchons un Business Analyst orienté DATA pour intervenir sur des projets liés à l'environnement Poste de Travail et à l'exploitation des données. Compétences techniques indispensablesAzure Data Factory (ADF) : maîtrise des pipelines d'intégration et de transformation des données. Azure Data Lake : maîtrise du stockage et de la gestion des données. Azure Databricks : connaissance approfondie du traitement et de la transformation des données. Power BI : maîtrise de la conception de tableaux de bord, du reporting et de la visualisation des données.
Leader mondial de l'Ingénierie et du Conseil en Technologies, ALTEN réalise des projets de conception et d'études pour les grands comptes industriels, télécoms et tertiaires (les Directions Techniques et les Directions des Systèmes d'Information). Désormais présent à travers 30 pays, le Groupe ALTEN a réalisé un chiffre d'affaires de 4,07 milliards d'euros en 2023 et compte actuellement 57 000 collaborateurs, dont 90% sont des ingénieurs. Labélisé "Top employeur" 2023, ALTEN est un acteur majeur du recrutement d'ingénieurs en France et dans le monde.
