Contexte Dans le cadre de notre croissance, nous recrutons un Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d'ingestion, de transformation et de fiabilité des données. Missions Développement et ingestion de données • Concevoir et développer des pipelines de données en Python et Spark sur Databricks • Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake) • Optimiser les traitements et les performances Orchestration et qualité des données • Orchestrer les workflows avec AWS Airflow • Mettre en place des contrôles qualité et des mécanismes de validation • Développer des outils de monitoring et de gestion des anomalies Maintien en condition opérationnelle • Assurer la disponibilité et la performance des pipelines • Diagnostiquer et corriger les incidents • Participer à l'amélioration continue des traitements Contribution • Participer aux ateliers techniques et aux échanges avec les équipes • Documenter les pipelines, architectures et processus • Contribuer aux bonnes pratiques Data et Big Data
Nous recherchons un Architecte Data Senior (H/F) pour accompagner une organisation internationale dans la définition et l'évolution de son architecture data. Vous interviendrez au cœur des enjeux métiers et technologiques afin de garantir la fiabilité, l'accessibilité et la valorisation des données. Vos principales responsabilités : Définir la vision et la roadmap d'architecture data. Concevoir et faire évoluer les modèles de données (conceptuels, logiques et physiques). Participer à la conception d'une plateforme data moderne basée sur Azure (Data Lake, pipelines, analytics). Définir et promouvoir les bonnes pratiques de gouvernance, qualité et sécurité des données. Transformer les besoins métiers en solutions data robustes et évolutives. Accompagner l'équipe Data Engineering dans sa montée en maturité. Collaborer avec les architectes Infrastructure, Applicatif, Sécurité et Intégration. Assurer l'alignement architectural avec les partenaires externes. Mission proposée en freelance. Le consultant devra être mobile sur Bruxelles et disponible pour un fonctionnement hybride avec 2 à 3 jours de présence sur site par semaine
Contexte : Dans le cadre du renforcement de son équipe Data, notre client recherche un Analytics Engineer confirmé disposant d'un solide background en Data Engineering et Data Analytics. La mission consiste à concevoir et maintenir la couche sémantique des données afin de faciliter l'accès, la compréhension et l'exploitation des données par les équipes métiers. Le consultant interviendra dans un environnement Google Cloud Platform (GCP) et collaborera étroitement avec les équipes : Missions principales : · Concevoir, développer et maintenir la couche sémantique des données. · Développer et maintenir les modèles de données sur Google Cloud Platform (GCP). · Faciliter l'accès, la compréhension et l'utilisation des données par les utilisateurs métiers. · Collaborer av ec les équipes Data Engineering et Analytics afin d'assurer la qualité et la cohérence des données. · Concevoir des modèles de données performants et évolutifs. · Participer à l'amélioration de la gouvernance et de la structuration des données. · Garantir la fiabilité et la maintenabilité des modèles de données. Livrables attendus : · Couche sémantique des données. · Modèles de données sur GCP. · Documentation des modèles de données. · Documentation de la couche sémantique. · Recommandations de modélisation. · Documentation des règles de gouvernance des données.
Contexte de la consultation Dans le cadre de l'exploitation, de la sécurisation et de l'amélioration continue de sa plateforme Data, l'entreprise souhaite s'appuyer sur une expertise externe spécialisée autour des technologies Apache Spark, Apache Airflow et Starburst/Trino, déployées et opérées sur une infrastructure Kubernetes. Cette plateforme constitue un socle critique pour l'exécution de traitements de données, l'orchestration de chaînes applicatives, l'exposition de services analytiques et l'interrogation distribuée de données par les équipes métiers, projets et Data. Les enjeux principaux sont les suivants : • garantir la stabilité et la disponibilité de la plateforme ; • améliorer la qualité du support production ; • réduire les incidents récurrents ; • optimiser l'usage des ressources Kubernetes ; • accompagner les équipes métiers et techniques dans leurs usages ; • renforcer les bonnes pratiques d'exploitation, de tuning et d'industrialisation ; • améliorer la performance des traitements Spark, des DAG Airflow et des requêtes Starburst/Trino. La prestation attendue s'inscrit dans un contexte de production, avec des exigences fortes en matière de disponibilité, de maîtrise des incidents, de sécurité, de traçabilité et de performance. __________ 2. expertise technique et opérationnelle plateforme Data reposant notamment sur : • Kubernetes pour l'orchestration des composants ; • Apache Spark pour le traitement distribué de données ; • Apache Airflow pour l'orchestration des workflows ; • Starburst / Trino pour l'interrogation distribuée des données ; • les outils associés de supervision, logs, alerting, sécurité et déploiement. Le consultant interviendra en appui des équipes de production, d'infrastructure, de Data Engineering, d'architecture et des métiers afin d'assurer le maintien en conditions opérationnelles, l'analyse des incidents, l'optimisation des traitements et l'amélioration continue de la plateforme. __________ 3. Objectifs de la prestation La mission devra permettre d'atteindre les objectifs suivants : • assurer un support de niveau expert sur les incidents liés à Spark, Airflow, Starburst/Trino et Kubernetes ; • améliorer la stabilité opérationnelle des workloads Data ; • diagnostiquer et corriger les problèmes de performance, de consommation de ressources ou de fiabilité ; • accompagner les équipes projets dans la mise en production de nouveaux traitements ; • assister les métiers dans l'usage optimisé de la plateforme ; • définir et formaliser des bonnes pratiques techniques ; • optimiser le dimensionnement et l'allocation des ressources Kubernetes ; • contribuer à la réduction des coûts d'exploitation liés à une mauvaise consommation CPU, mémoire, stockage ou I/O ; • renforcer l'observabilité, le monitoring et les procédures d'exploitation ;
