Trouvez votre prochaine offre d’emploi ou de mission freelance Trino

L'équipe travaille sur des données issues de scans d'infrastructure réalisés avec BMC Discovery. Ces données permettent de recenser et de cartographier les composants techniques du système d'information, notamment les serveurs, les machines virtuelles, les applications, les équipements réseau et le stockage. L'objectif est de transformer ces données brutes en produits data fiables et exploitables par différentes équipes IT, notamment les équipes de production, d'infrastructure, de sécurité et de conformité. MissionsDans le cadre de cette mission, vous interviendrez sur : La conception et le développement de produits data à partir de données d'infrastructure. La création de vues SQL, de modèles de données et de pipelines sur Starburst, basé sur Trino. La transformation de données techniques en jeux de données exploitables par les équipes IT. La mise à disposition de vues et de datasets pour des usages d'inventaire, de cartographie applicative, de suivi de parc et de conformité. L'optimisation des requêtes et des performances sur Starburst. La documentation des modèles, des règles de gestion et des produits data. Les échanges avec les équipes métiers IT afin de comprendre leurs besoins et de les traduire en solutions data. La montée en compétence sur BMC Discovery, dont la logique de collecte et de modélisation sera présentée en interne.

Ops - Data Engineering, DevOps ou DataOps Vitrolles ASAP Missions principales Assurer le maintien en conditions opérationnelles des plateformes Data. Gérer les incidents et les demandes des équipes projets et des utilisateurs. Participer à l'automatisation et à l'industrialisation des solutions. Réaliser les déploiements sur les différents environnements (intégration, préproduction, production). Contribuer à l'amélioration continue des outils d'exploitation et de déploiement. Participer au troubleshooting et à l'optimisation des performances des plateformes. Compétences requises Administration Dataiku Administration et optimisation Starburst / Trino Control-M (création de jobs, calendriers, dépendances, profiles de connexion) Cloud Public : AWS et/ou Azure DevOps et automatisation des déploiements Gestion des environnements de production critiques Compétences appréciées CI/CD Apache Airflow Kubernetes GitLab Grafana Power BI Docker Connaissances Agile / Scrum Notions de cryptographie Profil recherché Formation Bac+5 en informatique, systèmes d'information ou équivalent. Expérience de 3 à 7 ans dans des environnements Data Engineering, DevOps ou DataOps. Bonne capacité d'analyse et de résolution d'incidents. Autonomie, rigueur et esprit d'équipe. Appétence pour les environnements Big Data et Cloud. 2 seniors 2 confirmés

Nous recherchons actuellement un(e) Data Engineer Senior pour accompagner une équipe Data sur des sujets à forts enjeux autour de la Data Engineering, du Big Data et des architectures Lakehouse. 🔎 1 Data Engineer Senior 🎯 Missions principales : · Concevoir, développer et optimiser des pipelines de données à grande échelle · Mettre en œuvre des flux batch, streaming et ingestion via API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Développer et industrialiser les pipelines avec DBT, Spark et Iceberg · Contribuer à l'évolution et à l'optimisation de l'architecture Lakehouse · Déployer et maintenir les pipelines dans un environnement Cloud AWS · Orchestrer les workflows ETL / ELT avec Airflow · Mettre en œuvre l'Infrastructure as Code avec Terraform · Travailler sur des environnements conteneurisés avec Docker / Kubernetes · Garantir la disponibilité, la supervision et l'observabilité des traitements · Participer à la gestion des incidents et à l'amélioration continue · Définir et mettre en œuvre les règles de qualité des données : tests, validations et contrôles automatisés · Documenter les architectures, pipelines et règles métier · Garantir la conformité des flux, notamment dans le respect des exigences RGPD ⚙️ Environnement technique : · DBT / Data Catalog · Apache Spark · Apache Iceberg · AWS : Glue, EMR, S3… · Terraform · Airflow · Python · Trino / Starburst · Datadog · Docker / Kubernetes · Architectures Big Data / Lakehouse · Modélisation et collecte de données 🧑‍💻 Profil recherché : · Minimum 8 ans d'expérience en Data Engineering · Expertise confirmée des architectures Big Data et Lakehouse · Très bonne maîtrise de DBT, Spark, Iceberg, AWS et Terraform · Solide expérience sur les services AWS, notamment Glue, EMR et S3 · Connaissance de Trino / Starburst et Datadog · Bon niveau en Python · Forte capacité d'analyse et de compréhension des enjeux métiers · Expérience dans l'accompagnement et l'encadrement de profils juniors · Autonomie, rigueur et forte culture de l'amélioration continue 🌍 Contexte : · Environnement Data à grande échelle · Projets autour de la modernisation et de l'industrialisation des plateformes Data · Forts enjeux Lakehouse, Data Quality, Observabilité et Cloud · Collaboration avec des équipes Data, IT et métiers 📍 Localisation : Île-de-France – Hybride 🏠 Télétravail : 3 jours par semaine 📅 Démarrage : fin août 2026 💼 Mission longue durée Si vous êtes intéressé(e) ou connaissez un(e) Data Engineer Senior correspondant à ce profil, n'hésitez pas à me contacter en MP ou directement par téléphone. Cordialement,

Environnement Dans un contexte multi domaines/clients (banque de détail, assurances, banque de marchés, asset management, etc.), vous êtes rattaché à l'équipe « Data4Ops », au sein du domaine d'expertise « Automatisation et Observabilité » Cette équipe a la charge de structurer les données dites « opérationnelles » à savoir les données utiles à l'ensemble des métiers et équipes opérationnelles, en adéquation avec la stratégie Data (basée sur les principes/concepts Data Mesh) et en relation avec le PO Data4Ops et le PM (Product Manager) du domaine d'expertise. Mission La transformation des SI de nos Clients vers des architectures modulaires, type micro-services, l'essor de nos infrastructures et l'évolution des technologies associées, ou encore l'automatisation accrue sur nos socles et applications, génèrent une quantité massive de données devenues très hétérogènes, dispersées et silotées du fait de l'organisation. Prenant en compte ce cadre, vos missions seront plus spécifiquement : - Faire un état des lieux et préparer l'évolution des data platform - Concevoir le design de la solution technique permettant de manipuler les données (ingestion, flux, stockage, traitement) - Définir le type de BDD permettant de stocker les données, selon le type de données, plus particulièrement données de type inventaire / référentiel technique - Spécifier la modélisation des données dans la base (quelle donnée, quelle table, les relations, …) - Définir les spécifications techniques et fonctionnelles Contexte technique - Base de données de type Sql/NoSql - Suite de type Data Lakehouse (Spark, MinIO, Stockage S3, Iceberg, Trino) - Infrastructure conteneurisée - Moyens de stockage tels que la suite Elastic, InfluxDB

CONTEXTE Client final : grand groupe média & audiovisuel français. Au sein de la Direction IT Transverse, l'équipe Services & Automatisation met en place les plateformes de services du groupe. Nous recherchons un Ingénieur Data expérimenté (5 ans et plus) pour construire un MVP de plateforme Data On-Premise reposant sur des briques Open Source : Kafka, NiFi, Spark, Iceberg, Trino. Le MVP s'intègre au socle existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry) ; projet mené avec l'équipe Data & IA. OBJECTIFS DE LA PLATEFORME - Gérer la transformation de données On-Premise et alimenter un datalake On-Premise - Servir de plateforme d'ingestion pour la plateforme Big Data hébergée sur GCP - Passer les traitements du mode batch au temps réel (streaming) - Démontrer la faisabilité de la migration des flux ETL portés par un outil propriétaire (type OpenText/Genio) : quelques flux dans le MVP, migration complète hors scope MISSIONS 1. Conception et développement du MVP - Architecturer une plateforme On-Premise scalable et robuste, intégrée au socle existant - Choisir, configurer et déployer les briques Open Source : Kafka (streaming), NiFi (ingestion et orchestration de flux), Spark (traitement distribué), Iceberg (tables analytiques), Trino (requêtage SQL distribué) - Intégrer la plateforme avec Kubernetes, GitLab CI (pipelines de déploiement et tests) et Prometheus/OpenTelemetry (monitoring et observabilité) 2. Validation technique et faisabilité - Transformer quelques flux ETL existants pour démontrer la valeur ajoutée - Mettre en place des pipelines streaming (Kafka + Spark Structured Streaming) - Alimenter le datalake On-Premise (Iceberg + Trino) - Valider l'interopérabilité avec la plateforme Big Data GCP 3. Collaboration et transmission - Travailler avec l'équipe Data & IA (besoins métiers/techniques) et les équipes DevOps/Infrastructure (intégration au socle) - Documenter les choix techniques, architectures et bonnes pratiques - Former et accompagner les équipes internes sur les nouveaux outils

ContexteDans le cadre de la transition vers une architecture Data Mesh, nous recherchons un(e) Data Product Engineerspécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst (Trino). La mission consiste à concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain teams et les data owners. MissionsConcevoir des flux de données et des Data Products Développer des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData Développer des requêtes SQL optimisées pour Starburst/Trino (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet) Automatiser les pipelines de données (ETL/ELT) avec des outils comme Airflow, dbt, ou Starburst Galaxy Configurer des accès sécurisés (RBAC, row-level security) et des politiques de gouvernance (tagging, lineage) Collaborer avec les domain teams pour identifier les sources de données et les cas d'usage Documenter les data products (métadonnées, ownership, qualité) via des outils comme Amundsen, DataHub, ou Starburst Discover Participer à la définition des standards d'interopérabilité (formats communs, APIs de données) Monitorer la performance (latence, coût des requêtes) et la qualité des données (frais, complétude) Mettre en place des alertes et des dashboards (Grafana, Metabase) pour le suivi des data products Contribuer à l'amélioration continue de la plateforme Starburst (scaling, caching, federation) Compétences techniques requisesTalend RealTime BigData : expérience avancée en développement de pipelines sur Talend Studio en mode batch ou route (runtime) Starburst/Trino : expérience avancée en SQL sur Starburst/Trino (jointures, CTEs, fonctions analytiques) Data Modeling Pipelines : expérience avec Airflow/Astronomer, Spark, Talend Real Time Big Data / Talend Data intégration Stockage : connaissance des formats Iceberg, Parquet, S3 Gouvernance : familiarité avec les outils de sécurité (Ranger, RBAC) DevOps/DataOps : pratiques CI/CD pour les pipelines, infrastructure-as-code (Terraform, Kubernetes) Langages : SQL avancé (mandatory), Python (Pandas, PySpark), bash Compétences transverses (Data Mesh)Compréhension des principes Data Mesh (domain-oriented ownership, self-serve platform, federated governance) Capacité à travailler en mode produit (roadmap, priorisation, collaboration avec les métiers) Sensibilité à la data quality (tests, monitoring, remédiation) et à la documentation (data contracts, métadonnées) Soft SkillsEsprit collaboratif : travail avec les équipes métiers, data scientists, et DevOps Pédagogie : capacité à expliquer des concepts techniques à des non-experts Autonomie : prise d'initiative dans un cadre agile Environnement techniqueExpertise écosystème zoo Hadoop Connaissance / maîtrise Data Connaissance / maîtrise technique de l'environnement DevOps Maîtrise technique de l'environnement Data Expertise couche d'accès et d'échange (Kafka, Nifi, …) Expertise Java, Scala, Python, Hive, Spark Expertise ETL, Bash Expertise SQL / NoSQL