Trouvez votre prochaine offre d’emploi ou de mission freelance Trino

Dans le cadre de la modernisation d'un écosystème Data et du déploiement d'une architecture Data Mesh, nous recherchons un Chef de Projet Data Platform expérimenté pour piloter le déploiement d'une solution stratégique basée sur Starburst Enterprise / Trino. Vous interviendrez au cœur d'un environnement technique exigeant, en coordonnant les équipes Architecture, Infrastructure, Cybersécurité, Data Engineering, BI et Analytics. Vos principales responsabilités Pilotage de projet Cadrage, définition des objectifs et construction du planning directeur. Pilotage des risques, du budget, des ressources et des dépendances. Animation des comités projet et de pilotage. Coordination des fournisseurs et des intégrateurs. Coordination technique Data Coordination des travaux d'architecture et d'infrastructure. Pilotage des équipes Data Engineering, BI et Analytics. Suivi des phases d'installation, d'intégration, de tests et de recette. Préparation des mises en production et du passage en RUN. Gouvernance & conduite du changement Définition de la roadmap et des indicateurs de performance. Gestion des parties prenantes et des arbitrages. Accompagnement des équipes métiers et techniques. Préparation du reporting et des supports destinés au management.

Nous recherchons un Data Product Engineer pour intervenir sur la conception, le développement et l'évolution de produits Data, dans un environnement basé notamment sur Talend et Starburst. MissionsConcevoir et développer des produits et flux de données répondant aux besoins des équipes Métiers et Data. Développer et maintenir des pipelines d'intégration et de transformation avec Talend. Exploiter Starburst / Trino pour l'accès, la transformation et la valorisation des données. Participer à la mise en place de solutions de Data Integration et Data Virtualization. Garantir la qualité, la fiabilité et la performance des produits Data. Optimiser les traitements et résoudre les problématiques techniques liées aux flux de données. Collaborer avec les Data Engineers, Data Architects, Product Owners et équipes Métiers. Participer aux bonnes pratiques de développement, de tests et d'industrialisation des solutions Data. Environnement techniqueTalend, Starburst / Trino, SQL, Data Integration, Data Virtualization, Data Pipelines, ETL/ELT, Data Products.

Bonjour à tous, Mission Data Engineer Senior / Expert – Lakehouse AWS Nous recherchons 2 Data Engineers Senior / Experts pour accompagner une équipe Data dans la conception, l'industrialisation et l'évolution de solutions data à grande échelle. La mission · Concevoir et optimiser des pipelines de données · Développer des flux batch, streaming et API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Contribuer à l'évolution d'une architecture Lakehouse · Garantir la qualité, la supervision et l'observabilité des traitements Stack technique Spark / PySpark • Python • AWS • DBT • Iceberg Airflow • Terraform • Docker • KubernetesAWS S3, Glue, EMR Trino / Starburst • Datadog ➕ Data Catalog 📍 Localisation : Île-de-France 🏠 Télétravail : 3 jours/semaine 📅 Démarrage : dès que possible ⏳ Durée : jusqu'à août 2027 🎓 Expérience : 8 ans minimum en Data Engineering Vous avez une solide expérience en Data Engineering, Big Data et architectures Lakehouse et vous maîtrisez Spark, AWS, Python et DBT ? 📩 N'hésitez pas à me contacter en MP ou à partager votre CV.

Dans le cadre de la modernisation d'une plateforme décisionnelle au sein d'un acteur de l'épargne salariale et de la retraite, nous recherchons un Data Engineer / Data Architect Senior. La mission s'inscrit dans un programme de transformation visant à faire évoluer une plateforme BI existante vers une architecture moderne de type Lakehouse, tout en garantissant la continuité des services actuellement proposés. Vous rejoindrez l'équipe Cœur-Data, composée de cinq personnes, et travaillerez en étroite collaboration avec les équipes métier, la MOA et les équipes techniques transverses. Objectifs de la missionL'objectif principal sera de concevoir et mettre à disposition des données structurées, fiables et exploitables par l'équipe Marketing. Vous interviendrez notamment sur : La définition de l'architecture et de l'organisation du Lakehouse ; La conception de solutions de collecte, de stockage et de transformation des données ; La migration et la modernisation progressive des traitements existants ; L'industrialisation et le suivi des pipelines de données ; La mise à disposition de données brutes et transformées pour les usages analytiques et la datavisualisation. Principales responsabilitésEn tant que Data Engineer / Data Architect Senior, vous serez amené à : Concevoir l'organisation des données et des flux au sein d'un environnement Lakehouse basé sur S3 ; Développer des pipelines de traitement avec Python, Spark et PySpark ; Mettre en place et maintenir les traitements d'ingestion et de transformation ; Participer à l'ordonnancement des traitements avec Dagster ; Contribuer à l'exposition des données via Trino et les outils de datavisualisation ; Développer les solutions de collecte et de stockage répondant aux besoins métiers ; Mettre en place les tests unitaires et les contrôles nécessaires à la qualité des développements ; Assurer le suivi des traitements et identifier les éventuels incidents ou blocages ; Rédiger et maintenir la documentation technique ; Participer à la recette avec la MOA et les utilisateurs ; Estimer les charges et contribuer au suivi de l'avancement du projet ; Réaliser des études en collaboration avec les équipes transverses ; Participer à l'amélioration continue des processus de développement et d'exploitation. Environnement techniquePlateforme ciblePython ; Apache Spark / PySpark ; SQL ; Amazon S3 ; Dagster ; Trino ; Git ; Jenkins. Environnement existantInformatica ; DAC ; Oracle 19 ; Outils BI et de reporting. Outils projetJira ; Confluence ; Windows 10 avec WSL.

L'équipe travaille sur des données issues de scans d'infrastructure réalisés avec BMC Discovery. Ces données permettent de recenser et de cartographier les composants techniques du système d'information, notamment les serveurs, les machines virtuelles, les applications, les équipements réseau et le stockage. L'objectif est de transformer ces données brutes en produits data fiables et exploitables par différentes équipes IT, notamment les équipes de production, d'infrastructure, de sécurité et de conformité. MissionsDans le cadre de cette mission, vous interviendrez sur : La conception et le développement de produits data à partir de données d'infrastructure. La création de vues SQL, de modèles de données et de pipelines sur Starburst, basé sur Trino. La transformation de données techniques en jeux de données exploitables par les équipes IT. La mise à disposition de vues et de datasets pour des usages d'inventaire, de cartographie applicative, de suivi de parc et de conformité. L'optimisation des requêtes et des performances sur Starburst. La documentation des modèles, des règles de gestion et des produits data. Les échanges avec les équipes métiers IT afin de comprendre leurs besoins et de les traduire en solutions data. La montée en compétence sur BMC Discovery, dont la logique de collecte et de modélisation sera présentée en interne.

RECHERCHE – DATA ENGINEER SENIOR Je recherche 2 Data Engineers Senior pour intervenir sur un projet Data ambitieux en Île-de-France. 🔹 Expérience : 8 ans minimum en Data Engineering 🔹 Localisation : IDF 🔹 Télétravail : 3 jours/semaine 🔹 Démarrage : ASAP 🔹 Mission longue durée 🛠️ Compétences indispensables : • Python • Spark • AWS (Glue, EMR, S3…) • Big Data • DBT • Architecture Lakehouse • Modélisation et collecte de données • Terraform • Airflow ⭐ Une expérience sur Iceberg et Starburst/Trino est fortement appréciée. Le poste implique également des sujets de pipelines Data à grande échelle, batch/streaming, industrialisation, qualité et observabilité des données. 📩 Vous êtes disponible ou connaissez un profil correspondant ? N'hésitez pas à me contacter en MP ou à m'envoyer votre CV.

Contexte de la mission Au sein de l'équipe Produits de Data Solutions, spécialisée dans le développement de solutions Data, nous recherchons un consultant DevOps DataViz pour assurer l'intégration, la configuration, l'administration et la sécurisation des outils de data visualisation et de préparation des données. Le consultant contribuera à garantir la disponibilité, la performance et l'exploitabilité des plateformes, tout en assurant leur documentation en vue de leur transfert vers un centre d'exploitation dédié. Missions principales 1. Intégration et configuration Concevoir et contribuer à l'architecture technique des solutions de data visualisation. Installer, configurer et administrer les plateformes et les outils associés. Automatiser les opérations d'infrastructure et de déploiement à l'aide de Terraform, Ansible, Python et Bash. Gérer les accès utilisateurs, les rôles, les groupes et les droits. Veiller à la sécurité des données et au respect des politiques internes de gouvernance. 2. Performance et optimisation Suivre les indicateurs de performance et d'utilisation des plateformes : requêtes, temps de rafraîchissement des tableaux de bord et consommation des ressources. Mettre en place des tests de performance et identifier les axes d'amélioration. Contribuer à l'optimisation et à la fiabilisation des solutions. 3. Support et documentation Assurer le support technique de niveau avancé auprès des équipes projets. Accompagner les équipes sur les problématiques de connexion aux applications, de publication des rapports et de gestion des espaces de travail. Rédiger et maintenir la documentation technique, les procédures d'administration et les fiches d'incidents. Préparer le transfert des plateformes vers les équipes d'exploitation. 4. Accompagnement des projets Data Mettre en place les passerelles et les sources de données nécessaires aux développeurs de tableaux de bord. Participer à la définition des normes et des bonnes pratiques en matière d'infrastructure. Collaborer avec les équipes projets, produits, gouvernance des données et préproduction. Environnement technique Infrastructure as Code : Terraform, Ansible. Scripting et automatisation : Python, Bash. Data visualisation : Apache Superset, Tableau, Power BI, QlikView, Looker. Stockage et traitement des données : MinIO, Hadoop, SQL, Trino. Orchestration : Kestra. CI/CD : Jenkins, Sonar. Compétences requises Compétence obligatoire : Maîtrise de Terraform pour l'automatisation et le déploiement des infrastructures. Compétences importantes : Maîtrise du scripting Python et Bash pour l'automatisation des opérations. Connaissance de Hadoop et du stockage objet, notamment MinIO. Maîtrise d'au moins un outil de data visualisation, avec une préférence pour les solutions open source telles que Superset. Connaissances en SQL et compréhension des architectures de données. Connaissance des pratiques CI/CD et des outils associés, notamment Jenkins et Sonar. Compétences fonctionnelles et comportementales Sensibilité aux enjeux de sécurité et de gouvernance des données. Capacité à documenter les solutions et à transmettre les connaissances. Aptitude à vulgariser les sujets techniques. Esprit collaboratif et capacité à interagir avec des équipes pluridisciplinaires.