Trouvez votre prochaine offre d’emploi ou de mission freelance FinOps

Fiche de poste – Senior Data Engineer / Expert Dataplatform (GCP) Contexte & Organisation Le Pôle Data est structuré autour du modèle Spotify : Une Dataplatform en pleine transformation, composée de 4 experts Architectes / Développeurs GCP & BigQuery Maintenance de l'existant + évolution de la plateforme Début d'un chantier majeur de construction début 2025 (v1 en cours, forte ambition d'évolution) Outils & écosystème : GCP (Cloud Run, Cloud Function, Pub/Sub, Vertex AI, BigQuery) Airflow (orchestration) Dataform (concurrent DBT – SQL) Terraform pour le provisioning Modèle Data type médaillon Pratique Data Engineer moderne + enjeux d'observabilité / finops / sécurité Objectifs du poste Renforcer l'équipe Dataplatform avec un profil senior ayant déjà participé à la construction d'une Dataplatform et capable d'accélérer l'industrialisation des pipelines et des outils d'ingestion. Le rôle vise à : Faciliter et accélérer le travail des Data Engineers Améliorer l'expérience de construction de pipelines de données Structurer et fiabiliser l'ingestion et le transfert de données, encore peu industrialisés Apporter une expertise de haut niveau sur GCP & Data Engineering Missions principales 1. Gouvernance & Contrôle de la plateforme Assurer un contrôle global de la Dataplatform et accompagner les Data Engineers dans les bonnes pratiques d'industrialisation. Identifier les axes d'amélioration techniques et proposer des solutions robustes. Participer aux choix d'architecture technique et Data (modèle médaillon). 2. FinOps, Observabilité & Sécurité Définir et mettre en œuvre les standards d'observabilité. Garantir la performance, la robustesse et la sécurité de la plateforme. Suivre les coûts et proposer des optimisations FinOps. Automatiser le provisioning via Terraform. 3. Développement & Industrialisation Concevoir et industrialiser les pipelines : Cloud Run, Cloud Functions, Pub/Sub, Airflow, Vertex AI. Contribuer à résorber la dette technique. Développer et industrialiser les briques d'ingestion et de transformation. 4. Animation & Documentation Participer à la mise à disposition de nouveaux outils et à la documentation associée. Assurer une démarche d'amélioration continue du run. Animer une équipe de Data Engineer chaque vendredi: partage de bonnes pratiques suivi des évolutions de la Dataplatform retours d'expérience et recommandations 5. Innovation & IA Apporter une vision sur l'usage de l'IA (générative et traditionnelle) pour : réduire les coûts améliorer la productivité faciliter le travail des collaborateurs Contribuer à des projets Vertex AI / ML (ambition forte vers l'IA)

Résumé : Ce poste de Data Engineer vise à intégrer un programme stratégique qui se concentre sur l'optimisation des dépenses en IA. En jouant un rôle clé entre technologie, finance, et transformation organisationnelle, le candidat sera responsable de la conception et de la construction des infrastructures nécessaires pour le suivi et l'analyse des coûts liés à l'IA Responsabilités : Concevoir et construire des pipelines de données, des bases de données, et une infrastructure analytique pour collecter et normaliser les coûts de l'IA. Élaborer des systèmes de suivi des coûts fiables et évolutifs en travaillant avec des plateformes cloud et des équipes interfonctionnelles. Maintenir les pipelines ETL pour l'ingestion de données sur les coûts de l'IA. Concevoir et mettre en œuvre des modèles de données pour le suivi et l'allocation des coûts. Développer et optimiser des bases de données pour l'analyse FinOps. Créer des contrôles de qualité automatisés des données et des outils de surveillance. Soutenir le développement de tableaux de bord de reporting des coûts et des outils analytiques. Must Haves : Maîtrise de SQL et Python. Expérience dans des environnements Databricks et Power BI. Connaissance des processus ETL/ELT et de l'environnement de modélisation des données. Autres Détails : 3 jours de TT/ 2 jours sur site. Mission longue (maximum 3 ans). Localisation à Paris.