Partager cette offre
Le bénéficiaire souhaite une prestation d’accompagnement dans l’objectif d’assurer une mission dans le cadre de notre transition vers une architecture Data Mesh. Nous recherchons un(e) Data Product Engineer spécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst. Votre mission sera de concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain métiers et les data owners.
Missions clés :
- Conception de flux de données et de Data Products
Développement des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData ou encore Spark / Astronomer
Documentation des pipelines d'ingestion de données
Intégration des données dans l’écosystème Data Mesh
Collaboration avec les domaines métiers pour identifier les sources de données et les cas d’usage.
Développement des data products / data sets (vues & vues matérialisées) répondant à des cas d'usage identifiées avec les responsables de domaines métiers
Développement des requêtes SQL optimisées pour Starburst (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet).
Documentation les data products (métadonnées, ownership, qualité)
Contribution à l’amélioration continue des data produts dans de la plateforme Starburst
Mise en place des alertes et des dashboards pour le suivi des data products.
Profil recherché
Compétences techniques requises :
Talend RealTime BigData: Expérience avancée en développement de pipelines sur Talend Studio en mode batch ou route (runtime)
Starburst/Trino: Expérience avancée en SQL sur Starburst (jointures, CTEs, fonctions analytiques).
Data Modeling
Pipelines: Expérience avec Airflow/Astronomer, Spark, Talend Real Time Big Data / Talend Data intégration
Stockage: Connaissance des formats Iceberg, Parquet, S3.
Gouvernance: Familiarité avec les outils de sécurité (Ranger, RBAC).
DevOps/DataOps: Pratiques CI/CD pour les pipelines, infrastructure-as-code (Terraform, Kubernetes).
Langages: SQL avancé (mandatory), Python (Pandas, PySpark), bash.
Compétences transverses (Data Mesh) :
Compréhension des principes Data Mesh (domain-oriented ownership, self-serve platform, federated governance).
Capacité à travailler en mode produit (roadmap, priorisation, collaboration avec les métiers).
Sensibilité à la data quality (tests, monitoring, remédiation) et à la documentation (data contracts, métadonnées).
Soft Skills :
Esprit collaboratif : travail avec les équipes métiers, data scientists, et DevOps.
Pédagogie : capacité à expliquer des concepts techniques à des non-experts.
Autonomie : prise d’initiative dans un cadre agile.
Environnement de travail
Visian est une société de conseil spécialisée dans la transformation des systèmes d'information, la data, l'intelligence artificielle et les métiers de la finance. Filiale du groupe Neurones, Visian accompagne depuis plusieurs années les grandes entreprises françaises dans leurs projets de transformation technologique et organisationnelle.
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineering Talend / Starburst Senior
VISIAN