Contractor job POT8721 - Des développeurs Talend sur Paris

DescriptionAlmatek recherche pour l'un de ses clients, des développeurs Talend confirmés sur Paris.

Fiche de poste :

1. Développement des processus ETL avec Talend

• Conception et développement des processus ETL avec Talend : Utilisation de Talend Studio pour développer des processus d’extraction, transformation et chargement (ETL) des données en fonction des besoins métier et des exigences techniques. Le développeur s’assurera de la qualité et de l'efficacité des flux de données, en respectant les meilleures pratiques de Talend pour garantir des solutions performantes et scalables.

• Optimisation des performances ETL : Le Senior Talend Developer travaillera sur l'optimisation des processus ETL pour gérer efficacement les volumes de données importants, réduire les temps de traitement et maximiser la performance des flux de données.

2. Intégration et orchestration des services avec Talend ESB

• Développement des services et API avec Talend ESB : Utilisation de Talend ESB pour orchestrer les services web, les API et les flux d’intégration des données entre différentes applications, en garantissant l’interopérabilité et la performance du système.

• Gestion des API et des microservices : Mise en oeuvre des meilleures pratiques pour intégrer des microservices dans une architecture scalable et flexible. Cela inclut la gestion des appels API, des formats de données et des transformations nécessaires pour synchroniser les systèmes.

3. Mise en oeuvre de Talend Data Fabric pour la gestion des données

• Gestion des processus de données à grande échelle avec Talend Data Fabric : Le Senior Talend Developer utilisera Talend Data Fabric pour centraliser et automatiser l’intégration des données, la gestion de la qualité des données, la gouvernance, et la sécurité des données à travers l'ensemble de l’entreprise.

• Gestion des métadonnées et de la gouvernance des données : Mise en oeuvre des pratiques de gouvernance des données dans Talend pour assurer la conformité des flux de données aux normes et réglementations en vigueur (par exemple, RGPD), tout en optimisant l’accès et la qualité des données dans l'organisation.

4. Observabilité end-to-end avec Grafana

• Surveillance en temps réel avec Grafana : Mise en place de l'observabilité des flux de données ETL et des processus CDC via Grafana, en créant des dashboards dynamiques pour visualiser les performances des pipelines de données, les latences des transformations, les taux d’échec des jobs et les indicateurs de performance clés (KPIs).

• Suivi des performances et des anomalies : Le développeur intégrera des alertes dans Grafana pour notifier l’équipe technique des problèmes de performance, des erreurs dans les processus d’intégration, ou des anomalies dans la synchronisation des données, permettant une gestion proactive des incidents.

• Optimisation des processus avec des KPIs : Mise en place de métriques de performance pour suivre l’efficacité des processus ETL et CDC, ce qui permet d’identifier rapidement les zones d'amélioration et d'optimiser les performances des flux de données.

5. Assurance qualité des données

• Validation des données : Mise en oeuvre de contrôle pour valider, nettoyer et enrichir les données tout au long du processus d’intégration. Le développeur s’assurera que seules des données fiables et de qualité sont chargées dans les systèmes cibles.

• Gestion des erreurs et des échecs de transformation : Le développeur sera responsable de la gestion des erreurs pendant l’exécution des processus ETL, y compris la mise en place de mécanismes de reprise, de gestion des exceptions et des erreurs critiques.

6. Formation et transfert de compétences

• Accompagnement des équipes internes : Le Senior Talend Developer jouera également un rôle clé dans la formation des développeurs internes sur l’utilisation des outils Talend (Talend Studio, Talend Cloud, Talend Data Fabric), ainsi que dans l’optimisation de la performance des processus d'intégration de données. Il partagera son expertise sur les bonnes pratiques et l'architecture des flux de données.