Mission freelance Concepteur Développeur Big Data

• Analyse et Formalisation : Participation aux réunions de lancement avec les solutions managers RH et Finance. Analyse, formalisation des besoins fonctionnels et techniques en collaboration avec les architectes.

• Spécifications Techniques : Rédaction détaillée des spécifications techniques (ST) pour la conception des solutions à implémenter, couvrant l'architecture, les flux et les règles de transformation.

• Design et Technologie : Concevoir des solutions de traitement de données utilisant les technologies adaptées : Apache Spark, Hadoop, Databricks et Snowflake.

• Implémentation ETL/ELT : Développer des pipelines ETL/ELT performants et évolutifs pour l'intégration, le traitement et le stockage des données. Intégration de diverses sources de données et API.

• Qualité des Données : Implémenter des mécanismes de validation et de contrôle de qualité rigoureux pour garantir l'intégrité et la fiabilité des données.

• Configuration Cloud/Clusters : Configurer et déployer les environnements nécessaires sur infrastructures Cloud (AWS, Azure, GCP) ou sur clusters Hadoop/Spark.

• Automatisation Databricks : Utiliser Databricks pour optimiser les workflows et automatiser les processus de traitement.

• Sécurité : Gérer les accès aux systèmes et assurer la sécurité des données traitées et stockées.

• Optimisation des Performances : Analyser et proposer des axes d'optimisation (partitionnement, parallélisme). Ajuster les configurations des clusters et des environnements (ex. ressources Spark) pour améliorer les temps de réponse.

• Tests et Revue de Code : Mettre en place des tests unitaires et d'intégration pour valider la qualité des pipelines. Réaliser des revues de code régulières.

• Support et Évolutions : Assurer la maintenance évolutive des solutions en production et intervenir pour résoudre les incidents de données. Implémenter les évolutions demandées et maintenir une veille technologique active.

• Documentation de Conception :

  • Spécifications Techniques : Document détaillant la conception des pipelines et les flux de données (incluant schémas d'architecture).

  • Code Source et Scripts : Code des solutions développées (Spark, Snowflake, Databricks) et scripts de configuration/automatisation.

• Qualité et Exploitation :

  • Tests et Validation : Couverture de tests (unitaires/intégration) et un rapport de tests pour valider le bon fonctionnement des cas d'usages.

  • Documentation Technique/Exploitation : Guide détaillé sur le fonctionnement, les procédures de maintenance et d'exploitation (manuel utilisateur).

  • Rapport de Performance : Analyse des performances des pipelines avec recommandations d'optimisation (temps de traitement avant/après).

  • Suivi des Incidents : Journal détaillé des incidents rencontrés et des actions correctives.

  • Livraison et Mise en Production : Solutions testées, validées, et prêtes pour la production, avec un plan de déploiement et une procédure de rollback.

Cette mission essentielle vise à confier à un Ingénieur Data expérimenté la responsabilité complète du cycle de vie des solutions de traitement de données pour les domaines RH et Finance. Le professionnel doit maîtriser les technologies Big Data (Spark, Hadoop), les plateformes analytiques (Databricks, Snowflake) et les environnements Cloud (AWS, Azure, GCP), afin de garantir la livraison de systèmes ETL/ELT performants, sécurisés et alignés sur les objectifs business.