Mission freelance Data Ingénieur Confirmé

En tant que DATA ENGINEER, expert de la solution AWS, vôtre mission consistera à :

✓ Concevoir, déployer et gérer le Data Lake, en collaboration avec l'équipe interne.

✓ Configurer les services AWS et l’automatisation des processus de traitement des données.

✓ Collaborer avec les équipes métier et élaborer la documentation.

Conception et Architecture :
✓ Collaborer avec l’architecte dédié en interne pour concevoir l'architecture du Data Lake sur AWS en tenant compte des besoins métier et des meilleures pratiques.

✓ Développer des solutions évolutives et résilientes pour le stockage, le traitement et l'analyse des données.

Mise en Œuvre et Gestion :
✓ Configurer et déployer les services AWS nécessaires pour le Data Lake, en utilisant des outils tels que Amazon S3, AWS Glue, Amazon Redshift, etc.

✓ Mettre en place des mécanismes de gestion des rejets pour identifier, enregistrer et traiter les données incorrectes ou manquantes lors de l'ingestion dans le Data Lake.

✓ Gérer de manière optimale l'appel à des API de solutions tierces pour peupler le Data Lake en données externes pertinentes, en veillant à la sécurité, à la conformité et à l'efficacité des intégrations.

Traitement des Données :
✓ Gérer l'ordonnancement des sources de données pour assurer un flux régulier et cohérent des données vers le Data Lake, en utilisant des outils d'ordonnancement comme AWS Data Pipeline ou AWS Glue Workflow.

✓ Mettre en place des traitements automatiques pour le passage des données de la couche "Landing" à la couche "Bronze", puis de la couche "Bronze" à la couche "Silver" du Data Lake, en utilisant des outils et des techniques tels que AWS Lambda, AWS Glue, et des flux de données en continu.

✓ Mettre en place des mécanismes de réconciliation pour assurer l'intégrité et la cohérence des données entre les différentes couches du Data Lake.

Intégration et Collaboration :
✓ Travailler en étroite collaboration avec les data analystes et les data scientistes pour comprendre les exigences analytiques et s'assurer que le Data Lake répond aux besoins en matière d'analyse de données.

✓ Collaborer avec les équipes de projet pour définir les objectifs, les échéanciers et les livrables du projet lié au Data Lake.

Documentation et Formation :
✓ Rédiger une documentation détaillée sur l'architecture, la conception, la configuration et le fonctionnement du Data Lake, à des fins de référence interne et de formation.

Optimisation et Amélioration Continue :
✓ Optimiser les performances du Data Lake en identifiant et en résolvant les goulots d'étranglement, en automatisant les processus et en mettant en œuvre des bonnes pratiques.

✓ Suivre les évolutions technologiques et les meilleures pratiques en matière de gestion de données pour proposer des améliorations continues.

✓ Concevoir et mettre en œuvre nos Data Mart pour répondre aux besoins spécifiques des différentes équipes métier, en utilisant des techniques de modélisation de données et des outils comme AWS Redshift.