Mission freelance Data Engineer Senior Secteur Media

Contexte et détails de la mission

Définition du besoin

La Direction Technique du Numérique mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data. La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques.

La Direction Data a 3 grandes activités : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision.

Au sein de l’équipe Bronze, la prestation se déroulera en collaboration avec les autres équipes de la Data, au coeur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs.

Notre stack technique est principalement constitué de Python, Spark, SQL pour les traitements de données, Airflow pour l’orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l’infrastructure.

Prestations attendues :

Prestation de cette équipe

1.         Collecter et centraliser les différentes sources de données non homogènes

2.         Assurer la conformité et la sécurité des données

3.         Participer aux initiatives de gouvernance des données

Prestation en data engineering

En interaction avec les membres de l’équipe, la prestation consiste à :

•          Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe

•          Construire et maintenir de pipelines data robustes et scalables

•          Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données

•          Organiser et structurer le stockage des données

•          Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données

•          Construire et maintenir les workflows de la CI/CD

•          Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur

•          Assurer l’évolutivité, la sécurité, la stabilité des environnements

•          Participer aux différentes instances de data engineering

•          Contribuer et veiller à la mise à jour de la documentation

•          Faire de la veille technologique active dans le domaine

Modalités de la prestation :

Présence sur site requise en fonction des besoins de la prestation et a minima équivalente à 50% du temps de la prestation.

Astreintes week-end et jours fériés : Non

Matériel performant à fournir par le prestataire :

 Pour ce faire, les postes informatiques utilisés par le prestataire lors des prestations doivent avoir :

                        - Un antivirus à jour et activé

                        - Un mécanisme de chiffrement du disque activé

                        - Un système d'exploitation à jour de ses correctifs de sécurité

                        - Un mécanisme de verrouillage du poste activé

                        - Un moyen de stockage sécurisé des mots de passe.

Usage de la langue française :

L'exécution de chaque marché spécifique nécessite l'usage principal et permanent de la langue française dans les rapports avec les parties prenantes (documents, réunions, appels téléphoniques, courriers électroniques…).

Les personnes en charge de l‘exécution des prestations doivent maîtriser parfaitement le français (et toute autre langue qui serait précisée après information dans le DCE du marché spécifique concerné) dans le contexte et environnement.