Mission freelance Ingénieur Big Data / Infrastructure en Île-de-France

Au sein d’une DSI ou d’une équipe Data/Cloud en pleine transformation numérique, l’ingénieur Big Data / Infrastructure intervient pour concevoir, déployer et maintenir des plateformes de traitement de données à grande échelle. Il joue un rôle clé dans la fiabilité, la performance et la sécurité des environnements Big Data utilisés par les data engineers, data scientists et équipes métier.

• Concevoir des architectures de données distribuées (Hadoop, Spark, Kafka, HDFS, NoSQL, S3…).

• Participer au dimensionnement des clusters, à la définition des SLA et des bonnes pratiques d’industrialisation.

• Déployer et configurer les services Big Data dans un contexte On-premise, Cloud (AWS/GCP/Azure) ou hybride.

• Assurer l’administration quotidienne des clusters : gestion des ressources, supervision, montée de version, tuning des performances.

• Implémenter des mécanismes de haute disponibilité, d’équilibrage de charge et d’optimisation du stockage.

• Réaliser des diagnostics avancés en cas de dysfonctionnement et mettre en place des correctifs durables.

• Développer et maintenir des pipelines d’automatisation (Terraform, Ansible, Jenkins, GitLab CI…).

• Standardiser les déploiements via Infrastructure as Code.

• Contribuer à l'amélioration continue de la plateforme, en proposant des optimisations de performance et des outils de monitoring.

• Intégrer les contraintes de sécurité : gestion des accès (Kerberos, IAM, Ranger), chiffrement, segmentation réseau.

• Participer à la mise en œuvre de la gouvernance Data (catalogue, lineage, qualité, traçabilité).

• Veiller au respect des politiques RGPD et des normes internes.

• Accompagner les data engineers, développeurs et data scientists dans l’utilisation des ressources Big Data.

• Optimiser les jobs Spark/Kafka/Hadoop pour réduire les coûts et améliorer la latence.

• Participer à la rédaction de documentation technique, guides d’usage et bonnes pratiques.