Dremio is a data lake engine platform that simplifies and accelerates data analytics. It enables rapid data preparation, access, and querying, providing a high-performance, scalable solution for big data processing. Dremio's intelligent data reflections technology refines data on-the-fly, reducing data duplication and enhancing data consumption, ultimately improving productivity and decision-making for businesses.
La prestation demandée est une mission d'Ingénierie DevOps Data Platform au sein de l'équipe Socle Data Cloud, ayant pour objectif d'administrer, industrialiser et faire évoluer les plateformes Data de l'entreprise dans un environnement hybride On-Premise / Azure Cloud. L'enjeu principal est de faire d'Azure Databricks la plateforme centrale du Socle Data Cloud, en assurant son intégration avec les solutions existantes (Dataiku DSS, Dremio, Tableau Server, Cloudera/Hadoop, Power BI) et en garantissant des flux de données sécurisés et performants entre les environnements On-Premise et Azure. Gestion des obsolescences Suivi des cycles de vie des composants Data et Big Data. Réalisation des upgrades et migrations des plateformes. Intégration des évolutions Azure et Azure Databricks. Mise en conformité avec les standards de sécurité et de gouvernance. Livrables / Résultats attendus Contribution à l'évolution de l'architecture du Socle Data Cloud Azure. Déploiement et administration des environnements Azure Databricks. Mise en place et maintien des connexions entre les plateformes On-Premise (Dataiku, Dremio, Tableau, Cloudera/Hadoop) et Azure Databricks. Développement et maintenance des infrastructures automatisées via Terraform, Ansible et Azure DevOps. Industrialisation des déploiements et des pipelines CI/CD. Automatisation des tâches d'exploitation en Python et Bash. Mise en œuvre des mécanismes de sécurité Azure (Entra ID, Key Vault, gestion des accès). Supervision et observabilité des plateformes (Grafana, Prometheus, ELK/OpenSearch). Support N3 et optimisation des performances des environnements Data et Big Data. Production de la documentation technique et des bonnes pratiques d'exploitation et de gouvernance.
