Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Résumé :Recherche un Ingénieur Systèmes & Réseaux orienté Infrastructure Data pour rejoindre une équipe en charge des plateformes critiques de stockage, transport et exploitation des données. L'objectif principal est de garantir le bon fonctionnement des infrastructures de données et de travailler dans un environnement technique majoritairement open source. Responsabilités :Gestion des incidents de production en escalade des équipes d'exploitation. Support de niveau 3 sur des environnements critiques. Suivi des KPI et actions correctives. Gestion de l'obsolescence des infrastructures. Déploiement et évolution de plateformes à haute disponibilité. Installation et administration de bases de données (MySQL, Cassandra, etc.). Déploiement de VM dans les datacenters. Mise en place des mécanismes de sauvegarde et gestion des logs. Industrialisation et qualification de nouvelles briques techniques. Must Haves :Expertise en MySQL. Maîtrise des systèmes Linux. Expérience avec des outils comme ELK, Kafka, Airflow, Docker, Git, Ansible, CI/CD, Cassandra, Hadoop / Hive / Yarn, et Spark Streaming. Nice to Haves :Compréhension des concepts d'infrastructure. Curiosité technique et capacité d'apprentissage rapide. Capacité à travailler de façon autonome. Détails supplémentaires :Équipe actuelle : 12 personnes. Localisation : Nancy, avec 2 jours de télétravail par semaine. Durée de la mission : 30 à 36 mois, contrats renouvelables.

Contexte: Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer confirmé(e) pour intervenir sur une plateforme Big Data dédiée à la collecte, au traitement et à l'exploitation de données à grande échelle. Vous intégrerez une équipe en charge de la mise à disposition de données fiables et exploitables pour les équipes Data et participerez activement à l'évolution d'une plateforme moderne reposant sur des architectures distribuées et des technologies Cloud Native. Vos missions: Concevoir, développer et maintenir des pipelines de traitement de données avec PySpark / Spark. Préparer, nettoyer et mettre à disposition des jeux de données destinés aux équipes Data. Développer des indicateurs de performance (KPI) et des tableaux de bord sous Tableau. Superviser et maintenir une plateforme Big Data fonctionnant sur Kubernetes / OpenShift. Diagnostiquer et résoudre les incidents techniques liés aux traitements de données et aux applications. Participer à l'évolution des traitements Spark et des datasets. Déployer et maintenir les applications via Helm. Administrer les composants de la plateforme (Airflow, MinIO, MySQL, JupyterHub, etc.). Gérer les environnements de déploiement continu avec GitLab. Participer à l'administration du Data Lake (stockage, utilisateurs, règles de gestion). Contribuer à l'amélioration continue des performances, de la sécurité et de la disponibilité de la plateforme. Environnement technique : Python PySpark Apache Spark Scala Pandas Hadoop / HDFS Tableau Software Kubernetes OpenShift Helm GitLab Docker Airflow MinIO MySQL Data Lake Parquet

Il aura la charge de gérer une architecture Lakehouse : • Data security : Apache Ranger • Data governance : Apache Atlas • Data processing : Spark, Apache Zeppelin • Data ingestion : nifi • Data analytics : Apache Impala • Data lake : hadoop, Apache KUDO • Dara serving: Hue Gestions des logs via la stack ELK (Elasticsearch-Logstash-Kibana) Provisionner des infrastructures via Terraform Connaissance réseaux (Mise en place et ouverture de flux réseau basé sur le dossier d'architecture réseau) Il documente les procédures d'exploitation et rédige des rapports synthétisés Il assure du bon fonctionnement des services dans le respect des SLA. Il connait et s'appuie sur les process ITIL (Gestion des incidents, des problèmes et des demandes de changement) pour opérer dans des environnements de production. Il a un bon niveau d'anglais pour converser avec les éditeurs dont Cloudera et les fournisseurs Il automatise les déploiements de fichiers de configurations, gestion des certificats et keystores via Ansible. Il utilise les Outils devops de versionning et de packages : Github, Jenkins Sa maitrise des environnements sous Linux lui permet d'analyser les logs dans le cadre du traitement des incidents. Il est force de proposition pour l'amélioration de l'exploitabilité des solutions et de la supervision des services. Il participe aux réunions d'équipe et rend compte des actions Il participe aux projets et aux différents comités.