Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop à Paris

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Contexte / Objectifs : 1. Développement de Pipelines de Données : o Concevoir, développer et optimiser des jobs Spark (Java) pour le traitement, la transformation et l'agrégation de grands volumes de données provenant de diverses sources. o Implémenter des flux de données robustes et performants sur Cloudera. o Utiliser HBase pour des besoins de stockages NoSQL rapides et l'accès à des données structurées/semi-structurées. o Développer des requêtes SQL complexes sur HIVE/SPARK pour l'extraction, l'analyse et la validation des données. 2. Optimisation et Performance : o Monitorer la performance des jobs Spark et identifier les goulots d'étranglement. o Optimiser les requêtes SQL et les stratégies de lecture/écriture sur HDFS et HBase. o Proposer et implémenter des solutions pour améliorer la scalabilité et l'efficacité de la plateforme. 3. Assurance Qualité et Déploiement (DevOps) : o Écrire des tests unitaires et d'intégration pour garantir la qualité du code. o Participer aux processus de Build et de déploiement via les outils CI/CD (Jenkins, XLD). o Intégrer des outils d'analyse de code statique (SonarQube, Checkmarx) dans le cycle de développement. o Gérer les dépendances et les versions avec Maven. 4. Collaboration et Documentation : o Documenter le code, les architectures et les processus. o Partager les bonnes pratiques et contribuer à l'amélioration continue de l'équipe.

Almatek recherche pour l'un de ses client, Un Expert Cloudera (RUN & MCO) / Big Data Platform Engineer sur Paris. EXP : +5 ans - Localisation Paris - Télétravail : 2 à 3 jours par semaine - Durée de la mission : 2 ans Mission: Le consultant interviendra en expert plateforme, avec une forte orientation RUN / MCO / N3 : Administration et exploitation de la plateforme Big Data Cloudera (CDP on?premise) Gestion des incidents complexes (N3) et participation aux cellules de crise MCO avancé : patching, upgrades, capacity planning gestion des performances et de la disponibilité Gestion des obsolescences éditeurs (Cloudera, OpenShift, OS Linux) Automatisation des tâches d’exploitation (scripts, CI/CD, IaC) Support technique aux équipes data et projets Contribution à la migration des usages vers Azure Databricks (hybridation on?prem / cloud) Rédaction de documentation technique, procédures d’exploitation et supports de montée en compétence Collaboration étroite avec les équipes infra, conteneurs et middleware Environnement: Big Data : Cloudera CDP (CDH, CDS), Hadoop (HDFS, YARN), Spark Conteneurs : OpenShift, Kubernetes, Docker Sécurité : Kerberos, Ranger Systèmes : Linux (RedHat) Automatisation / CI?CD : Ansible, Jenkins / GitLab, scripts Shell / Python Cloud : Azure, Azure Databricks (migration des usages) Monitoring : Grafana, Prometheus (selon contexte) Contexte: Dans le cadre d’une mission stratégique en environnement de production critique, nous recherchons un consultant senior / expert pour intervenir sur une plateforme Big Data on?premise existante, en phase de stabilisation, MCO et transition vers le cloud. La plateforme est en place depuis plusieurs années et fait l’objet : d’un RUN exigeant (disponibilité, performance, sécurité), d’une migration progressive des usages vers le cloud, et du remplacement d’un profil historique/fondateur de la plateforme. Ce n’est pas un rôle de : Data Engineer DBA

Vous serez responsable de la conception et de la mise en œuvre d'architectures optimisées et scalables au sein d'une plateforme data, analytique et IA basée hébergée en hybride Cloud/On Premises. Ce poste nécessite une compréhension approfondie de l’écosystème Data en terme de technologies et de pratiques à l’état de l’art (i.e. Hybridation, Datamesh etc…) Les principales activités sont les suivantes : - Collaborer avec les équipes data (Data Engineer, Data Analyst, Data Scientist, Business Analyst, Product Owner, Chef de projet, etc.) pour comprendre les exigences en matière de données, d'usages et de capacités et concevoir et formaliser l’architecture adaptée - Accompagner les équipes data dans la mise en œuvre des architectures définies - Assurer la qualité, l'intégrité et la sécurité des données dans l'environnement de la plateforme data, analytique et IA - Optimiser les processus d'ingestion de données et contribuer à la définition et la mise en œuvre des politiques de gouvernance des données - Évaluer et préconiser les technologies et outils appropriés pour le stockage, le traitement et l'analyse des données - Proposer des optimisations pour résoudre les problèmes d’architecture liés au stockage, à l’accès et à l’exploitation de la plateforme data - Une expérience sur l’accompagnement de projet en lien avec des migrations de plateforme data On premises vers le Cloud (idéalement GCP). Compétences techniques ou métier recherchées : - Vous avez une expérience minimale de 6 ans sur un poste d'architecte data et vous avez une expérience de mise en œuvre d'une plateforme basée sur une technologie Cloud. - Vous avez obtenu un diplôme dans le domaine IT et êtes spécialisé dans la Data. - Vous avez une expérience similaire sur la modélisation des données. - Concepts et technologies liés au Big Data (par exemple, Apache Spark, Hadoop) et aux bases de données SQL/NoSQL. Compétences comportementales recherchées : - Coopérer et fonctionner en transversal - Interagir facilement avec les autres - Négocier et convaincre - Proposer des initiatives ou des solutions - S'adapter aux changements. Compétence complémentaire : - Maitrise des Plateformes Data GCP, Spark, Python, SQL, Kafka, MongoDB Excellente connaissance des concepts et technologies des datalake, datawarehouse / entrepôts de données, lakehouse, des plateformes cloud telles que Google Cloud.