Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Hanson Regan recherche un Data Engineer pour une mission 12 mois renouvelable, basée à Paris Données en anglais : Compétences: -Hadoop Cloudera - Flux de travail / injection - Outils de visualisation - Pipeline Longue liste : Les outils d’ingestion de données : NiFi Les outils de stockage de données : HDFS, CEPH Les outils d’ordonnancement des jobs : Airflow Les outils de gestion des ressources (CPU, RAM) : YARN Les moteurs et frameworks d’exécution : MapReduce, Spark, TEZ Les langages de développement : Python, Scala Les outils de prototypage/exploration : Jupyter, Dataiku Les outils orientés datamart : Hive, PostgreSQL Les outils de proxyfication (Access) : Knox, HAProxy Les outils d’affichage d’indicateurs et tableau de bord : Grafana, Tableau, Superset, S7 Les outils de sécurité : Kerberos, LDAP, IPA gratuite Les outils d’administration et de gouvernance : ClouderaManager, Ranger Les outils de supervision et d’exploitation (DevOps) : Prometheus, Puppet, Heat, Ansible Les dépôts de binaires : Mirroring des dépôts issus du web HTTP pour les applications tiers. Merci de nous contacter au plus vite si vous êtes intéressé ou si vous connaissez une personne correspondant à ce profil

Je recherche pour un de mes clients un Data Analyst sur Aix-en Provence CONTEXTE DE LA MISSION : Le client dans le cadre de son activité analyse de la donnée, recherche un profil analyste DATA afin d'intégrer l'équipe sur le site d'Aix-en-Provence. Le profil aura pour mission de mettre en œuvre des analyses dans le cadre de la lutte contre la fraude. Fort d'une expérience DATA, il devra prendre en compte toutes les données du SI afin d'étudier leur cohérence et leur impact dans les processus métiers sensibles. DESCRIPTION DE LA MISSION Définition des missions et des obligations afférentes (obligation de conseil et/ou obligation de résultat) au Titulaire - Définition de la prestation attendue : - Rattaché à l'équipe Analyse de la donnée, l'intervenant aura pour principales missions : - Prise en compte des données du domaine "Individu Allocataire" et assimilation de leurs impacts dans le SI - Mise en œuvre de cas d'usage métiers orientés lutte contre la fraude par croisement des données (ciblage, analyse de donnée ou prédiction) - Développement et maintenance de produits DATA réutilisables - Respect des normes et bonnes pratiques au sein de l'équipe

Au sein du pôle Big Data d'un grand groupe, l'objectif principal de ce poste est de réaliser et de maintenir les développements nécessaires à l'alimentation du Datalake sur une plateforme Cloudera Hadoop, de mettre en place des extractions de données et d'accompagner les utilisateurs. Rattaché(e) au responsable Big Data, vous évoluerez dans un contexte de production à fortes attentes où la tenue des délais de livraison et le pilotage opérationnel sont primordiaux. Vos principales missions seront les suivantes : Développement et intégration : Prendre en charge les évolutions des données à intégrer et reprendre les développements existants pour l'alimentation du Datalake. Vous développerez également des extractions avec un niveau d'expertise en SQL et créerez des scripts Shell avancés pour l'automatisation. Expertise technique et mentorat : Spécifier techniquement les tâches, fournir des requêtes de référence, effectuer des revues de code et accompagner les collaborateurs juniors, stagiaires ou alternants. Support et accompagnement : Assurer le support de niveau 2, faire appliquer les bonnes pratiques et consignes aux utilisateurs, et rédiger la documentation requise (guides, description de processus). Optimisation et maintenance : Garantir la maintenabilité, les performances et l'exploitabilité de la plateforme en respectant l'utilisation des modèles référencés par la Gouvernance de la Donnée. Vous optimiserez les traitements de la plateforme et ceux des utilisateurs, et mènerez des investigations (reverse engineering) dans une architecture héritée complexe

Au sein de l’équipe Data & IA, l’Ingénieur Infrastructure Data est responsable de l’administration, de l’évolution et du maintien en conditions opérationnelles des plateformes Big Data basées sur l’écosystème Cloudera CDP et des technologies Open Source. Il conçoit et met en œuvre des solutions d’ingestion, de stockage et de traitement de données (Hadoop, Ozone, Hive, Kafka, Spark, etc.), automatise les pipelines de données et veille à la qualité, la sécurité et la conformité des données, notamment au regard du RGPD. Il participe également à l’industrialisation et au déploiement de modèles de data science et de machine learning, tout en assurant le support technique aux équipes applicatives et métiers. Enfin, il contribue aux projets d’évolution des plateformes, à la migration des clusters Hadoop et à l’amélioration continue des infrastructures, en collaboration avec les équipes infrastructures, production et internationales.

Dans le cadre d’un programme de transformation data, nous recherchons un QA Big Data pour garantir la qualité, la fiabilité et la performance des pipelines et produits data. Vous analyserez les architectures et flux existants, identifierez les risques qualité et proposerez des stratégies de test adaptées aux environnements Big Data et analytiques. Vous concevrez et mettrez en œuvre des tests automatisés sur les traitements batch et streaming (qualité des données, complétude, fraîcheur, cohérence, non-régression), en utilisant des frameworks et outils adaptés (Great Expectations, dbt tests, Python, SQL ou équivalent). Vous serez responsable de la définition des critères d’acceptance data, de la mise en place de contrôles qualité et de la surveillance des anomalies en production. Vous travaillerez étroitement avec les équipes Data Engineering, Data Science et DevOps pour intégrer la qualité dans les pipelines CI/CD et les processus de delivery. Vous participerez également à l’analyse des incidents data, à l’amélioration continue des pratiques de test et à la documentation des standards qualité au sein de la plateforme.

Dans le cadre de ses projets Big Data internes, notre client recherche un Consultant DataOps & Administrateur Hadoop confirmé , intégré à l’équipe BDP (Big Data Platform) . Le consultant interviendra sur le déploiement, l’industrialisation, l’exploitation et le maintien en condition opérationnelle de clusters Big Data personnalisés, basés sur la TOSIT Data Platform (TDP) , au service des projets data et métiers. 🎯 Rôle et responsabilités 1. Déploiement & industrialisation des clusters Big Data Déploiement automatisé de clusters via pipelines Jenkins Installation et configuration des composants Hadoop via Ansible Adaptation des architectures selon les besoins projets (sécurité, performance, capacité) Contribution aux pratiques CI/CD et Infrastructure as Code Déploiement et administration du TDP Manager Mise en place de Hue pour les environnements Datalab 2 . Administration avancée de la stack Hadoop / TDP Le consultant est responsable de l’installation, la configuration et l’exploitation de : Sécurité & identités : OpenLDAP Kerberos Ranger (politiques de sécurité) Stockage & calcul distribué : HDFS (baie Huawei) Hadoop (YARN, services core) Traitement & accès aux données : Spark Hive Services transverses : ZooKeeper PostgreSQL Responsabilités associées : Gestion des dépendances inter-services Cohérence des versions Optimisation des performances et de la stabilité Résolution des incidents complexes 3. Provisionnement & automatisation des environnements Provisionnement de VM sous VMware Préparation des prérequis systèmes (OS, réseau, stockage) Automatisation via Ansible et scripts Bash Gestion des environnements DEV / RECETTE / PROD 4. Observabilité, supervision & anticipation Mise en œuvre et maintien de la stack d’observabilité : Prometheus Alertmanager Loki / Promtail Grafana Définition des indicateurs de supervision Analyse proactive des alertes Diagnostic et résolution d’incidents 5. Maintien en Condition Opérationnelle (MCO) Administration quotidienne des clusters Hadoop Support aux équipes projets et utilisateurs Datalab Gestion des incidents, demandes d’évolution et correctifs Montées de version Suivi de capacité (CPU, RAM, stockage) Rédaction et mise à jour de la documentation technique 🤝 Interaction & posture attendue Participation active aux rituels d’équipe Coordination avec : Équipes infrastructure Équipes projets data / métiers Référents sécurité Capacité à accompagner et conseiller les équipes dans l’usage de la plateforme Forte capacité de communication transverse 🧠 Compétences clés attendues Techniques Expertise Hadoop / Big Data on-prem Solide expérience DataOps / DevOps Maîtrise de : Jenkins, GitLab CI/CD, SonarQube Ansible, Bash VMware, Docker Stack d’observabilité (Prometheus, Grafana, Loki) Méthodologiques & soft skills : Rigueur et sens de la qualité Forte sensibilité aux enjeux de sécurité Capacité d’anticipation (supervision, performance, capacité) Autonomie et esprit d’équipe Aisance dans des environnements complexes et critiques ⚠️ Points de vigilance Forte interdépendance des composants Hadoop Exigences élevées en matière de sécurité (Kerberos, Ranger) Enjeux de performance et de disponibilité Nécessité d’une coordination transverse permanente

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer Big Data pour concevoir et industrialiser des plateformes de traitement de données à grande échelle. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (modernisation des pipelines, optimisation des traitements distribués, passage vers des architectures plus scalables et temps réel) et guiderez leur mise en œuvre avec Spark, Kafka et les écosystèmes Big Data. Vous serez responsable de la refactorisation et de l’optimisation des pipelines de données, de l’amélioration des performances et de l’intégration de mécanismes de fiabilité et d’observabilité des flux. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour adapter les traitements aux pipelines CI/CD et aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de data engineering et d’industrialisation. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions pérennes.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Dans le cadre d’un programme de transformation data, nous recherchons un Architecte Big Data pour définir et piloter l’évolution des plateformes de données à grande échelle. Vous analyserez les architectures existantes, identifierez les limites techniques et proposerez des trajectoires cibles adaptées aux enjeux métiers, techniques et opérationnels. Vous guiderez la conception de nouvelles architectures distribuées en intégrant des technologies telles que Hadoop, Spark, Kafka, Iceberg/Delta Lake ou équivalents, ainsi que des principes modernes de lakehouse et de data mesh lorsque pertinent. Vous serez responsable des choix structurants en matière de stockage, de traitement, de gouvernance et de sécurité des données, en veillant à la performance, à la scalabilité et à la résilience des plateformes. Vous travaillerez étroitement avec les équipes Data Engineering, Cloud et DevOps pour garantir une mise en œuvre industrialisée, alignée avec les standards d’entreprise et les contraintes d’exploitation. Vous aurez également un rôle clé dans l’animation d’ateliers techniques, la formalisation de patterns d’architecture et l’accompagnement des équipes dans l’adoption des meilleures pratiques Big Data et data engineering.

Le datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Data Engineer de ce datalake : Gestion de la production Gestion de la dette technique Revoir l'architecture actuelle et proposer des évolutions Développements liés aux projets Description : Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent Activités et tâches : Acheminement de la donnée Mise à disposition de la donnée aux équipes utilisatrices Mise en production de modèles statistiques Suivi de projet de développement Développement job spark Traitement et ingestion de plusieurs formats des données Développement des scripts Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données Développement des moyens de restitution via génération de fichier et ou API & Dashboarding Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP Participer à la conception, mise en place et administration de solutions Big Data Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

QODEXIA est une société de services informatiques implantée en France et en afrique du nord. Partenaire performant, innovant, agile pour aider les entreprises dans leur transforamtion digitale. QODEXIA s'est spécialisée dans le digital, SAP et les nouvelles technologies, accompagne au quotidien les plus grands acteurs de l'industrie, de l'énergie, du Luxe, de la Banque et de l'Assurance sur leurs projets. L’IT est notre passion, les valeurs humaines sont notre capital, c'est de quoi notre ADN est composé. Data Analyst (H/F) – Big Data / Lutte contre la fraude Localisation : Aix-en-Provence Démarrage : ASAP Type de mission : Mission longue durée Contexte Dans le cadre d’un projet stratégique autour de la lutte contre la fraude , nous recherchons un Data Analyst capable d’exploiter et d’analyser les données du système d’information afin d’identifier des incohérences, détecter des comportements suspects et proposer des analyses à forte valeur ajoutée pour les équipes métiers. Le consultant interviendra dans un environnement Big Data et contribuera à la mise en place de cas d’usage analytiques et prédictifs.

ACCROCHE SI TU ADORES CONSTRUIRE DES PIPELINES SOLIDES COMME LE ROC, CETTE ANNONCE EST POUR TOI... CE QUE TU RECHERCHES : Évoluer au sein d’une équipe dynamique Participer à des projets innovants d’envergure Relever des défis liés à l’ingénierie des données, aux flux et aux performances Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi. Au sein d’un acteur majeur du secteur , tu participeras : Les pipelines de données, tu développeras La qualité, la fiabilité et la sécurité des données, tu garantiras L’intégration et la transformation des données, tu automatiseras Les architectures data (batch & temps réel), tu concevras La scalabilité et la performance des traitements, tu optimiseras Les outils de monitoring et de gestion des flux, tu mettras en place Ton équipe projet, tu accompagneras Aux rituels agiles et instances data, tu participeras QUI TU ES : Diplômé(e) de la formation qui va bien Surdoué(e) ou doté(e) d’une expérience de ans minimum en ingénierie de la donnée ou en développement data Expert(e) en Habile avec les outils AU-DELÀ DES COMPÉTENCES TECHNIQUES, TU ES / AS : Dynamique : tu n’aimes pas rester les deux pieds dans le même sabot Autonome : un guide du Routard te suffira Esprit de synthèse : tu sais aller à l’essentiel Capacité d’adaptation : tu es un vrai caméléon Sens de la communication : les mots n’ont pas de secret pour toi Force de proposition : tu es l’Aladdin de l’informatique Esprit d’équipe : un pour tous et tous pour un !

🎯 Contexte Dans le cadre d’un projet stratégique de transformation data, nous recherchons un Data Engineer orienté développement , capable d’intervenir sur une migration d’envergure d’Azure vers GCP . 🛠️ Missions principales Participation active à la migration des pipelines data d’Azure vers GCP Développement et optimisation de traitements data Conception d’architectures data robustes et scalables Collaboration avec les équipes data et métiers Contribution aux bonnes pratiques data engineering 🔧 Stack technique Google Cloud Platform (GCP) – niveau confirmé requis Apache Spark / Scala Hadoop ecosystem Forte orientation développement (profil Data Engineer "DEV")

Je recherche pour un de mes client un Développeur Big Data sur Lyon CONTEXTE DE LA MISSION Le client, dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour l’accompagner dans les actions sur la plateforme Cloudera Hadoop. L'objectif de la prestation est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs. DESCRIPTION DE LA MISSION Rattaché au responsable Big Data, le profil aura pour principales missions : - de prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake , de les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter) - d'avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date) - de mettre en place des extractions à partir de ces données, - d’assurer le support niveau 2, - de faire appliquer les consignes aux utilisateurs, - de garantir la tenue des délais de livraison dans un contexte de production à fortes attentes - de contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité Il veillera au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gouvernance de la Donnée. Le profil devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s'intégrer et à partager son savoir faire, à documenter ses actions et à accompagner. LIVRABLES ATTENDUS ET ENVIRONNEMENT TECHNIQUE Les principales missions confiées seront les suivantes : - Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets - Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation - Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe - Optimisation des traitements de la plateforme et ceux des utilisateurs - Capacité à expliquer simplement le sujet, à communiquer vers des interlocuteurs type développeur, bureau d'étude, qualifieur et "clients" (Groupes de protection sociale). La connaissance de Power BI et SAS sont des plus. Exemples de livrables attendus : - Code source documenté - Plan de tests / fiches de test - Bilan - Bordereau de livraison - Manuel d’installation - Dossier d’exploitation - JIRA documentée Environnement technique : - Hadoopa Cloudera - Hive - Impala - Python - Shell - Spark - Linux - SQL - VBA - Git - Jupyter Des connaissances de l’écosystème de la protection sociale sont les bienvenues (retraite complémentaire idéalement).

est Engineer Nantes QUALIFICATION : Cloudera Hadoop,Squash TM (Test Management),MS Azure Databricks,Jira Confluence, Mission à temps plein dans le secteur financier, d'une durée de 1an minimum. Elle consiste à tester et intégrer des solutions de données dans le cadre d'un projet de migration d'un lac de données sur site vers une plateforme cloud Azure Databricks. Contexte : - Cette mission s'inscrit dans un projet de migration d'un lac de données sur site (ODLG) vers une plateforme cloud Azure Databricks pour le domaine financier. - Ce domaine comprend une trentaine de sources de données et une trentaine de cas d'utilisation à migrer d'ici mi-2028. - La mission est axée sur les tests et l'intégration, les tests fonctionnels étant gérés par l'AMOA. Responsabilités : - Définir les scénarios de test et rédiger la documentation de test. - Exécuter les tests. - Enregistrer et suivre les anomalies. - Fournir des indicateurs de progression et de qualité. - Proposer des outils d'automatisation ou d'IA pour optimiser les activités de test et garantir la pérennité des tests, le cas échéant. La prestation nécessite les compétences suivantes : - Maîtrise de Microsoft Azure, Databricks et Cloudera pour l'exécution des tests. - Expérience pratique de Jira/Confluence et Squash pour la documentation et le suivi. - Connaissance d'Archimate pour la documentation. - Capacité à travailler de manière autonome et en équipe. - Solides compétences analytiques et de résolution de problèmes. - Excellentes compétences en communication pour documenter et présenter les activités et les résultats des tests.

🌟 Quel sera ton poste ? 🌟 💼 Poste : Ingénieur Infrastructure H/F 📍 Lieu : Paris (75) 🏠 Télétravail : 3 jours sur site par semaine 📝 Contrat : CDI 👉 Contexte client : Tu rejoins un acteur majeur du secteur financier , engagé dans la modernisation, la sécurisation et l’industrialisation de ses plateformes Data à grande échelle. En tant qu’ Ingénieur Infrastructure tu interviens sur le maintien en conditions opérationnelles, l’évolution technologique et la performance d’environnements Data complexes (CDP 7.1.x, Hadoop, stockage distribué, ingestion API…). 🎯 Tu auras pour missions de : Tu auras pour missions de : Recueillir les besoins métiers. Développer l’ingestion (API) et concevoir les stockages (Ozone, Hadoop…). Automatiser les traitements (batchs/pipelines). Nettoyer, transformer et structurer les données. Documenter les bases et garantir la conformité RGPD. Assurer la maintenance corrective/évolutive. Déployer et industrialiser les modèles ML. Assurer validation, monitoring et robustesse. Participer au design, à l’installation et à la qualification des plateformes. Contribuer à l’industrialisation continue. Support aux équipes métiers/applicatives/infra. Communication régulière au chef de projet. Astreintes + interventions HNO. Amplitude équipe : 8h–19h. 🧰 Stack technique : Cloudera CDP 7.1.x : HBase, Hive, Kafka, Solr, Knox, Spark, Ranger, Zookeeper, Kerberos, LDAP Systèmes : RedHat 8, RedHat 9 Langages & DevOps : Python, Bash, Java, Maven, Gradle, Ansible, DevOps Stockage & Data : Ozone, Hadoop, Druid, Clickhouse Traitement & orchestration : Airflow, Flink, Trino, Starburst Containers : Openshift, Kubernetes (K8s), Cloudera Data Services Autres : écosystème Apache, automatisation, migration clusters Hadoop