Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop à Paris

Hanson Regan recherche un Data Engineer pour une mission 12 mois renouvelable, basée à Paris Données en anglais : Compétences: -Hadoop Cloudera - Flux de travail / injection - Outils de visualisation - Pipeline Longue liste : Les outils d’ingestion de données : NiFi Les outils de stockage de données : HDFS, CEPH Les outils d’ordonnancement des jobs : Airflow Les outils de gestion des ressources (CPU, RAM) : YARN Les moteurs et frameworks d’exécution : MapReduce, Spark, TEZ Les langages de développement : Python, Scala Les outils de prototypage/exploration : Jupyter, Dataiku Les outils orientés datamart : Hive, PostgreSQL Les outils de proxyfication (Access) : Knox, HAProxy Les outils d’affichage d’indicateurs et tableau de bord : Grafana, Tableau, Superset, S7 Les outils de sécurité : Kerberos, LDAP, IPA gratuite Les outils d’administration et de gouvernance : ClouderaManager, Ranger Les outils de supervision et d’exploitation (DevOps) : Prometheus, Puppet, Heat, Ansible Les dépôts de binaires : Mirroring des dépôts issus du web HTTP pour les applications tiers. Merci de nous contacter au plus vite si vous êtes intéressé ou si vous connaissez une personne correspondant à ce profil

Dans le cadre d’un programme de transformation data, nous recherchons un QA Big Data pour garantir la qualité, la fiabilité et la performance des pipelines et produits data. Vous analyserez les architectures et flux existants, identifierez les risques qualité et proposerez des stratégies de test adaptées aux environnements Big Data et analytiques. Vous concevrez et mettrez en œuvre des tests automatisés sur les traitements batch et streaming (qualité des données, complétude, fraîcheur, cohérence, non-régression), en utilisant des frameworks et outils adaptés (Great Expectations, dbt tests, Python, SQL ou équivalent). Vous serez responsable de la définition des critères d’acceptance data, de la mise en place de contrôles qualité et de la surveillance des anomalies en production. Vous travaillerez étroitement avec les équipes Data Engineering, Data Science et DevOps pour intégrer la qualité dans les pipelines CI/CD et les processus de delivery. Vous participerez également à l’analyse des incidents data, à l’amélioration continue des pratiques de test et à la documentation des standards qualité au sein de la plateforme.

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer Big Data pour concevoir et industrialiser des plateformes de traitement de données à grande échelle. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (modernisation des pipelines, optimisation des traitements distribués, passage vers des architectures plus scalables et temps réel) et guiderez leur mise en œuvre avec Spark, Kafka et les écosystèmes Big Data. Vous serez responsable de la refactorisation et de l’optimisation des pipelines de données, de l’amélioration des performances et de l’intégration de mécanismes de fiabilité et d’observabilité des flux. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour adapter les traitements aux pipelines CI/CD et aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de data engineering et d’industrialisation. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions pérennes.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Dans le cadre d’un programme de transformation data, nous recherchons un Architecte Big Data pour définir et piloter l’évolution des plateformes de données à grande échelle. Vous analyserez les architectures existantes, identifierez les limites techniques et proposerez des trajectoires cibles adaptées aux enjeux métiers, techniques et opérationnels. Vous guiderez la conception de nouvelles architectures distribuées en intégrant des technologies telles que Hadoop, Spark, Kafka, Iceberg/Delta Lake ou équivalents, ainsi que des principes modernes de lakehouse et de data mesh lorsque pertinent. Vous serez responsable des choix structurants en matière de stockage, de traitement, de gouvernance et de sécurité des données, en veillant à la performance, à la scalabilité et à la résilience des plateformes. Vous travaillerez étroitement avec les équipes Data Engineering, Cloud et DevOps pour garantir une mise en œuvre industrialisée, alignée avec les standards d’entreprise et les contraintes d’exploitation. Vous aurez également un rôle clé dans l’animation d’ateliers techniques, la formalisation de patterns d’architecture et l’accompagnement des équipes dans l’adoption des meilleures pratiques Big Data et data engineering.

Le datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Data Engineer de ce datalake : Gestion de la production Gestion de la dette technique Revoir l'architecture actuelle et proposer des évolutions Développements liés aux projets Description : Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent Activités et tâches : Acheminement de la donnée Mise à disposition de la donnée aux équipes utilisatrices Mise en production de modèles statistiques Suivi de projet de développement Développement job spark Traitement et ingestion de plusieurs formats des données Développement des scripts Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données Développement des moyens de restitution via génération de fichier et ou API & Dashboarding Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP Participer à la conception, mise en place et administration de solutions Big Data Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

🌟 Quel sera ton poste ? 🌟 💼 Poste : Ingénieur Infrastructure H/F 📍 Lieu : Paris (75) 🏠 Télétravail : 3 jours sur site par semaine 📝 Contrat : CDI 👉 Contexte client : Tu rejoins un acteur majeur du secteur financier , engagé dans la modernisation, la sécurisation et l’industrialisation de ses plateformes Data à grande échelle. En tant qu’ Ingénieur Infrastructure tu interviens sur le maintien en conditions opérationnelles, l’évolution technologique et la performance d’environnements Data complexes (CDP 7.1.x, Hadoop, stockage distribué, ingestion API…). 🎯 Tu auras pour missions de : Tu auras pour missions de : Recueillir les besoins métiers. Développer l’ingestion (API) et concevoir les stockages (Ozone, Hadoop…). Automatiser les traitements (batchs/pipelines). Nettoyer, transformer et structurer les données. Documenter les bases et garantir la conformité RGPD. Assurer la maintenance corrective/évolutive. Déployer et industrialiser les modèles ML. Assurer validation, monitoring et robustesse. Participer au design, à l’installation et à la qualification des plateformes. Contribuer à l’industrialisation continue. Support aux équipes métiers/applicatives/infra. Communication régulière au chef de projet. Astreintes + interventions HNO. Amplitude équipe : 8h–19h. 🧰 Stack technique : Cloudera CDP 7.1.x : HBase, Hive, Kafka, Solr, Knox, Spark, Ranger, Zookeeper, Kerberos, LDAP Systèmes : RedHat 8, RedHat 9 Langages & DevOps : Python, Bash, Java, Maven, Gradle, Ansible, DevOps Stockage & Data : Ozone, Hadoop, Druid, Clickhouse Traitement & orchestration : Airflow, Flink, Trino, Starburst Containers : Openshift, Kubernetes (K8s), Cloudera Data Services Autres : écosystème Apache, automatisation, migration clusters Hadoop

"Contexte du besoin Dans le cadre de ses missions de définition des politiques de gestion des données et du suivi de leur mise en œuvre, l'activité Gouvernance de la Donnée souhaite renforcer son équipe d'un profil confirmé en la matière. Un accompagnement assorti d'un regard éclairé dans l'exécution des différents pans des missions est demandé MISSIONS · définition des politiques de gestion des données (rôles et responsabilités; · mise en place/alimentation d'un Glossaire métier et d'un Dictionnaire des données; · modalités de suivi de la qualité des données; · modalités permettant d'assurer la sécurité et la conformité réglementaire de l'accès aux données; · articulation avec les capacités de la plate-forme Data choisie par l'entreprise); · mise en oeuvre et suivi de ces politiques, en lien avec les contributeurs nécessaires; acculturation des différentes populations de l'entreprise aux exigences et apports en lien avec la gouvernance des données; · etc.... • Participation le cas échéant au choix des outils de gouvernance des données (rencontres fournisseurs initiées; échanges en cours) • Catalogage / connaissance des données : Définir les standards et bonnes pratiques et en vérifier la bonne application en mobilisant les acteurs requis (SI, métier), assurer l’acculturation nécessaire; • Cartographie des Données : Approfondir la cartographie des données qui aura été initiée (avec les acteurs métier, SI, urbanistes) et être capable de la présenter, la faire adopter et de l’utiliser à des fins de gouvernance des données… • Conformité règlementaire : Garantir que toutes les données respectent les normes internes et externes, en particulier en matière de RGPD et de conformité légale. • Gestion des rôles et animation de la communauté Data : Identifier les relais de la gouvernance dans un contexte de responsabilités fédérées. Mobiliser les acteurs (animation de séminaires, communication…). • Gestion des habilitations : Définir la granularité des habilitations des rôles et utilisateurs identifiés. • Accompagnement de la montée en compétence des autres membres de l'équipe sur des sujets structurants devant être maîtrisés pour mener à bien les missions de l'activité" Livrables attendus "Chapitres thématiques de la politique de Gouvernance des données (rôles et responsabilités; gestion Glossaire/Dictionnaire ; gestion du Data Lineage; sécurité et droits d'accès, dont conformité juridique; Suivi de la qualité des données; process permettant l'évolution de la plate-forme Data" Environnement technique - technologique • couche stockage : TERADATA; HADOOP Cloudera; Postgre • Transformation : DataStage / Spark • BI : Power BI; SAS"