Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Profil Data Analyst pour un projet logistique, chargé de réaliser les spécifications et analyses de données. Exploitation et transformation des données avec Talend dans un environnement Big Data. Maîtrise des technologies Hadoop, Spark et Cloudera pour le traitement volumineux de données. Création de tableaux de bord et visualisations avancées avec Power BI pour le suivi opérationnel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Au sein de l’équipe Data & IA, l’Ingénieur Infrastructure Data est responsable de l’administration, de l’évolution et du maintien en conditions opérationnelles des plateformes Big Data basées sur l’écosystème Cloudera CDP et des technologies Open Source. Il conçoit et met en œuvre des solutions d’ingestion, de stockage et de traitement de données (Hadoop, Ozone, Hive, Kafka, Spark, etc.), automatise les pipelines de données et veille à la qualité, la sécurité et la conformité des données, notamment au regard du RGPD. Il participe également à l’industrialisation et au déploiement de modèles de data science et de machine learning, tout en assurant le support technique aux équipes applicatives et métiers. Enfin, il contribue aux projets d’évolution des plateformes, à la migration des clusters Hadoop et à l’amélioration continue des infrastructures, en collaboration avec les équipes infrastructures, production et internationales.

Hanson Regan recherche un Data Engineer pour une mission 12 mois renouvelable, basée à Paris Données en anglais : Compétences: -Hadoop Cloudera - Flux de travail / injection - Outils de visualisation - Pipeline Longue liste : Les outils d’ingestion de données : NiFi Les outils de stockage de données : HDFS, CEPH Les outils d’ordonnancement des jobs : Airflow Les outils de gestion des ressources (CPU, RAM) : YARN Les moteurs et frameworks d’exécution : MapReduce, Spark, TEZ Les langages de développement : Python, Scala Les outils de prototypage/exploration : Jupyter, Dataiku Les outils orientés datamart : Hive, PostgreSQL Les outils de proxyfication (Access) : Knox, HAProxy Les outils d’affichage d’indicateurs et tableau de bord : Grafana, Tableau, Superset, S7 Les outils de sécurité : Kerberos, LDAP, IPA gratuite Les outils d’administration et de gouvernance : ClouderaManager, Ranger Les outils de supervision et d’exploitation (DevOps) : Prometheus, Puppet, Heat, Ansible Les dépôts de binaires : Mirroring des dépôts issus du web HTTP pour les applications tiers. Merci de nous contacter au plus vite si vous êtes intéressé ou si vous connaissez une personne correspondant à ce profil

Je recherche pour un de mes clients un Data Analyst sur Aix-en Provence CONTEXTE DE LA MISSION : Le client dans le cadre de son activité analyse de la donnée, recherche un profil analyste DATA afin d'intégrer l'équipe sur le site d'Aix-en-Provence. Le profil aura pour mission de mettre en œuvre des analyses dans le cadre de la lutte contre la fraude. Fort d'une expérience DATA, il devra prendre en compte toutes les données du SI afin d'étudier leur cohérence et leur impact dans les processus métiers sensibles. DESCRIPTION DE LA MISSION Définition des missions et des obligations afférentes (obligation de conseil et/ou obligation de résultat) au Titulaire - Définition de la prestation attendue : - Rattaché à l'équipe Analyse de la donnée, l'intervenant aura pour principales missions : - Prise en compte des données du domaine "Individu Allocataire" et assimilation de leurs impacts dans le SI - Mise en œuvre de cas d'usage métiers orientés lutte contre la fraude par croisement des données (ciblage, analyse de donnée ou prédiction) - Développement et maintenance de produits DATA réutilisables - Respect des normes et bonnes pratiques au sein de l'équipe

Au sein du pôle Big Data d'un grand groupe, l'objectif principal de ce poste est de réaliser et de maintenir les développements nécessaires à l'alimentation du Datalake sur une plateforme Cloudera Hadoop, de mettre en place des extractions de données et d'accompagner les utilisateurs. Rattaché(e) au responsable Big Data, vous évoluerez dans un contexte de production à fortes attentes où la tenue des délais de livraison et le pilotage opérationnel sont primordiaux. Vos principales missions seront les suivantes : Développement et intégration : Prendre en charge les évolutions des données à intégrer et reprendre les développements existants pour l'alimentation du Datalake. Vous développerez également des extractions avec un niveau d'expertise en SQL et créerez des scripts Shell avancés pour l'automatisation. Expertise technique et mentorat : Spécifier techniquement les tâches, fournir des requêtes de référence, effectuer des revues de code et accompagner les collaborateurs juniors, stagiaires ou alternants. Support et accompagnement : Assurer le support de niveau 2, faire appliquer les bonnes pratiques et consignes aux utilisateurs, et rédiger la documentation requise (guides, description de processus). Optimisation et maintenance : Garantir la maintenabilité, les performances et l'exploitabilité de la plateforme en respectant l'utilisation des modèles référencés par la Gouvernance de la Donnée. Vous optimiserez les traitements de la plateforme et ceux des utilisateurs, et mènerez des investigations (reverse engineering) dans une architecture héritée complexe

Data Engineer Big Data / BI – Scala, Spark, SQL, Hive, Cloudera (H/F) 💼 Contrat : CDI 🏢 Entreprise : ADBI – Expert en Data Management et transformation digitaleContexte du poste Dans le cadre de l’évolution de ses plateformes Big Data et décisionnelles, ADBI recherche un(e) Data Engineer pour intervenir sur des projets d’intégration, de transformation et d’industrialisation de données. Vous participerez à la migration et à l’optimisation d’environnements Big Data (Cloudera, Spark, Hive, Scala) et contribuerez à la mise en place de solutions BI performantes et scalables.

Dans le cadre d’un programme de transformation data, nous recherchons un Architecte Big Data pour définir et piloter l’évolution des plateformes de données à grande échelle. Vous analyserez les architectures existantes, identifierez les limites techniques et proposerez des trajectoires cibles adaptées aux enjeux métiers, techniques et opérationnels. Vous guiderez la conception de nouvelles architectures distribuées en intégrant des technologies telles que Hadoop, Spark, Kafka, Iceberg/Delta Lake ou équivalents, ainsi que des principes modernes de lakehouse et de data mesh lorsque pertinent. Vous serez responsable des choix structurants en matière de stockage, de traitement, de gouvernance et de sécurité des données, en veillant à la performance, à la scalabilité et à la résilience des plateformes. Vous travaillerez étroitement avec les équipes Data Engineering, Cloud et DevOps pour garantir une mise en œuvre industrialisée, alignée avec les standards d’entreprise et les contraintes d’exploitation. Vous aurez également un rôle clé dans l’animation d’ateliers techniques, la formalisation de patterns d’architecture et l’accompagnement des équipes dans l’adoption des meilleures pratiques Big Data et data engineering.

Le datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Data Engineer de ce datalake : Gestion de la production Gestion de la dette technique Revoir l'architecture actuelle et proposer des évolutions Développements liés aux projets Description : Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent Activités et tâches : Acheminement de la donnée Mise à disposition de la donnée aux équipes utilisatrices Mise en production de modèles statistiques Suivi de projet de développement Développement job spark Traitement et ingestion de plusieurs formats des données Développement des scripts Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données Développement des moyens de restitution via génération de fichier et ou API & Dashboarding Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP Participer à la conception, mise en place et administration de solutions Big Data Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer Big Data pour concevoir et industrialiser des plateformes de traitement de données à grande échelle. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (modernisation des pipelines, optimisation des traitements distribués, passage vers des architectures plus scalables et temps réel) et guiderez leur mise en œuvre avec Spark, Kafka et les écosystèmes Big Data. Vous serez responsable de la refactorisation et de l’optimisation des pipelines de données, de l’amélioration des performances et de l’intégration de mécanismes de fiabilité et d’observabilité des flux. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour adapter les traitements aux pipelines CI/CD et aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de data engineering et d’industrialisation. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions pérennes.

QODEXIA est une société de services informatiques implantée en France et en afrique du nord. Partenaire performant, innovant, agile pour aider les entreprises dans leur transforamtion digitale. QODEXIA s'est spécialisée dans le digital, SAP et les nouvelles technologies, accompagne au quotidien les plus grands acteurs de l'industrie, de l'énergie, du Luxe, de la Banque et de l'Assurance sur leurs projets. L’IT est notre passion, les valeurs humaines sont notre capital, c'est de quoi notre ADN est composé. Data Analyst (H/F) – Big Data / Lutte contre la fraude Localisation : Aix-en-Provence Démarrage : ASAP Type de mission : Mission longue durée Contexte Dans le cadre d’un projet stratégique autour de la lutte contre la fraude , nous recherchons un Data Analyst capable d’exploiter et d’analyser les données du système d’information afin d’identifier des incohérences, détecter des comportements suspects et proposer des analyses à forte valeur ajoutée pour les équipes métiers. Le consultant interviendra dans un environnement Big Data et contribuera à la mise en place de cas d’usage analytiques et prédictifs.

🎯 Contexte Dans le cadre d’un projet stratégique de transformation data, nous recherchons un Data Engineer orienté développement , capable d’intervenir sur une migration d’envergure d’Azure vers GCP . 🛠️ Missions principales Participation active à la migration des pipelines data d’Azure vers GCP Développement et optimisation de traitements data Conception d’architectures data robustes et scalables Collaboration avec les équipes data et métiers Contribution aux bonnes pratiques data engineering 🔧 Stack technique Google Cloud Platform (GCP) – niveau confirmé requis Apache Spark / Scala Hadoop ecosystem Forte orientation développement (profil Data Engineer "DEV")

est Engineer Nantes QUALIFICATION : Cloudera Hadoop,Squash TM (Test Management),MS Azure Databricks,Jira Confluence, Mission à temps plein dans le secteur financier, d'une durée de 1an minimum. Elle consiste à tester et intégrer des solutions de données dans le cadre d'un projet de migration d'un lac de données sur site vers une plateforme cloud Azure Databricks. Contexte : - Cette mission s'inscrit dans un projet de migration d'un lac de données sur site (ODLG) vers une plateforme cloud Azure Databricks pour le domaine financier. - Ce domaine comprend une trentaine de sources de données et une trentaine de cas d'utilisation à migrer d'ici mi-2028. - La mission est axée sur les tests et l'intégration, les tests fonctionnels étant gérés par l'AMOA. Responsabilités : - Définir les scénarios de test et rédiger la documentation de test. - Exécuter les tests. - Enregistrer et suivre les anomalies. - Fournir des indicateurs de progression et de qualité. - Proposer des outils d'automatisation ou d'IA pour optimiser les activités de test et garantir la pérennité des tests, le cas échéant. La prestation nécessite les compétences suivantes : - Maîtrise de Microsoft Azure, Databricks et Cloudera pour l'exécution des tests. - Expérience pratique de Jira/Confluence et Squash pour la documentation et le suivi. - Connaissance d'Archimate pour la documentation. - Capacité à travailler de manière autonome et en équipe. - Solides compétences analytiques et de résolution de problèmes. - Excellentes compétences en communication pour documenter et présenter les activités et les résultats des tests.

est Engineer Nantes QUALIFICATION : Cloudera Hadoop,Squash TM (Test Management),MS Azure Databricks,Jira Confluence, Mission à temps plein dans le secteur financier, d'une durée de 1an minimum. Elle consiste à tester et intégrer des solutions de données dans le cadre d'un projet de migration d'un lac de données sur site vers une plateforme cloud Azure Databricks. Contexte : - Cette mission s'inscrit dans un projet de migration d'un lac de données sur site (ODLG) vers une plateforme cloud Azure Databricks pour le domaine financier. - Ce domaine comprend une trentaine de sources de données et une trentaine de cas d'utilisation à migrer d'ici mi-2028. - La mission est axée sur les tests et l'intégration, les tests fonctionnels étant gérés par l'AMOA. Responsabilités : - Définir les scénarios de test et rédiger la documentation de test. - Exécuter les tests. - Enregistrer et suivre les anomalies. - Fournir des indicateurs de progression et de qualité. - Proposer des outils d'automatisation ou d'IA pour optimiser les activités de test et garantir la pérennité des tests, le cas échéant. La prestation nécessite les compétences suivantes : - Maîtrise de Microsoft Azure, Databricks et Cloudera pour l'exécution des tests. - Expérience pratique de Jira/Confluence et Squash pour la documentation et le suivi. - Connaissance d'Archimate pour la documentation. - Capacité à travailler de manière autonome et en équipe. - Solides compétences analytiques et de résolution de problèmes. - Excellentes compétences en communication pour documenter et présenter les activités et les résultats des tests.

Le profil interviendra pour définir, concevoir et accomagner la construction de l'architecture cible Data. Ses missions principales seront de : Définir l’architecture cible Data : concevoir l’architecture Data cible n, alignée avec la stratégie globale Data et les principes Data‑Centric et définir les patterns d’intégration et les couches fonctionnelles de la future plateforme (ingestion, traitement, stockage, exposition). Concevoir l’architecture de la nouvelle plateforme Data : concevoir l’architecture technique globale de la plateforme, en intégrant l’écosystème existant (Teradata, Hadoop) et la stratégie d’évolution (cloud ou on‑prem, gouvernance, scalabilité). Proposer la trajectoire d’évolution permettant la transition vers la nouvelle plateforme (stratégie de migration, coexistence, phasage). Modélisation des données et harmonisation : concevoir les modèles de données harmonisés (modèle cible, datamarts, vues métiers, glossary). Définir les principes de modélisation à appliquer selon les usages : analytique, opérationnel, data products. Data Products & accompagnement métiers : accompagner les équipes métiers dans la conception et la structuration des data products. Garantir la cohérence des data products avec les modèles de données, les standards d’intégration et l’architecture cible. Définition et formalisation des standards Data : définir les standards d’intégration, de transformation, de stockage et d’exposition des données. Proposer et formaliser les bonnes pratiques autour des outils de l’écosystème (outils d’ingestion, qualité, orchestrateurs, catalogage, gouvernance).

Dans le cadre du renforcement d’une équipe Data au sein d’un grand groupe du secteur financier, nous recherchons un Développeur Data confirmé basé à Nantes . Vous interviendrez sur des projets stratégiques liés à l’ingestion, la transformation et la valorisation des données dans un environnement Big Data. Vos missions : Développer des user stories liées à l’ingestion et transformation de données (ETL / SQL) Réaliser les tests unitaires et participer à la recette fonctionnelle Déployer les développements sur différents environnements Rédiger la documentation technique Participer à l’analyse et au chiffrage des besoins Assurer le suivi des traitements en production (run) Contribuer aux cérémonies Agile Scrum

Avant toute chose, avez vous bien noté qu'il s'agissait d'un poste à pourvoir en CDI ? Je suis désolée. Pas d'ouverture possible pour une mission. Dans le cadre du développement de ses activités Data, notre client recherche un Manager Plateformes et Outils Data. L’équipe est en charge des Plateformes et Outils DATA permettant l’exploitation de la donnée par les métiers, la BI et la Data Science, dans un environnement combinant solutions Cloud hybrid (souverain), et outils data spécialisés sont au cœur de la stratégie DATA. Nous recherchons un profil permettant le management et le pilotage des équipes et le Maintien en condition opérationnel des plateformes data. L’objectif du poste est de sécuriser le fonctionnement de l’équipe et de fluidifier les opérations, afin de permettre au Responsable du pôle de se concentrer sur les enjeux stratégiques et la transformation data. Vos missions Piloter l’activité de l’équipe Suivre les projets liés aux plateformes et outils data Coordonner les équipes, vis à vis des projets, de l'IT et les métiers Challenger et accompagner les équipes sur les sujets techniques Contribuer à l’amélioration continue des plateformes et des pratiques avoir une posture orienté capital humain respecter les engagements projets Environnement technologique Informatica- MDM Kafka Hadoop Business Objects Tableau Dataiku SAS environnements Onpremise et cloud Profil recherché Expérience confirmée dans les environnements Data / BI / plateformes data Passé technique fortement souhaité (data engineer, BI engineer, architecte data…) Bonne compréhension des architectures data, SaaS et cloud Capacité à dialoguer avec des profils techniques et métiers Leadership transversal et sens de l’organisation Ce poste s’adresse à un profil souhaitant évoluer vers un rôle de pilotage et de coordination au cœur de la transformation data. Poste en CDI.