Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

est Engineer Nantes QUALIFICATION : Cloudera Hadoop,Squash TM (Test Management),MS Azure Databricks,Jira Confluence, Mission à temps plein dans le secteur financier, d'une durée de 1an minimum. Elle consiste à tester et intégrer des solutions de données dans le cadre d'un projet de migration d'un lac de données sur site vers une plateforme cloud Azure Databricks. Contexte : - Cette mission s'inscrit dans un projet de migration d'un lac de données sur site (ODLG) vers une plateforme cloud Azure Databricks pour le domaine financier. - Ce domaine comprend une trentaine de sources de données et une trentaine de cas d'utilisation à migrer d'ici mi-2028. - La mission est axée sur les tests et l'intégration, les tests fonctionnels étant gérés par l'AMOA. Responsabilités : - Définir les scénarios de test et rédiger la documentation de test. - Exécuter les tests. - Enregistrer et suivre les anomalies. - Fournir des indicateurs de progression et de qualité. - Proposer des outils d'automatisation ou d'IA pour optimiser les activités de test et garantir la pérennité des tests, le cas échéant. La prestation nécessite les compétences suivantes : - Maîtrise de Microsoft Azure, Databricks et Cloudera pour l'exécution des tests. - Expérience pratique de Jira/Confluence et Squash pour la documentation et le suivi. - Connaissance d'Archimate pour la documentation. - Capacité à travailler de manière autonome et en équipe. - Solides compétences analytiques et de résolution de problèmes. - Excellentes compétences en communication pour documenter et présenter les activités et les résultats des tests.

Objectifs de la mission Le bénéficiaire souhaite une prestation d’accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters, Prestations demandées Les missions sont: Les consultants retenus auront pour mission : • Administration et optimisation de clusters HDP/CDP • Installation, configuration et maintenance des clusters. • Gestion des mises à jour et des patchs de sécurité. • Surveillance des performances et optimisation des ressources. • gestion/administration de clusters Kubernetes • Automatisation des déploiements avec Operators…, etc. • Sécurisation et monitoring des environnements conteneurisés. • Orchestration des workflows avec Apache Airflow : • Développement et optimisation des DAGs pour la gestion des pipelines de données. • Gestion des dépendances et optimisation des temps d’exécution. • Intégration avec les autres outils de l’écosystème. • Traitement et analyse des données avec Apache Spark : • Développement et optimisation des jobs Spark (batch et streaming). • Gestion des performances et tuning des jobs. • Intégration avec les systèmes de stockage distribués. • Optimisation des requêtes et accès aux données avec Starburst : • Configuration et administration de Starburst. • Optimisation des requêtes SQL distribuées. • Sécurisation et gestion des accès aux différentes sources de données. Français/Anglais

Nous recherchons un Data Engineer pour intervenir sur la fabrication de cas d’usages Data et le développement des produits associés. L’environnement est transverse, multi-sites, avec des enjeux forts de cohérence, de qualité et d’industrialisation des solutions Data à l’échelle de l’entreprise, en lien avec les équipes métiers et techniques. 📍 Localisation Si vous etes localisé à Nantes, vous serez rattaché(e) au site de Nantes avec 2 jours de déplacement par mois requis sur le site de Vannes. Si vous etes localisé(e) à Vannes vous serez rattaché (e) au site de Vannes Mission longue Vos missions : Vous interviendrez sur l’ensemble du cycle de vie des produits Data : Participation à la définition de l’architecture Data , en lien avec les architectes et les équipes projet Conception, développement et optimisation des solutions de collecte et de stockage de données (multi-sources) Mise à disposition des données pour les usages métiers Mise en œuvre de tests unitaires et automatisés Déploiement des solutions sur les différents environnements Suivi du bon fonctionnement en production : support, assistance, gestion des incidents Contribution à l’ amélioration continue des pratiques (qualité du code, performance, fiabilité)

Contexte Dans le cadre du développement et de la maintenance d’une plateforme Big Data stratégique , notre client grand compte renforce ses équipes techniques et recherche un(e) Administrateur Hadoop / Data Engineer confirmé(e) . Vous interviendrez au sein d’une équipe experte, sur une infrastructure Big Data critique, afin d’assurer sa disponibilité, son évolution et sa performance , dans un environnement à forts enjeux métiers et techniques. Missions En tant qu’ Expert Hadoop / Data Engineering , vos missions principales seront : Administrer, maintenir et optimiser les clusters Hadoop (Cloudera) Garantir la disponibilité, la performance et la sécurité de la plateforme Big Data Participer aux task forces techniques pour résoudre des incidents complexes Réaliser les montées de versions majeures des composants Hadoop Automatiser les déploiements, patching et configurations via Ansible et Terraform Gérer les incidents, changements et tickets d’infrastructure Contribuer aux évolutions du socle technique et au déploiement de nouvelles fonctionnalités Rédiger et maintenir la documentation technique Travailler en lien étroit avec les équipes internes et l’éditeur Cloudera Participer au suivi du planning global de production

Nous recherchons pour l'un de nos clients, un Data Analyst Confirmé afin d'accompagner la mise en oeuvre de cas d'usage métiers à forte valeur ajoutée, dans un environnement Big Data. A ce titre, vos missions principales seront les suivantes : -Identifier, concevoir et implémenter des cas d'usage métiers basés sur le croisement et l'analyse de données (ciblage, analyses exploratoires, datascience). -Développer et maintenir des produits DATA réutilisables (pipelines, scripts, datasets). -Exploiter les données via des traitements distribués sous environnement Hadoop. -Concevoir et publier des reportings et dashboards Power BI (datasets, dataflows, rapports). -Produire des présentations synthétiques (PPT) des résultats d'analyses. -Garantir le respect des standards, bonnes pratiques et normes DATA. -Accompagner les équipes métiers dans l'exploitation et l'acculturation à la donnée. Livrables attendus : -Programmes DATA industrialisés sous plateforme Big Data -Jeux de données et dataflows Power BI -Tableaux de bord et rapports de datavisualisation -Supports de restitution et présentations des études réalisées Environnement technique : -Plateforme : Hadoop (Cloudera) -Langages : Python, PySpark, SQL -Outils de restitution : Power BI

Le profil interviendra pour définir, concevoir et accomagner la construction de l'architecture cible Data. Ses missions principales seront de : Définir l’architecture cible Data : concevoir l’architecture Data cible n, alignée avec la stratégie globale Data et les principes Data‑Centric et définir les patterns d’intégration et les couches fonctionnelles de la future plateforme (ingestion, traitement, stockage, exposition). Concevoir l’architecture de la nouvelle plateforme Data : concevoir l’architecture technique globale de la plateforme, en intégrant l’écosystème existant (Teradata, Hadoop) et la stratégie d’évolution (cloud ou on‑prem, gouvernance, scalabilité). Proposer la trajectoire d’évolution permettant la transition vers la nouvelle plateforme (stratégie de migration, coexistence, phasage). Modélisation des données et harmonisation : concevoir les modèles de données harmonisés (modèle cible, datamarts, vues métiers, glossary). Définir les principes de modélisation à appliquer selon les usages : analytique, opérationnel, data products. Data Products & accompagnement métiers : accompagner les équipes métiers dans la conception et la structuration des data products. Garantir la cohérence des data products avec les modèles de données, les standards d’intégration et l’architecture cible. Définition et formalisation des standards Data : définir les standards d’intégration, de transformation, de stockage et d’exposition des données. Proposer et formaliser les bonnes pratiques autour des outils de l’écosystème (outils d’ingestion, qualité, orchestrateurs, catalogage, gouvernance).

"Contexte du besoin Dans le cadre de ses missions de définition des politiques de gestion des données et du suivi de leur mise en œuvre, l'activité Gouvernance de la Donnée souhaite renforcer son équipe d'un profil confirmé en la matière. Un accompagnement assorti d'un regard éclairé dans l'exécution des différents pans des missions est demandé MISSIONS · définition des politiques de gestion des données (rôles et responsabilités; · mise en place/alimentation d'un Glossaire métier et d'un Dictionnaire des données; · modalités de suivi de la qualité des données; · modalités permettant d'assurer la sécurité et la conformité réglementaire de l'accès aux données; · articulation avec les capacités de la plate-forme Data choisie par l'entreprise); · mise en oeuvre et suivi de ces politiques, en lien avec les contributeurs nécessaires; acculturation des différentes populations de l'entreprise aux exigences et apports en lien avec la gouvernance des données; · etc.... • Participation le cas échéant au choix des outils de gouvernance des données (rencontres fournisseurs initiées; échanges en cours) • Catalogage / connaissance des données : Définir les standards et bonnes pratiques et en vérifier la bonne application en mobilisant les acteurs requis (SI, métier), assurer l’acculturation nécessaire; • Cartographie des Données : Approfondir la cartographie des données qui aura été initiée (avec les acteurs métier, SI, urbanistes) et être capable de la présenter, la faire adopter et de l’utiliser à des fins de gouvernance des données… • Conformité règlementaire : Garantir que toutes les données respectent les normes internes et externes, en particulier en matière de RGPD et de conformité légale. • Gestion des rôles et animation de la communauté Data : Identifier les relais de la gouvernance dans un contexte de responsabilités fédérées. Mobiliser les acteurs (animation de séminaires, communication…). • Gestion des habilitations : Définir la granularité des habilitations des rôles et utilisateurs identifiés. • Accompagnement de la montée en compétence des autres membres de l'équipe sur des sujets structurants devant être maîtrisés pour mener à bien les missions de l'activité" Livrables attendus "Chapitres thématiques de la politique de Gouvernance des données (rôles et responsabilités; gestion Glossaire/Dictionnaire ; gestion du Data Lineage; sécurité et droits d'accès, dont conformité juridique; Suivi de la qualité des données; process permettant l'évolution de la plate-forme Data" Environnement technique - technologique • couche stockage : TERADATA; HADOOP Cloudera; Postgre • Transformation : DataStage / Spark • BI : Power BI; SAS"

Les missions sont : Les consultants retenus auront pour mission : • Administration et optimisation de clusters HDP/CDP • Installation, configuration et maintenance des clusters. • Gestion des mises à jour et des patchs de sécurité. • Surveillance des performances et optimisation des ressources. • gestion/administration de clusters Kubernetes • Automatisation des déploiements avec Operators…, etc. • Sécurisation et monitoring des environnements conteneurisés. • Orchestration des workflows avec Apache Airflow : • Développement et optimisation des DAGs pour la gestion des pipelines de données. • Gestion des dépendances et optimisation des temps d’exécution. • Intégration avec les autres outils de l’écosystème. • Traitement et analyse des données avec Apache Spark : • Développement et optimisation des jobs Spark (batch et streaming). • Gestion des performances et tuning des jobs. • Intégration avec les systèmes de stockage distribués. • Optimisation des requêtes et accès aux données avec Starburst : • Configuration et administration de Starburst. • Optimisation des requêtes SQL distribuées. • Sécurisation et gestion des accès aux différentes sources de données. Français/Anglais

Description du poste : Dans le cadre de l'activité Big Data de notre client, nous recherchons un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour nous accompagner dans nos actions sur notre plateforme Cloudera Hadoop. L'objectif de la prestation est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs.

Dans le cadre d’un accroissement d’activité et afin de renforcer l’équipe Data d’un grand acteur bancaire, notre client recherche un Data Engineer GCP expérimenté. La mission s’inscrit dans un environnement Big Data / Cloud GCP en pleine transformation, avec des enjeux forts autour de l’industrialisation des pipelines, de la qualité de données et de la mise à disposition de datasets fiables pour les équipes métiers et analytiques. La mission est basée en Île-de-France (IDF) avec 2 jours de TT par semaine. Votre rôle consiste à: Mettre en place les chaînes d’ingestion, validation, croisement et enrichissement des données. Alimenter et exploiter le Data Lake GCP (GCS) et produire des agrégats (J/H/M). Développer des pipelines batch & streaming (Spark, Kafka, Scala). Industrialiser les traitements via Airflow / Composer et CI/CD. Mettre à disposition les données (API, fichiers, dashboards). Participer à la mise en production de modèles statistiques. Documenter, corriger les anomalies, assister les équipes d’exploitation. Travailler en mode Agile (Scrum/Kanban) .

Almatek recherche pour un de ses clients, Un Expert Dynatrace sur Nanterre Profil recherché : Expert Dynatrace Activités : Profil Sénior en capacité de transférer la connaissance, de délivrer rapidement Supervision, Monitoring de kub, openshift, big data , TDP (trunk data platform) qui vise a remplacer distribution Haddop rachetée par Hortonworks Expertise dans la configuration et l'utilisation de l'outil Dynatrace. Localisation : Nanterre Démarrage : 06 avril Durée : 6 mois R Almatek recherche pour un de ses clients, Un Expert Dynatrace sur Nanterre Profil recherché : Expert Dynatrace Activités : Profil Sénior en capacité de transférer la connaissance, de délivrer rapidement Supervision, Monitoring de kub, openshift, big data , TDP (trunk data platform) qui vise a remplacer distribution Haddop rachetée par Hortonworks Expertise dans la configuration et l'utilisation de l'outil Dynatrace. Localisation : Nanterre Démarrage : 06 avril Durée : 6 mois R

Pour le besoin de mon client , je suis à la recherche d'un TechLead Data Engineer avec compétence sur la stack technique Spark/PySpark, Kafka, Hadoop, Python Langues : français, l'anglais est un plus Date de démarrage : ASAP .... . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... .

Contexte de la mission Suite à un audit interne, la mission vise à : Structurer une roadmap sécurité Data Renforcer la protection des données Améliorer le maintien en condition opérationnelle (PRA / PRI) Sécuriser la migration vers le Cloud (GCP) Aligner les pratiques avec les exigences RSSI / PSSI / RGPD Environnement hybride : On Prem + GCP. Objectifs de la mission Structurer et piloter la sécurisation du patrimoine Data Mettre en œuvre les exigences PCI / PRI Data Revoir et fiabiliser les habilitations On Prem & Cloud Renforcer la gouvernance des données sensibles Sécuriser les outils Data / BI / Data Science Contribuer aux exigences RSSI (vulnérabilités, audits, recommandations) Compétences techniques clés Architecture sécurité Cloud (GCP) BigQuery security & Data masking IAM avancé PRA / PRI Data Governance Sécurité applicative Data Environnements Hadoop / Oracle Soft skills Leadership transverse Capacité à dialoguer avec RSSI & CoDir Structuration roadmap Vision stratégique et opérationnelle Responsabilités principales Sécurisation des accès Revue des habilitations On Prem et Cloud Mise en œuvre du principe de moindre privilège Gestion des comptes applicatifs et nominatifs Automatisation des habilitations Cloud Amélioration du processus de revue des droits PRA / PRI Data Structuration PCI / PRI Data Cartographie applicative & technique Identification des criticités Organisation sauvegardes et tests de restauration Priorisation PCI Cloud Gouvernance & protection des données Revue criticité données (RH, Finance, SP, IARD) Anonymisation / pseudonymisation / masking Harmonisation vers masking dynamique BigQuery Auditabilité & conformité RGPD Sécurisation des outils Cartographie des principes SSO Sécurisation outils BI & Data Science Implémentation OAuth2 / SSO Ségrégation projets GCP Coordination sécurité Interface RSSI / DDSI / Data Office Intégration périmètre Data dans outils internes Suivi vulnérabilités Animation comités sécurité Data Environnements techniques Cloud : GCP, BigQuery, DBT, Data Fabrik Cloud On Prem : Hadoop, Hive, Oracle, SAS, Informatica / PowerCenter, NAS Outils Data / BI / Data Science : Dataiku, BO, Tableau, RStudio, Jupyter, IDE Python Référentiels & sécurité : LeanIX, IAM, OAuth2 / SSO

Bonjour, Nous cherchons pour notre client un Data Engineer Experimenté/Senior . Site : Ile de France Proche paris ; 2/3 jours/semaine obligatoire sur site Date de démarrage : ASAP Date de fin : 31/12/2028 Le Contexte : Rejoignez une équipe de 14 passionnés pour relever un double défi technologique ! Nous recherchons un Data Engineer Senior pour piloter l'évolution d'un écosystème Big Data On-Premise (DataStore) tout en ouvrant la voie vers le Cloud. Vous serez au cœur d’une transformation stratégique : assurer l'excellence opérationnelle actuelle tout en préparant la migration progressive vers GCP . Vos Missions : Piloter l’excellence technique : Superviser les flux, garantir la qualité des données et optimiser les performances du DataStore. Innover et Maintenir : Faire évoluer les pipelines critiques (Spark, Kafka, NiFi). Expertise de pointe : Résoudre les incidents de niveau 3 avec une approche analytique (JIRA/ITZMI). Accélérer la migration : Être un acteur clé des chantiers transverses vers le Cloud.

Avant toute chose, avez vous bien noté qu'il s'agissait d'un poste à pourvoir en CDI ? Je suis désolée. Pas d'ouverture possible pour une mission. Dans le cadre du développement de ses activités Data, notre client recherche un Manager Plateformes et Outils Data. L’équipe est en charge des Plateformes et Outils DATA permettant l’exploitation de la donnée par les métiers, la BI et la Data Science, dans un environnement combinant solutions Cloud hybrid (souverain), et outils data spécialisés sont au cœur de la stratégie DATA. Nous recherchons un profil permettant le management et le pilotage des équipes et le Maintien en condition opérationnel des plateformes data. L’objectif du poste est de sécuriser le fonctionnement de l’équipe et de fluidifier les opérations, afin de permettre au Responsable du pôle de se concentrer sur les enjeux stratégiques et la transformation data. Vos missions Piloter l’activité de l’équipe Suivre les projets liés aux plateformes et outils data Coordonner les équipes, vis à vis des projets, de l'IT et les métiers Challenger et accompagner les équipes sur les sujets techniques Contribuer à l’amélioration continue des plateformes et des pratiques avoir une posture orienté capital humain respecter les engagements projets Environnement technologique Informatica- MDM Kafka Hadoop Business Objects Tableau Dataiku SAS environnements Onpremise et cloud Profil recherché Expérience confirmée dans les environnements Data / BI / plateformes data Passé technique fortement souhaité (data engineer, BI engineer, architecte data…) Bonne compréhension des architectures data, SaaS et cloud Capacité à dialoguer avec des profils techniques et métiers Leadership transversal et sens de l’organisation Ce poste s’adresse à un profil souhaitant évoluer vers un rôle de pilotage et de coordination au cœur de la transformation data. Poste en CDI.

Suite à un audit interne (septembre 2024), le Data Office doit : • Structurer une roadmap sécurité Data • Renforcer la protection des données • Améliorer le maintien en condition opérationnelle (PRA/PRI) • Sécuriser la trajectoire de migration Cloud (GCP) • Aligner les pratiques avec les exigences RSSI / PSSI / RGPD Environnement hybride : On Prem + GCP. Objectifs de la mission 1. Structurer et piloter la sécurisation du patrimoine Data 2. Mettre en œuvre les exigences PCI / PRI Data 3. Revoir et fiabiliser les habilitations On Prem & Cloud 4. Renforcer la gouvernance des données sensibles 5. Sécuriser les outils Data / BI / Data Science 6. Contribuer aux exigences RSSI (vulnérabilités, audits, recommandations) Expérience • 8 à 15+ ans en sécurité SI / sécurité Data • Expérience environnement Cloud GCP impérative • Expérience PRA/PCA Data • Expérience gouvernance Data / RGPD • Capacité de pilotage transverse Compétences clés • Architecture sécurité Cloud (GCP) • BigQuery security & Data masking • IAM avancé • PRA / PRI • Data Governance • Sécurité applicative Data • Environnements Hadoop / Oracle Soft skills • Leadership transverse • Capacité à dialoguer avec RSSI & CoDir • Structuration roadmap • Vision stratégique + opérationnelle