Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Contexte de la mission : Le client, dans le cadre du développement et de la maintenance de sa plateforme Big Data, recherche un Développeur Big Data expérimenté (H/F) avec au moins 5 ans d’expérience en environnement Data. La mission se déroule au sein de l’équipe Big Data, chargée de l’alimentation, de l’évolution et de l’optimisation du Data Lake sous Cloudera Hadoop. L’objectif principal est de concevoir, faire évoluer et maintenir les traitements d’alimentation pour assurer la qualité, la performance et la maintenabilité des solutions. Le consultant intervient dans un contexte de production exigeant, avec de forts enjeux de fiabilité et de respect des délais. Missions principales : Développement & évolution du Data Lake : Gérer les évolutions des flux et des données à intégrer Faire évoluer les développements existants d’alimentation Maintenir les traitements d’ingestion et de transformation Concevoir des extractions de données pour répondre aux besoins métiers Stack technique : Cloudera Hadoop, Hive, Impala, Spark, Python, SQL, Shell, Linux, VBA, Jupyter Expertise technique & structuration : Rédaction des spécifications techniques Fourniture de requêtes SQL de référence Revue de code Structuration et pilotage via JIRA Documentation des processus et accompagnement des utilisateurs Encadrement de profils juniors (alternants, stagiaires) Performance & optimisation : Optimiser les traitements et requêtes Améliorer la performance et l’exploitabilité Contribuer à la maintenabilité globale Réaliser du reverse engineering dans une architecture héritée complexe Support & accompagnement : Assurer le support de niveau 2 Faire respecter les bonnes pratiques Communiquer clairement avec différents interlocuteurs (développeurs, utilisateurs, clients) Gouvernance & conformité : Veiller au respect des modèles de données Collaborer avec la Direction Technique et la Gouvernance de la Donnée pour faire évoluer les standards

Cette mission d’envergure au sein du pilier RPBI de mon client bancaire dans le Val de Marne vise à transformer l'architecture data du groupe. En tant qu’ Architecte Solutions / Tech Lead , vous piloterez la migration stratégique de l'écosystème Hadoop vers Snowflake/Snowpark . Le rôle combine vision architecturale et leadership technique au sein d’un environnement Agile. Vos responsabilités incluent la définition des standards de développement, l'optimisation des pipelines de données via Snowpark/Scala et l'encadrement des Feature Teams. Dans un contexte Cloud Azure , vous garantirez la robustesse des solutions en appliquant les principes de Clean Code et de CI/CD. Points clés : Expertise : Snowflake, Snowpark, Scala et migration Hadoop (Cloudera). Profil : +7 ans d'expérience, capacité de vulgarisation et leadership. Durée : Longue visibilité (jusqu’en sept. 2028). Rythme : Hybride (2 jours sur site). C'est une opportunité rare de structurer la gouvernance data d'une grande banque internationale.

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation d’un projet innovant, nous avons LE poste pour vous ! Nous recherchons en effet un(e) Développeur Big Data Expérimenté (H/F) 🚀 ☘️ Votre mission est pour un client connu du secteur de la retraite et prévoyance. L’objectif de la mission est dans le cadre de la réalisation et la maintenance de développements nécessaires à l'alimentation d’une plateforme, ainsi que la mise en place d'extractions de données et l'accompagnement des utilisateurs finaux. Description du poste 👉 Vous aurez les missions suivantes : 👈 🔸 Développement et maintenance : Assurer l'alimentation du Datalake et faire évoluer les flux en fonction des besoins métiers. 🔸 Conception et architecture : Mettre en place des extractions de données et contribuer à garantir la tenue de la plateforme en environnement opérationnel. 🔸 Support et expertise : Assurer le support de niveau 2, apporter une expertise technique sur l'écosystème Hadoop et réaliser des revues de code. 🔸 Coordination : Collaborer avec la Direction Technique Informatique et la Gouvernance de la Donnée pour le respect et l'évolution des modèles référencés. 🔸 Documentation : Rédiger la documentation technique (spécifications, dossiers d'exploitation, manuels d'installation) et les bilans de tests.

Nous recherchons pour le compte de notre client dans l'énergie, un data Engineer Objectifs : Participer au développement des assets de la nouvelle plateforme de données. Participer au cadrage et au lancement des projets d'ingénierie et d’intelligence artificielle. Prise en main des sujets pilotes et d’assurer le Run La conception, la modélisation et l’optimisation des requêtes Redshift est un point clé dans cette mission Missions : Vous participer à la construction de la data plateform dans sa deuxième phase permettant de consolider le socle et mettre à disposition les moyens technique pour exploiter la donnée Vous participez à l’étude opérationnelle de cadrage et d’architecture en anticipant les différentes contraintes avec les référents de l’équipe. Vous serez amené à réaliser des POC et de spiker le backlog. Vous complétez l’équipe avec vos compétences en ingénierie de données et en développement (scripting python, d’expertise sur les API, les tests, les bonnes pratiques, etc.) Vous consacrer votre temps à travailler avec un squad Data Métier, de proposer des solutions technique pour les clients associé, d’assurer le Run et de développer la plateforme associée, et, ce, toute en respectant les consignes d’architecture Participer à la mise en place des projets d’AI engineering - Savoir maîtriser les coûts des services est un Must pour ce poste et être force de proposition

Contexte Le client dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour l’accompagner dans nos actions sur la plateforme Cloudera Hadoop. L'objectif de la mission est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs MISSIONS Rattaché au responsable Big Data, le profil aura pour principales missions : - de prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake , de les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter) - d'avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date) - de mettre en place des extractions à partir de ces données, - d’assurer le support niveau 2, - de faire appliquer les consignes aux utilisateurs, - de garantir la tenue des délais de livraison dans un contexte de production à fortes attentes - de contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité Il veillera au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gourvernance de la Donnée. Le profil devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s'intégrer et à partager son savoir faire, à documenter ses actions et à accompagner. Dans le même ordre d'idée, quelques attendus : - Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets - Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation - Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe - Optimisation des traitements de la plateforme et ceux des utilisateurs - Capacité à expliquer simplement le sujet, à communiquer vers des interlocuteurs type développeur, bureau d'étude, qualifieur et ""clients"" (Groupes de protection sociale). La connaissance de Power BI et de SAS sont des plus." Livrables attendus Code source documenté Plan de tests / fiches de test Bilan Bordereau de livraison Manuel d’installation Dossier d’exploitation JIRA documentée" Environnement technique - technologique "• Cloudera Hadoop • Hive, impala • Python • SQL • Shell • Spark • VBA • GIT • Jupyter • Linux • JIRA" Compétences techniques Connaisance Cloudera Hadoop, Hive, Impala Développement Python Requêtage SQL Développement Shell Développement Spark (Scala) Utilisation de GIT Agilité (méthodes Kanban et/ou Scrum) Compétence liée à l'environnement Connaissance de l'écosystème de la protection sociale (Retraite Complémentaire idéalement)

Ingénieur DataOps Niort Ordonnanceur (Control M) Confirmé (***) Monitoring (Dynatrace) Élémentaire (*) ETL Powercenter / ELT DBT Élémentaire (*) SQL (Oracle, MySQL, PostgreSQL) Élémentaire (*) Hadoop (HDFS, Spark) Élémentaire (*) Google Cloud Platform (Big Query) Avancé (**) Déploiement continu (Gitlab, Openshift, CICD, Terraform) Avancé (**) Scripts (shell, ksh) Élémentaire (*) Python Élémentaire (*) Certification Agile / DevOps Avancé (**) Jira, Confluence, Easyvista, Google Workspace Élémentaire (*) Certification ITIL Élémentaire (*) Légende : Élémentaire (*), Avancé (**), Confirmé (***), Expert (****) Le Data Office de mon client définit les orientations stratégiques dans le domaine de la donnée et assure l'homogénéité et la performance de l'écosystème Data. L'équipe Data OPS de Services Delivery Data est responsable de l'unification des pratiques d'exploitation, du déploiement continu (Gitlab Cloud & On-Prem) et de l'industrialisation des usages. Des compétences d'autonomie, de force de proposition tout en ayant une bonne connaissance des contraintes de production sont indispensables. Le candidat doit avoir une posture d'amélioration continue. Le poste d'Ingénieur DataOps a pour objectif de garantir la disponibilité, la stabilité et la fiabilité des environnements de la plateforme data. Son rôle se concentre sur l'exploitabilité, l'industrialisation et l'automatisation des services. Les missions principales consistent à : ● Assurer la disponibilité et la stabilité des environnements (Test, Prod). ● Exécuter et superviser l’installation (déploiement, bon démarrage). ● Automatiser les déploiements et les pipelines (CI/CD) dans un but de fluidifier et de fiabiliser la réalisation. ● Collaborer à la mise en place de la supervision incluant la documentation des dépendances. ● Analyser, résoudre les incidents et suivre les plans de remédiation. ● Participer à la définition des Exigences Non Fonctionnelles (sécurité, performance, scalabilité) et s'assurer de leur implémentation en projet et en production. ● Garantir la conformité et la qualité des livrables (tests, documentation) et anticiper les risques. Compétence Niveau Souhaité Ordonnanceur (Control M) Confirmé (***) Monitoring (Dynatrace) Élémentaire (*) ETL Powercenter / ELT DBT Élémentaire (*) SQL (Oracle, MySQL, PostgreSQL) Élémentaire (*) Hadoop (HDFS, Spark) Élémentaire (*) Google Cloud Platform (Big Query) Avancé (**) Déploiement continu (Gitlab, Openshift, CICD, Terraform) Avancé (**) Scripts (shell, ksh) Élémentaire (*) Python Élémentaire (*) Certification Agile / DevOps Avancé (**) Jira, Confluence, Easyvista, Google Workspace Élémentaire (*) Certification ITIL Élémentaire (*) Légende : Élémentaire (*), Avancé (**), Confirmé (***), Expert (****

Contexte Au sein du département Systèmes & Réseaux , vous intégrez l’équipe Bases de Données NoSQL , en charge de la mise en œuvre et de l’administration des bases MongoDB, Vertica, Hadoop et Elasticsearch . Ces infrastructures critiques desservent l’ensemble des collaborateurs du groupe en France et à l’international, dans un environnement certifié ISO 9001 et ISO 27001 . Vos missions Administrer et maintenir au quotidien les infrastructures NoSQL Piloter des projets d’évolution et de déploiement de nouvelles fonctionnalités Participer à la définition des normes, standards et procédures de production Assurer un rôle d’ expert niveau 3 auprès des équipes support Analyser et gérer les incidents, garantir la qualité de service et la disponibilité des plateformes Rédiger et maintenir la documentation et les procédures d’exploitation Contribuer aux études d’évolution des infrastructures en lien avec la production et le développement Environnement MongoDB Vertica Hadoop Elasticsearch Bases NoSQL / Big Data Linux Scripting (Shell / Bash, éventuellement Python) SQL (pour Vertica)

Data engineer GCP Google cloud platform 500 e par jour Mise en œuvre de la chaîne : o d’ingestion de données, o de validation de données, o de croisement de données, o de déversement dans le datalake des données enrichies • Développer dans le respect des règles d’architecture définies • Développer et documenter les user stories avec l’assistance du Product Owner et des chefs de projets • Produire les scripts de déploiement • Prioriser les corrections des anomalies • Assister les équipes d’exploitation • Participer à la mise en œuvre de la chaîne de delivery continue • Automatiser les tests fonctionnels Connaissances techniques : • Plateforme et environnement GCP (indispensable) • Environnement GKE • Stockage : HDFS / GCS • Traitement: Maitrise de l’écosystème Spark / Kafka / Scala • Planification : Airflow / Composer • Méthodologies : Scrum, Kanban, Git • DWH : SQL, BigQuery, BigTable • Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build 500 e par jour

Pour le compte d'un acteur majeur, nous recherchons un(e) Data Engineer confirmé(e) pour concevoir et déployer des chaînes de traitement de données complexes au sein d'un Datalake moderne. Vous intégrerez une équipe évoluant en mode Agile (Scrum/Kanban) avec une forte culture de l'automatisation. Vos responsabilités : Concevoir et mettre en œuvre les chaînes d’ingestion, de validation et de croisement de données. Assurer le déversement et l'enrichissement des données dans le Datalake. Produire automatiquement des agrégats (journaliers à mensuels) via la puissance du Cloud. Développer et documenter les User Stories en collaboration directe avec le Product Owner. Garantir la qualité via l'automatisation des tests fonctionnels et la correction des anomalies. Participer activement à la chaîne de delivery continue et assister les équipes d'exploitation. Profil recherché : Expertise confirmée sur la plateforme GCP (indispensable) . Maîtrise avancée de l'écosystème Spark / Scala / Kafka . Expérience solide sur les environnements conteneurisés ( GKE, Docker ) et l'Infrastructure as Code ( Terraform, Ansible ). Compétences pointues en stockage et requêtage ( BigQuery, SQL, HDFS ). Capacité à orchestrer des workflows complexes avec Airflow / Composer . Esprit collaboratif, curieux des évolutions technologiques et doté d'un excellent relationnel.

"Contexte du besoin Nous recherchons un profil senior en architecture Data afin de nous accompagner dans la définition de l'architecture Data cible, la mise en oeuvre de la nouvelle plateforme Data dans un ecosysteme exisant. Le profil devra accompagner à la définition de l'architecture Data cible, la définition des standards, normes et bonnes pratique sur l'ensemble des socles Data et la mise en œuvre de la nouvelle plateforme Data. MISSIONS - Définir l’architecture cible Data : concevoir l’architecture Data cible de la fédération, alignée avec la stratégie globale Data et les principes Data‑Centric et définir les patterns d’intégration et les couches fonctionnelles de la future plateforme (ingestion, traitement, stockage, exposition). - Concevoir l’architecture de la nouvelle plateforme Data : concevoir l’architecture technique globale de la plateforme, en intégrant l’écosystème existant (Teradata, Hadoop) et la stratégie d’évolution (cloud ou on‑prem, gouvernance, scalabilité). Proposer la trajectoire d’évolution permettant la transition vers la nouvelle plateforme (stratégie de migration, coexistence, phasage). - Modélisation des données et harmonisation : concevoir les modèles de données harmonisés (modèle cible, datamarts, vues métiers, glossary). Définir les principes de modélisation à appliquer selon les usages : analytique, opérationnel, data products. - Data Products & accompagnement métiers : accompagner les équipes métiers dans la conception et la structuration des data products. Garantir la cohérence des data products avec les modèles de données, les standards d’intégration et l’architecture cible. - Définition et formalisation des standards Data : définir les standards d’intégration, de transformation, de stockage et d’exposition des données. Proposer et formaliser les bonnes pratiques autour des outils de l’écosystème (outils d’ingestion, qualité, orchestrateurs, catalogage, gouvernance). Le profil devra justifier : - d’une expérience confirmée dans la conception et la mise en œuvre de plateformes Data modernes, - d’une expertise en architecture Data (modèles de données, intégration, scaling, sécurité, qualité), - d’expériences significatives sur des projets incluant : la définition d’architectures cibles, la conception de modèles de données complexes, l’accompagnement de trajectoires de migration (Hadoop, Teradata ou plateformes équivalentes), la mise en place de data products et d’approches orientées produit." Environnement technologique actuel : Teradata,SQL, Datastage, Power BI, Hadoop Cloudera, Hive, Impala, Python" Livrables attendus Dossiers d'architecture cible, générale et détailée Cartographie des flux et sources de données Schéma d'intégration avec l'écosystem existant Documents de description des standards, principes et bonnes pratiques Feuille de route et trajectoire cible Ateliers et comptes rendus Support de présentation architecture et dossiers d'arbitrages Environnement technique - technologique Environnement technologique actuel : Teradata,SQL, Datastage, Power BI, Hadoop Cloudera, Hive, Impala, Python Compétences Data Conception d'architecture plateforme Data : - maitrise des architectures Data - maitrise patterns d'ingestion, stockage, transformation, exposition, - capacité à concevoir une architecture cible cohérente avec le SI existant" Modélisation des données : - concevoir des modèles conceptuels, logiques et physiques ; -harmoniser et rationaliser les modèles dans une logique Data Centric ; - appliquer des standards et bonnes pratiques (normalisation, typage, granularité, qualité)." Définition, conception et urbanisation de Produits Data Définition des standards, normes et bonnes pratiques Accompagnement, communication et alignement multi-acteurs "Compétence liée à l'environnement " "Expérience dans l'écosystème de la protection sociale (Retraite Complémentaire idéalement)"