Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Vous contribuerez : - A l'installation de cluster - Au monitoring et à l'administration des outils Big Data - A l'administration de cluster - A l'upgrade des distributions et des composants Hadoop - A l'installation des différents composants sur Hadoop - Au support et à la résolution des problèmes N2 et N3 - A la mise en place d'environnements de développement et de test - A la sécurisation des clusters Conception et mise en œuvre des architectures de production pour des solutions techniques spécifiques correspondant au besoin du client Implémentation des outils de configuration et d'automatisation pour simplifier les process de déploiement et de mise à jour de la technologie Design et implémentation de la solution dans les systèmes existants Gestion de la capacité des environnements de production et anticipation des évolutions (capacity planning) Alimentation du backlog des Services de production (CI/CD, Continuous Operation, Time2fix,...) en complément des informations collectées auprès des Ingénieurs OPS Mise en oeuvre des bonnes pratiques et intégration continue Installation, configuration et divers paramétrages Pilotage de la mise à niveau de la solution et gestion des impacts

Nous recherchons pour le compte de notre client dans le domaine de la banque, un(e) Data Engineer Hadoop/PySpark. Environnement technique Hadoop, Python, PySpark, Hive, SQL, Git, Jenkins, Jira, Shell scripting (Unix/Linux), méthodologie Agile/SCRUM. Un plus : Indexima, Alteryx, Altair, GCP/BigQuery, bibliothèques Python orientées API. Contexte Au sein de la direction IT d'un grand groupe bancaire, l'équipe Technologies & Opérations met à disposition des différents pôles métiers (transformation, workplace, banque de proximité) l'ensemble des applications nécessaires à leur activité. Dans ce cadre, le consultant interviendra en soutien à l'équipe de production applicative et devops sur les évolutions techniques du datalake du CIO Office. Missions Concevoir et déployer de nouveaux flux d'ingestion ainsi que des traitements de préparation et transformation de données Faire évoluer et fiabiliser les pipelines de données existants, combinant PySpark et scripts shell Assurer l'interface avec l'équipe devops pour transmettre les besoins d'évolution de la plateforme Contribuer à la fiabilité, la performance et la qualité globale du datalake Compétences attendues Hadoop, PySpark, Python, Hive, SQL, Git, Jenkins, Jira, Shell Unix/Linux, Agile/SCRUM, Anglais professionnel, Indexima, Alteryx, Altair, GCP/BigQuery, API Python

🏭 Secteurs stratégiques : Banque d'investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Dans le cadre de projets à forte volumétrie autour des domaines Risque, Finance et Reporting réglementaire, chez l'un de nos clients grands comptes, nous recherchons un Big Data Engineer confirmé pour intervenir sur la conception, le développement et l'industrialisation de traitements de données à grande échelle. Vous aurez pour mission missions La conception et le développement de pipelines de données batch. L'alimentation de datamarts réglementaires Risque et Finance. L'alimentation des systèmes de reporting financiers et risques. L'intégration de données issues de sources variées : Core Banking, bases relationnelles, fichiers partenaires, systèmes internes, etc. La mise en place de contrôles de qualité, cohérence et complétude des données. L'optimisation des traitements sur de fortes volumétries : partitionnement, gestion des ressources, performances Spark, optimisation des requêtes. L'industrialisation et le déploiement des traitements via CI/CD, orchestration et monitoring. La réalisation des tests unitaires et des TNR. La documentation technique et la mise à jour des référentiels de données. La prise en compte des contraintes de sécurité, confidentialité et conformité réglementaire : RGPD, classification, anonymisation des données. La participation aux cérémonies Agile et aux réunions projets. La contribution aux activités de Run quotidien et mensuel. Environnement technique Scala – Spark – Hadoop – HDFS – Hive – Airflow – SQL avancé – Bases relationnelles – NoSQL – CI/CD – DevOps Une très bonne maîtrise des problématiques Big Data, volumétrie et optimisation des performances est indispensable.

Contexte de la mission Le consultant travaillera en étroite collaboration avec les équipes de production applicative et DevOps afin de mettre en œuvre les évolutions techniques de la plateforme. Missions principales Mettre en œuvre de nouvelles ingestions de données. Réaliser les traitements de Data Preparation / transformation. Développer, maintenir et faire évoluer les pipelines de données en PySpark. Réaliser du Shell Scripting sous Unix/Linux. Collaborer avec l'équipe DevOps pour les demandes d'évolution de la plateforme. Participer au maintien en conditions opérationnelles et à l'évolution des traitements Data. Rédiger les spécifications techniques et documenter les solutions mises en œuvre. Compétences indispensables Très bonne maîtrise attendue : Hadoop Python / PySpark Hive SQL Shell Scripting Unix/Linux Environnement/outils : Git Jenkins Jira Méthodologie Agile / Scrum Anglais professionnel indispensable, à l'écrit comme à l'oral, Compétences appréciées / différenciantes Une expérience sur les technologies suivantes constituera un plus : Indexima – Alteryx – Altair – GCP – BigQuery – bibliothèques Python orientées API.

En lien avec l'équipe de production applicative / DevOps, vous serez en charge de la mise en œuvre technique des évolutions du Data Lake. Vous interviendrez sur l'ingestion, la préparation et la transformation des données ainsi que sur l'évolution des pipelines. Votre rôle Ingestion et transformation des données · Mettre en œuvre de nouvelles ingestions de données au sein du Data Lake · Développer les traitements de préparation et de transformation des données · Développer les traitements associés en Python, PySpark et Hive Développement et évolution des pipelines · Maintenir et faire évoluer les outils de gestion des pipelines de données · Développer et maintenir les traitements en PySpark et les scripts Shell associés · Analyser et résoudre les problématiques techniques sur le périmètre Evolution de la plateforme Data · Identifier les besoins d'évolution de la plateforme liés aux traitements et pipelines de données · Formaliser et transmettre à l'équipe DevOps les demandes relatives aux évolutions de la plateforme · Rédiger les spécifications techniques nécessaires aux évolutions mises en œuvre

La mission s'inscrit dans les évolutions du datalake CIO Office, en lien avec les équipes de production applicative et DevOps. Le consultant intervient sur le développement et le traitement des données ainsi que sur l'évolution de la plateforme Hadoop. L'enjeu principal est de mettre en œuvre de nouvelles ingestions et transformations tout en maintenant les pipelines de données. Missions : - Mettre en œuvre de nouvelles ingestions de données - Réaliser les opérations de data prep et de transformation des données - Maintenir les outils de gestion des pipelines de données - Faire évoluer les pipelines de données avec PySpark et le shell scripting - Adresser les demandes d'évolution de la plateforme à l'équipe DevOps - Rédiger des spécifications techniques claires et précises - Travailler dans un environnement agile Scrum - Collaborer avec les équipes de production applicative et DevOps - Explorer de nouvelles solutions et technologies - Analyser et résoudre des problèmes complexes liés au traitement des données Profil attendu : Le profil recherché dispose de 0 à 6 ans d'expérience et d'une excellente maîtrise de Hadoop, Python/PySpark et Hive. Une bonne connaissance de SQL, Git, Jenkins, Jira et du shell scripting sous Unix/Linux est nécessaire. La maîtrise de l'anglais à l'écrit comme à l'oral ainsi qu'une expérience des environnements agiles Scrum sont attendues.

Envie d'un nouveau challenge dans la Data ? CELAD vous attend ! 🚀 Nous recherchons un(e) Data Engineer Hadoop / PySpark pour intervenir au sein de la DSI d'un grand groupe bancaire, sur l'évolution et le maintien d'une plateforme Data stratégique. Vous intégrerez un environnement dynamique et travaillerez en lien avec les équipes Production Applicative et DevOps afin de mettre en œuvre les évolutions techniques du Data Lake. 🎯 Vos missions Mettre en œuvre de nouvelles ingestions de données et traitements de Data Preparation / Data Transformation. Développer, maintenir et faire évoluer les pipelines de données en Python / PySpark et Shell Scripting. Participer aux évolutions et à l'optimisation du Data Lake Hadoop. Collaborer avec les équipes Production et DevOps sur les évolutions de la plateforme. Rédiger les spécifications techniques associées aux évolutions. Participer à la résolution de problématiques techniques complexes. Contribuer à l'amélioration continue des outils et des processus Data. Travailler dans un environnement Agile / Scrum et avec des équipes internationales.

Je recherche un Ingénieur Big Data Hadoop / Cloudera CDP pour intervenir sur la construction, l'administration et l'évolution de plateformes Hadoop dans un contexte Agile et DevOps. Votre missionVous souhaitez évoluer au sein d'un environnement Big Data de grande envergure et contribuer à l'évolution de plateformes stratégiques ? Vous participerez également à l'amélioration des Data Services et serez force de proposition sur les évolutions techniques et les bonnes pratiques. Vos principales responsabilitésDéployer et installer des clusters Hadoop Cloudera CDP. Administrer et maintenir les plateformes Big Data en production. Installer, configurer et faire évoluer les composants Hadoop. Réaliser les montées de version des distributions et composants. Assurer le monitoring, la supervision et l'optimisation des clusters. Gérer la sécurité des plateformes (Kerberos, Ranger/Sentry, gestion des accès). Mettre en place les environnements de développement, recette et test. Assurer le support technique de niveau N2/N3. Automatiser les déploiements via Ansible, Jenkins et les outils CI/CD. Participer à l'amélioration continue des plateformes et aux projets d'évolution. Environnement techniqueBig Data Cloudera Data Platform (CDP) Hadoop HDFS Spark Hive Kafka ZooKeeper Hue Anaconda Administration & Sécurité Cloudera Manager Ambari Kerberos Ranger / Sentry Linux (RedHat, CentOS) DevOps Jenkins Ansible Git CI/CD Méthodologies Agile Scrum SAFe Kanban DevOps Profil recherchéVous justifiez d'une expérience significative dans l'administration de plateformes Big Data et maîtrisez les environnements Hadoop. Vous possédez notamment : Une solide expérience sur Cloudera CDP. Une bonne maîtrise de l'administration de clusters Hadoop. Une expérience des installations, upgrades et migrations de plateformes. Une bonne connaissance des problématiques de sécurité (Kerberos, Ranger/Sentry). Une expérience des outils d'automatisation et de CI/CD. Une excellente maîtrise des environnements Linux. Les qualités qui feront la différenceEsprit d'analyse et de synthèse. Autonomie et sens des responsabilités. Curiosité technique et veille technologique. Force de proposition. Excellent relationnel et goût du travail en équipe. Anglais professionnel. Pourquoi rejoindre mon client ?Des projets Big Data à forte valeur ajoutée. Un environnement technique stimulant. Des technologies de pointe. Une équipe experte et collaborative. Une culture orientée innovation et amélioration continue. Vous souhaitez relever ce défi ? Envoyez-nous votre CV et échangeons sur votre prochain projet !

Envie d'un nouveau challenge dans la Data ? CELAD vous attend ! 🚀 Nous recherchons un(e) Data Engineer Hadoop / PySpark pour intervenir au sein de la DSI d'un grand groupe bancaire, sur l'évolution et le maintien d'une plateforme Data stratégique. Vous intégrerez un environnement dynamique et travaillerez en lien avec les équipes Production Applicative et DevOps afin de mettre en œuvre les évolutions techniques du Data Lake. 🎯 Vos missions Mettre en œuvre de nouvelles ingestions de données et traitements de Data Preparation / Data Transformation. Développer, maintenir et faire évoluer les pipelines de données en Python / PySpark et Shell Scripting. Participer aux évolutions et à l'optimisation du Data Lake Hadoop. Collaborer avec les équipes Production et DevOps sur les évolutions de la plateforme. Rédiger les spécifications techniques associées aux évolutions. Participer à la résolution de problématiques techniques complexes. Contribuer à l'amélioration continue des outils et des processus Data. Travailler dans un environnement Agile / Scrum et avec des équipes internationales.

Vous aimez les plateformes de données qui tournent vraiment en production ? Rejoignez l'équipe qui fait vivre le datalake des fonctions Technologies & Opérations d'un grand groupe bancaire. La DSI fournit aux directions technologiques, aux opérations et à la banque de proximité les applications et les données dont elles ont besoin au quotidien. Le datalake Hadoop en est une pièce centrale : il alimente le pilotage et les usages analytiques de plusieurs directions. Vous intervenez en lien direct avec la production applicative et l'équipe DevOps, au sein d'une équipe IT internationale. Vos principales missions : Concevoir et mettre en production de nouvelles ingestions de données : collecte, préparation, transformation. Maintenir et faire évoluer les outils de gestion des pipelines de données (PySpark, shell scripting). Porter auprès de l'équipe DevOps les évolutions nécessaires de la plateforme. Rédiger des spécifications techniques claires et exploitables par l'équipe. Ce que la mission vous apporte : Un datalake en production, avec de vrais volumes et de vrais utilisateurs métier. Une équipe internationale : l'anglais est utilisé au quotidien. Une ouverture vers le cloud (GCP / BigQuery) pour qui veut élargir sa stack. Environnement technique : Hadoop, PySpark, Spark, Hive, Python, SQL, Git, Jenkins, Jira, Unix / Linux — Scrum.

Rejoignez-nous ! Nous recherchons un(e) Data Engineer Hadoop / PySpark pour intervenir sur une plateforme Data stratégique et contribuer aux évolutions d'un datalake. Vous serez en charge de la mise en œuvre technique de nouvelles ingestions de données, des traitements de préparation et de transformation, ainsi que de la maintenance et de l'évolution des pipelines de données. Vous travaillerez en étroite collaboration avec les équipes de production applicative et DevOps, dans un environnement Agile, dynamique et international. Ce que vous ferez : Mettre en œuvre de nouvelles ingestions de données au sein du datalake. Développer les traitements de préparation et de transformation des données. Maintenir et faire évoluer les pipelines de données en PySpark et shell scripting. Développer et optimiser les traitements de données sur la plateforme Hadoop. Exploiter Hive et SQL pour la manipulation, la transformation et l'analyse des données. Collaborer avec l'équipe DevOps et lui adresser les demandes relatives aux évolutions de la plateforme. Participer à l'intégration et au déploiement des évolutions via les outils de gestion de code source et d'intégration continue. Rédiger des spécifications techniques claires et précises. Analyser et résoudre des problématiques techniques complexes liées aux traitements et pipelines de données. Contribuer à l'amélioration continue de la plateforme et être force de proposition sur les solutions et technologies à mettre en œuvre. Votre positionnement vous permettra d'intervenir au cœur d'une plateforme Data stratégique, en interaction avec des équipes techniques multidisciplinaires et internationales.

Contexte de la mission : Nous sommes à la recherche d'un profil pour une mission de prestation au sein du service Data d'un de nos clients : · Les missions du service consistent à Collecter, structurer et distribuer les données client dans une logique temps réel puis les rendre exploitables par les outils de la relation client et le pilotage Gérer les projets du périmètre Customer Data Platform (Environnement de données, moteur de scores/segmentation, API IA…) Administrer et faire évoluer les outils relationnels (Marketing automation, outils de personnalisation (moteur de recommandation, …)) Tâches à réaliser : Suivi de production quotidien - contrôles fonctionnels (analyse de cohérence d'écarts de volume entre J et J-1) sur tout le périmètre DataPrep, Manipulation de données complexes (SQL ou R) Projet et Maintenance évolutive · Participation aux ateliers de définition des indicateurs et des données brutes nécessaires aux besoins des métiers · Participation à la modélisation des bases de données / architectures · Spécification fonctionnelle des indicateurs · Elaboration de la stratégie et du plan de recette · Recette des indicateurs, via développement AMOA des indicateurs en R ou SQL, en comparaison des livrables MOE et analyse de cohérence fonctionnelle de données · Création de reportings (outils Tableau/OAC) simples · Documentation Compétences recherchées : Obligatoires : Connaissance SQL, et idéalement R ou Python Connaissance ou première approche de l'environnement Hadoop, Cloud et des opportunités autour du Big data Connaissance d'outils de Dataviz, idéalement Tableau et/ou OAC Appétence pour le fonctionnel bancaire Bonne capacité rédactionnelle Expérience nécessaire : minimum 2 années d'expérience sur le poste Langues : Français Date de démarrage : ASAP Localisation : Locaux du client situés à Brest Possibilité d'interventions hors site Client : OUI, 40% (limitée à un maximum de 40% du temps de prestation contractualisé – réalisable en France Métropolitaine uniquement). Pas d'interventions hors site prévues les 2 premiers mois. Astreintes / interventions HNO : NON Déplacements sur d'autres site client en France : NON Autre matériel requis : NON

Nous recherchons un Business Analyst Data pour intervenir au sein d'une équipe IT spécialisée en Data Management et Business Intelligence, sur les domaines du financement et des risques. Le consultant participera aux différents projets de l'équipe, à la maintenance évolutive des applications ainsi qu'au suivi de la production. Il assurera l'interface entre les équipes métiers et les équipes techniques afin de garantir la bonne compréhension des besoins et la qualité des solutions livrées. MissionsRecueillir et analyser les besoins métiers ; Organiser et animer les ateliers avec les utilisateurs ; Rédiger les spécifications fonctionnelles ; Participer à la modélisation des données ; Concevoir, préparer et exécuter les plans de tests ; Présenter les livrables aux utilisateurs ; Rédiger les comptes rendus et les documents de synthèse ; Accompagner les utilisateurs dans la conduite du changement ; Participer à la maintenance évolutive et au support fonctionnel ; Suivre la production et veiller à la qualité des données et des solutions ; Travailler en méthodologie Agile/Scrum.

Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le candidat doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : Mettre en œuvre de nouvelles ingestions de données, data prep/transformation Maintenir et faire évoluer nos outils de gestion des pipelines de données (Pyspark + shell scripting) Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme