Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Dans le cadre d’un nouvel appel d’offres confidentiel , nous recherchons un(e) Data Analyst indépendant(e) pour intervenir chez un acteur majeur du secteur protection sociale en France . La mission s’inscrit dans un contexte à fort impact sociétal , au sein d’équipes décisionnelles manipulant de grands volumes de données sur le périmètre Particulier . Contexte & missions En tant que Data Analyst , vous interviendrez principalement sur : L’exploration et l’analyse de données à l’aide de SAS Enterprise Guide La réponse aux demandes métiers liées au périmètre Particulier Le prototypage de rapports et tableaux de bord sous Power BI Vous pourrez également être amené(e) à : Animer ou participer à des ateliers clients en one-to-one pour la clarification des besoins Travailler en lien étroit avec l’équipe pour favoriser la capitalisation des connaissances Réaliser la recette des développements effectués Rédiger la documentation associée Préparer le transfert des travaux vers la DSI décisionnelle en vue d’une possible automatisation Contribuer à la création de nouveaux indicateurs de pilotage.

Missions et responsabilités principales1. Déploiement et industrialisation des clusters Big Data Déploiement automatisé de clusters via des pipelines CI/CD Utilisation d’outils d’automatisation pour l’installation et la configuration des composants Adaptation des architectures selon les besoins projets (dimensionnement, sécurité, performance) Contribution à l’industrialisation des processus (CI/CD, Infrastructure as Code) Déploiement et configuration d’outils de gestion de plateforme Installation et configuration d’interfaces utilisateurs pour les environnements analytiques 2. Stack Big Data administrée Administration et intégration des composants suivants : Service d’annuaire : gestion des identités Service d’authentification : sécurisation des accès Système de fichiers distribué : gestion du stockage Framework de traitement distribué : gestion des ressources et exécution Outil de gestion des accès : politiques de sécurité Moteur de calcul distribué Moteur SQL pour l’accès aux données Base de données relationnelle associée aux services Service de coordination distribué Responsabilités associées : Installation, configuration et paramétrage avancé Gestion des dépendances inter-services Maintien de la cohérence des versions Optimisation des performances et de la stabilité 3. Provisionnement et préparation des environnements Provisionnement des machines virtuelles Préparation des prérequis systèmes (OS, stockage, réseau) Automatisation des installations via scripts et outils d’orchestration Gestion des environnements (développement, test, production) 4. Observabilité et supervision Mise en place et maintien de la supervision : Collecte des métriques Gestion et routage des alertes Centralisation et exploitation des logs Visualisation via tableaux de bord Définition et amélioration des indicateurs de supervision Analyse proactive des alertes Diagnostic et résolution d’incidents 5. Maintien en Condition Opérationnelle (MCO) Administration quotidienne des plateformes Big Data Support technique aux équipes projets et utilisateurs Gestion des incidents et demandes d’évolution Montées de version et correctifs Suivi de la capacité (CPU, RAM, stockage) Documentation technique et mise à jour des procédures Rituels et interactions Participation aux rituels d’équipe Coordination avec : Équipes infrastructure et exploitation Équipes projets data / métiers Référents sécurité Accompagnement des équipes dans l’usage de la plateforme Environnement technique global CI/CD & DevOps : outils d’intégration et de déploiement continus, gestion de code, qualité Automatisation : outils d’orchestration et scripting Infrastructure : virtualisation, conteneurisation Big Data : écosystème de traitement distribué Observabilité : outils de monitoring, logs et visualisation Points de vigilance Forte interdépendance des composants de la plateforme Sensibilité aux problématiques de capacité et de performance Importance de l’anticipation via la supervision Respect strict des standards de sécurité et des procédures internes Coordination transverse nécessaire pour les déploiements et évolutions majeures Charge estimative Déploiement d’un cluster complet : variable selon dimensionnement et spécificités projet MCO : charge récurrente hebdomadaire Incidents critiques : charge ponctuelle selon criticité

Description du poste Dans le cadre du développement de ses plateformes data, l’entreprise recherche un administrateur spécialisé sur des solutions de type CDP et les services de données associés, notamment Private Cloud (PVC), évoluant dans un environnement conteneurisé OpenShift. Rattaché à l’équipe infrastructure ou data platform, le collaborateur intervient sur l’exploitation, l’administration et l’optimisation des plateformes big data, tout en garantissant leur disponibilité, leur performance et leur sécurité. Missions principales L’administrateur est responsable du bon fonctionnement de la plateforme CDP et de ses services data. Il assure l’installation, la configuration et la maintenance des environnements CDP Private Cloud ainsi que des services de données associés. Il prend en charge le déploiement et l’administration des services CDP Data Services (tels que Data Warehouse, Machine Learning ou Data Engineering) en s’appuyant sur l’infrastructure OpenShift. Il surveille en continu les performances de la plateforme et met en place des actions correctives ou d’optimisation afin de garantir un niveau de service optimal. Il participe à la gestion des incidents et des problèmes en analysant les causes racines et en proposant des solutions durables. Il veille à la bonne intégration des composants CDP avec l’écosystème technique existant, notamment les systèmes de stockage, de sécurité et de réseau. Il contribue à l’automatisation des tâches d’administration et de déploiement à travers des scripts ou des outils d’infrastructure as code. Il travaille en étroite collaboration avec les équipes data, DevOps et sécurité afin de faciliter l’usage de la plateforme et d’assurer sa conformité aux standards internes. Responsabilités techniques L’administrateur assure la gestion des clusters CDP Private Cloud (PVC), incluant leur installation, leur montée de version et leur maintenance corrective et évolutive. Il administre les environnements OpenShift utilisés pour héberger les services CDP Data Services et garantit leur bon dimensionnement. Il configure et maintient les services essentiels tels que Hive, Spark, Impala, HDFS et les services Kubernetes intégrés. Il met en œuvre les politiques de sécurité, notamment l’authentification (Kerberos, LDAP), la gestion des accès et le chiffrement des données. Il supervise les ressources système (CPU, mémoire, stockage) et optimise leur utilisation. Il participe à la mise en place de solutions de supervision et de logging adaptées à l’environnement. Compétences requises Le candidat possède une solide expérience sur la plateforme CDP, en particulier en environnement Private Cloud. Il maîtrise les concepts et l’administration d’OpenShift et des environnements Kubernetes. Il dispose de bonnes connaissances des composants big data tels que Hadoop, Spark, Hive et des outils associés. Il comprend les problématiques liées aux architectures distribuées, à la haute disponibilité et à la performance des systèmes. Il est à l’aise avec les environnements Linux et les outils d’automatisation (shell scripting, Ansible ou équivalent). Une bonne compréhension des enjeux de sécurité des données est attendue. Profil recherché Le poste s’adresse à un profil autonome, rigoureux et capable d’intervenir dans des environnements techniques complexes. Le candidat fait preuve d’un bon esprit d’analyse et de synthèse, et sait travailler en équipe avec des interlocuteurs variés. Une expérience dans un contexte DevOps ou data platform constitue un atout important. Environnement technique CDP Private Cloud (PVC) CDP Data Services (Data Warehouse, Data Engineering, Machine Learning) OpenShift / Kubernetes Hadoop ecosystem (HDFS, Hive, Spark, Impala) Linux (RedHat / CentOS) / Outils de monitoring et de logging

I. Contexte : Nous recherchons une personne ayant de l'expérience sur la gestion de plateforme bigdata dans un écosystème Hadoop. Le SI est composé très majoritairement de composants Opensource et le périmètre IGD (Infrastructure de Gestion de la Donnée) concerne principalement les composants permettant de stocker, échanger, transporter, transformer la donnée, à la fois technique et fonctionnelle. Contexte technique : 1500 Machine virtuelle II. Missions : Votre quotidien sera partagé entre : • Support N3 : traitement des incidents de production • Projets techniques : qualification et industrialisation des briques techniques • Gestion d’obsolescence : monter en version de Hadoop, cassandra, spark, kafka, vitess • Administration MySQL • Suivi des KPIs et mise en œuvre des actions correctives

Data Engineer Teradata, bases Hive, Phoenix, HDFS, API Springboot VANNES Profil : • Expertise Forte sur ces technos avec une très bonne communication avec une expérience significative sur les technologies Cloudera. • La mission se déroule sur le site de Vannes et nécessitera d’être présent à minima 3 jours par semaine sur le site (dont les Mardi et Jeudi) Prestation : • Assure le développement et l’intégration des évolutions sur le périmètre des solutions de la Squad • Prépare, réalise la mise en production avec les équipes expertes; assure le SAV • Gère et maintient la documentation fonctionnelle et technique • Contribue à l’assistance à l’utilisation des solutions • Contribue aux séances d'affinage technique en phase de conception • Réalise une veille technologique régulière pour être au fait des dernières tendances • Contribue à alimenter le contenu du backlog pour prévoir les développements futurs • Analyse du patrimoine existant Le besoin est d'accompagner la squad dans un contexte de développement et de maintenance de solutions Data (Teradata, bases Hive, Phoenix, HDFS) et d'API Springboot. Profil : • Expertise Forte sur ces technos avec une très bonne communication avec une expérience significative sur les technologies Cloudera. • La mission se déroule sur le site de Vannes et nécessitera d’être présent à minima 3 jours par semaine sur le site (dont les Mardi et Jeudi)

Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l’humain et la responsabilité sociétale au cœur de ses valeurs. Domain Lead Ingénieur H/F C’est votre future équipe Fondée en 2012, l'agence Rhône-Alpes rassemble une équipe de 120 collaborateurs. Elle accompagne près d’une vingtaine de clients, allant des grands comptes aux ETI et PME. Elle s’appuie sur un Centre de Services spécialisé dans le stockage et la sauvegarde ainsi que sur un Centre d'Expertise en sécurité. L'agence accorde une importance particulière à un recrutement fondé sur l'humain et la transparence. C’est votre mission Vous êtes passionné·e par l’architecture, les systèmes complexes et les environnements à fort enjeu ? Ce poste est fait pour vous. En tant que Domain Lead Engineer , vous êtes responsable de la stratégie technique et de la cohérence globale des architectures de notre écosystème : Côté build : Décliner les orientations techniques du CTO à l’échelle du département Définir la vision technique à court, moyen et long terme Construire et piloter les roadmaps techniques structurantes Garantir la cohérence globale des architectures (applicatives, data, infrastructure) Définir et diffuser les standards, cadres et bonnes pratiques Participer aux revues d’architecture et de code critiques Identifier en amont les zones à risque et les besoins de transformation Favoriser l’innovation et l’expérimentation à fort impact Côté run : Assurer l’adoption des standards techniques par les équipes (Apps Leads, Lead Techs) Intervenir sur les problématiques techniques les plus complexes et transverses Être le point d’escalade technique des équipes Remonter au CTO les enjeux techniques, organisationnels et process Garantir une vision terrain fiable et exploitable Contribuer à la simplification et à la réduction de la complexité du SI Diffuser la connaissance, les retours d’expérience et les bonnes pratiques Assurer un lien constant entre stratégie globale et réalité opérationnelle C’est votre parcours Vous avez au moins 15 ans d’expérience dans des environnements DevOps exigeants, avec un solide passé de développeur. Vous avez piloté techniquement des équipes d’envergure (50 personnes et +) pendant au moins 6 ans . Vous aimez adresser des problématiques complexes à l’échelle d’un SI complet sans jamais cesser d’innover. Vous cherchez un cadre où vos idées comptent et où la technique va de pair avec la collaboration. C’est votre expertise : Java, Spring, Angular PostgreSQL, Kafka, Hadoop, Hive, Impala Spark (Java / Scala), PySpark, Python, Databricks Power BI Git, GitLab Kubernetes, Docker, Helm, Ansible Grafana Architecture distribuée, scalabilité, performance, robustesse Vision bout-en-bout SI (applications, data, infra, sécurité, production) Environnements Cloud (un plus) C’est votre manière de faire équipe : Leadership technique fort et capacité d’influence Excellente communication et pédagogie Capacité à fédérer des équipes multi-acteurs Forte culture d’ingénierie et de simplification Esprit stratégique et vision globale Prise de recul et capacité d’arbitrage C’est notre engagement Chez Consort Group, vous êtes un·e expert·e qu’on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain Une vraie proximité managériale Des formations accessibles en continu Des engagements concrets : inclusion, égalité, solidarité Un package RH complet : mutuelle, carte TR, CSE, prévoyance Une culture du feedback et des projets qui font sens C’est clair Le process de recrutement : Un premier échange téléphonique avec notre team recrutement Un entretien RH ainsi qu’un échange métier avec un.e ingénieur.e d’affaires Un test ou un échange technique avec un.e de nos expert.es Un dernier point avec votre futur.e manager ou responsable de mission Et si on se reconnaît : on démarre ensemble C’est bon à savoir Lieu : Lyon Contrat : CDI Télétravail : Hybride Salaire : De 60000 € à 70000 € (selon expérience) brut annuel Famille métier : Lead Tech Offre à pourvoir à partir de janvier 2027 Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c’est le vôtre.

Contexte OnSpark est un cabinet spécialisé dans la GMAO/EAM et l'intégration SI, en forte croissance (40 collaborateurs, CA 3,3 M€). Dans le cadre de la diversification de son offre vers la Data et l'Intelligence Artificielle, nous recherchons un Expert / Lead Tech Big Data pour accompagner nos clients grands comptes. Vous interviendrez en tant que référent technique au sein d'environnements Big Data on-premise matures (Cloudera CDP), avec de fortes exigences en matière de performance, de sécurité (ISO 27001, RGS) et de qualité. Responsabilités Définir les orientations techniques de la plateforme Big Data Encadrer et accompagner les équipes Data Engineering Optimiser les performances des traitements distribués (Spark, Hadoop) Assurer une veille technologique active et contribuer à la roadmap technique Garantir la sécurité, la fiabilité et l'évolutivité de la plateforme

Contexte OnSpark est un cabinet spécialisé dans la GMAO/EAM et l'intégration SI, en forte croissance (40 collaborateurs, CA 3,3 M€). Dans le cadre de la diversification de son offre vers la Data et l'Intelligence Artificielle, nous recherchons un Data Architect pour accompagner nos clients grands comptes. Responsabilités Concevoir et faire évoluer l'architecture globale de la plateforme de données Définir les standards et bonnes pratiques de modélisation Accompagner les équipes techniques dans leur mise en œuvre Assurer la cohérence entre les besoins métier et les choix techniques Veiller à la sécurité et à la conformité des architectures (RGPD, ISO 27001)

Contexte OnSpark est un cabinet spécialisé dans la GMAO/EAM et l'intégration SI, en forte croissance (40 collaborateurs, CA 3,3 M€). Dans le cadre de la diversification de son offre vers la Data et l'Intelligence Artificielle, nous recherchons un Data Scientist pour accompagner nos clients grands comptes. Vous travaillerez sur des données massives et complexes, et contribuerez à des cas d'usage à fort impact : modèles de prévision, simulateurs, analyses statistiques avancées, détection de tendances, dans un environnement Big Data on-premise (Cloudera CDP, Cloudera Machine Learning) avec accès à des IDE modernes (Jupyter, RStudio, VSCode). Responsabilités Concevoir et entraîner des modèles de Machine Learning et Deep Learning Analyser des jeux de données complexes et volumineux Collaborer avec les Data Engineers pour la mise en production des modèles Accompagner les équipes métier dans l'interprétation des résultats Contribuer aux cas d'usage IA et NLP de la plateforme

La tribu « CRM » est en charge du parc applicatif dédié à la mise en œuvre et au suivi de l’ensemble de la relation client-banque et des outils de conformité (fraude, lutte contre le blanchiment et financement du terrorisme). La mission consiste à assurer les fonctions suivantes au sein de la Squad Conformité et Sécurité Financière : • vous contribuerez à la construction des solutions Datalab et Datamart sous technologie Teradata, en étroite collaboration avec les autres membres de la Tribu • vous aurez en charge le développement des solutions de collecte des données, de leur stockage et traitement (constitution d’agrégats ou scores), et de leur mise à disposition des DataScientists : une expérience des environnements Unix, du sql et des SGDB relationnels est indispensable ainsi que des bonnes pratiques de développement et modélisation sous technologie Teradata BTEQ. • vous serez amenés à développer sur notre plateforme Big Data. Une forte connaissance de Spark, HDFS, Python, Hadoop est demandée. Les compétences suivantes devront être maîtrisées : • Mode de chargement dans l’entrepôt (ETL) : BTEQ • Teradata • CONTROL-M • Environnement UNIX ( répertoires principaux, Usage & Entrepôt ) • SQL sur SGBD relationel (Teradata) • TPT • Outils collaboratifs et documentaires : GIT, Jira, Confluence, MEGA, Zeenea • Spark • HDFS • Python • Hadoop

• vous contribuerez à la construction des solutions sous technologie Teradata, en étroite collaboration avec les autres membres de la squad et de la Tribu • vous aurez en charge le développement des solutions de collecte des données, de leur stockage, traitement et usages, mise à disposition : une expérience des environnements Unix, une forte expertise SQL et des SGDB relationnels est indispensable ainsi que des bonnes pratiques de développement et modélisation sous technologie Teradata BTEQ. • vous interviendrez à la fois sur des activités projet mais aussi sur du RUN (suite des traitements de production, analyse/résolution d’incidents, optimisations, amélioration continue). Ces interventions sont primordiales, chaque membre de la squad participe au traitement des incidents et à l’amélioration continue du périmètre applicatif.

• vous contribuerez à la construction des solutions Datalab et Datamart sous technologie Teradata, en étroite collaboration avec les autres membres de la Tribu • vous aurez en charge le développement des solutions de collecte des données, de leur stockage et traitement (constitution d’agrégats ou scores), et de leur mise à disposition des DataScientists : une expérience des environnements Unix, du sql et des SGDB relationnels est indispensable ainsi que des bonnes pratiques de développement et modélisation sous technologie Teradata BTEQ. • vous serez amenés à développer sur notre plateforme Big Data. Une forte connaissance de Spark, HDFS, Python, Hadoop est demandée. Les compétences suivantes devront être maîtrisées : • Mode de chargement dans l’entrepôt (ETL) : BTEQ

Contexte Mission au sein d’une équipe dédiée à l’innovation et à la transformation des dispositifs de gestion des risques de marché, de contrepartie et de liquidité, dans un environnement bancaire international exigeant. Positionnement transverse, au croisement des équipes Risk, Quant et IT, avec une forte exposition aux problématiques métiers et réglementaires. Responsabilités Modéliser et représenter des instruments financiers complexes (rates, crédit, dérivés) Implémenter et analyser les métriques de risques : VaR, stress tests, sensibilités Contribuer à la compréhension et à la décomposition du P&L des desks de trading Développer des solutions d’agrégation, de contrôle et de qualité des données de risque Participer à la cartographie des transactions et des instruments financiers Traduire les besoins métiers en solutions techniques robustes et industrialisables Intervenir sur des sujets réglementaires (remédiations, audits, exigences des régulateurs) Collaborer étroitement avec les équipes Risk, Quant et IT Environnement technique C# / .NET Python (pandas, data analysis) SQL, ETL, manipulation de données Hadoop / écosystème big data APIs / architectures distribuées Profil recherché Expérience significative en risque de marché Solide compréhension des produits financiers et des modèles de valorisation Capacité à intervenir à la fois sur des problématiques quantitatives et techniques Aisance dans la manipulation de données complexes et volumineuses Capacité à évoluer dans un environnement transverse et exigeant Langues Anglais courant indispensable Atouts de la mission Positionnement hybride quantitatif / technique rare sur le marché Forte exposition aux enjeux métiers et réglementaires Interaction directe avec des experts Risk et des équipes de trading Impact concret sur les systèmes de gestion des risques et des résultats

Dans le cadre des travaux à réaliser, nous recherchons un profil Data Engineer confirmé / senior : Participer à la définition de l'architecture Data Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Data Engineer Spark Scala Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Nantes ( 3 à 4 jours de télétravail) Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Le data engineer travaillera sur un datalake( MCO, évolutions fonctionnelles). Les principales tâches seront: -Réaliser les développements en langage SCALA, - Réaliser les travaux jusqu’en environnement de production - Réaliser le support N3 de la production - Réaliser la supervision des traitements - Documenter les réalisations. Nous recherchons un data engineer confirmé qui maitrise nécessairement Spark et Scala