Find your next tech and IT Job or contract Hadoop

Métier et fonction : Data Management Data Engineer Spécialité technologique : Big Data Type de facturation : Assistance Technique (facturation au taux journalier) Techniques et outils maîtrisés : Hadoop, PySpark (2 ans) Secteur d'activité : Administration Publique Description de la prestation : Dans le cadre d’un projet stratégique en recouvrement et lutte contre la fraude, un Data Engineer confirmé spécialisé en PySpark est recherché pour une équipe pilotée par un Tech Lead expérimenté. Le projet manipule plusieurs milliards d’événements par jour, visant à développer des cas d’usage à fort impact comme la détection d’anomalies et l’optimisation des processus de recouvrement. Missions principales : Construire et optimiser des pipelines de données sous PySpark. Participer à la mise en place d’architectures Big Data sur environnement Hadoop (optionnel). Garantir la qualité, la fiabilité et la performance des flux de données. Collaborer avec les équipes data science et métier pour industrialiser des cas d’usage (fraude, scoring, recouvrement automatisé). Gérer des problématiques de scalabilité et de traitement en temps réel ou batch. Assurer la sécurité et la conformité des traitements de données sensibles.

Concevoir, développer et maintenir des pipelines de données robustes et scalables (batch et streaming). Participer à la mise en place et à l’optimisation de la plateforme Big Data (Hadoop/Spark). Intégrer, transformer et nettoyer des données issues de différentes sources (API, bases relationnelles, fichiers plats, etc.). Collaborer étroitement avec les Data Scientists et Data Analysts pour la préparation et la mise à disposition des datasets. Contribuer aux bonnes pratiques de développement, d’automatisation (CI/CD), et de gestion de la qualité des données. Assurer la documentation technique et la maintenance des flux existants. Participer à la montée en compétences de l’équipe interne sur les outils Big Data.

Métier : Data Management, Développeur Big Data Spécialité technologique : Big Data Type de facturation : Assistance Technique (facturation au taux journalier) Compétences techniques : Spark (5 ans) Hive (Cloudera, 5 ans) Java Hadoop (5 ans) Soft skills : Autonomie Rigueur Leadership Description et livrables de la prestation : Intégré au chapitre DATA, entité transverse, le consultant intervient dans un environnement où la donnée est stratégique. Il accompagne les équipes métiers dans la conception et l’industrialisation des solutions DATA, notamment pour l’analyse de risques liés à des investissements et prêts professionnels. En tant que référent technique et méthodologique, il garantit la qualité, la cohérence et la performance des solutions Big Data déployées sur les plateformes SPARK et CLOUDERA. Missions principales : Appuyer les équipes métiers pour formaliser et concevoir des solutions DATA robustes et évolutives Participer à la construction de pipelines de données performants (traitement, transformation, ingestion, qualité) Assurer la mise en œuvre technique des projets sur l’écosystème Big Data (SPARK, CLOUDERA, HADOOP) Challenger les besoins métiers pour garantir leur pertinence et faisabilité Promouvoir les bonnes pratiques de développement et d’architecture DATA Contribuer à la maturité data de l’organisation en accompagnant les équipes vers plus d’autonomie et de rigueur dans la manipulation des données

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Expert Data Hadoop/Hive/Hbase, Databricks 8 ans d’expériences + client logistique basé à Guyancourt (ou Montpellier, Nantes) un Expert Data Hadoop/Hive/Hbase, Databricks 8 ans d’expériences + Localisation Guyancourt / Télétravail 2 à 3 jours par semaine Durée de la mission : 2 ans Mission : Création d’une équipe transverse pour : Monitorer la qualité des données : intégration fraicheur des données sur les plateformes data identifier les sources de données actuelles (cartographie SI des données) créer un backlog de contrôles à mettre en place mise en place d’indicateurs o validation de la qualité de la Data de bout en bout o pilotage des correctifs à mettre en place en amont · Dimensionner et organiser la cellule • La cellule sera en relation avec les équipes de RUN les métiers et les autres Lignes Produit Compétences requises : Hadoop/Hive/Hbase Databricks

Pour mon client bancaire, je recherche MOA / BA - Mise en place d'un Datalake Hadoop. Vous interviendrez sur les sujets liés aux métiers du Financement Structuré et du Risk Management. Recueil des besoins et animation d’ateliers avec les équipes métiers (Financing & Risk) Rédaction de spécifications fonctionnelles claires et structurées Contribution à la modélisation des données et au design fonctionnel Préparation, exécution et suivi des tests utilisateurs Présentation des livrables aux équipes métiers et rédaction de synthèses Accompagnement des utilisateurs dans la conduite du changement Suivi de la qualité de production et amélioration continue

Nous recherchons un.e Data Scientist Sénior afin de contribuer à l’exploitation et à la valorisation des données stratégiques. Le rôle implique la mise en production de solutions data, l’industrialisation de traitements et le développement de modèles avancés pour répondre aux enjeux métiers. Vos futures responsabilités : Concevoir, développer et mettre en production des modèles de Machine Learning et d’analytique avancée Contribuer à l’industrialisation et à l’automatisation des traitements data à grande échelle Travailler sur des problématiques liées au domaine de l’énergie et de l’électricité Collaborer avec les équipes métiers et techniques pour transformer les données en leviers d’optimisation Garantir la qualité, la fiabilité et la performance des modèles déployés

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs : Vos missions Fournir aux équipes agiles un environnement technique performant et des méthodes de développement robustes. Piloter et suivre des chantiers techniques (gestion d’obsolescence, migration, interventions spécifiques). Gérer et faire évoluer les infrastructures (systèmes, environnements, réseaux, conteneurisation, etc.). Assurer un rôle de référent technique sur plusieurs technologies clés du périmètre. Contribuer au support technique (analyses, qualification, gestion d’incidents, post-mortems). Apporter votre expertise sur : L’impact des nouvelles solutions ou technologies sur le SI. Les choix d’architecture et d’outillage, en lien avec les autres pôles d’expertise. Environnement technique Web & API : Spring Boot, Angular, PostgreSQL Flux temps réel : EMS, REST, SOAP, Kafka Flux batch : Spring Batch, Spring Boot Données : Hadoop, Spark, Datahub, Datalake, OpenShift AI Conteneurisation : OpenShift Observabilité : Centreon, Dynatrace, Grafana, Prometheus, OpenSearch Authentification : Keycloak CI/CD : GitLab, Jenkins (ou équivalents)

En quelques mots Cherry Pick est à la recherche d'un "Data Engineer GCP" pour un client dans le secteur de l'assurance Description 🧩 Contexte de la mission Au sein du Département Data Solutions, l’équipe TAI (Traitement et Analyse de l’Information) a pour objectif de préparer, transformer et mettre à disposition les données nécessaires aux applications métiers. Dans le cadre de la modernisation de la plateforme data, l’équipe lance un projet stratégique de migration des assets OnPrem vers le Cloud GCP, en s’appuyant notamment sur DataProc et BigQuery. 🎯 Objectifs et livrables Le consultant interviendra sur la migration technique des traitements data et sur l’accompagnement fonctionnel des équipes métier et techniques. 🔹 Missions fonctionnelles : Analyser et rationaliser le legacy existant pour le rendre compatible avec le Cloud GCP. Rédiger la documentation fonctionnelle de référence : Description technique et métier du SI cible. Implémentation et intégration dans le projet. Être garant de la bonne application des pré-requis techniques et fonctionnels. Maintenir une relation fluide et de confiance entre les équipes SI Source, Data Fabrik et les métiers. Mettre en place les bonnes pratiques sur DataProc et accompagner leur adoption. Accompagner la migration des projets TAI depuis la plateforme OnPrem vers DataProc. Soutenir les équipes (notamment LCB-FT) dans le développement et le déploiement des traitements. 🔹 Missions techniques ("dev") : Concevoir et développer les chaînes de traitement de données de bout en bout (depuis la source jusqu’à la consommation). Réaliser les développements conformes aux besoins métiers. Créer et industrialiser les workflows sous Control-M pour le pilotage automatisé des flux.

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data engineer GCP / Hadoop H/F à Paris, France. Les missions attendues par le Data engineer GCP / Hadoop H/F : Nous recherchons un profil data engineer GCP + Hadoop qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les demandes métier sur le projet DatOps. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme

Au sein du département IT, l'équipe a pour vocation de fournir aux services Technologies & Opérations et Banque de Proximité et Assurance, l’ensemble des applications nécessaires à leur fonctionnement. L'appel d'offre vise à renforcer notre binôme de data engineers, en priorité sur le projet DatOps que nous opérons pour le compte de la Direction des Opérations. Celui-ci s'appuie sur la plateforme GCP, et représentera l'activité majeure du consultant. En mineure, il interviendra en parallèle sur un second projet, qui vise à le doter d'une plateforme data basé sur le Hadoop on premise du groupe. Nous recherchons un profil data engineer GCP + Hadoop qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les demandes métier sur le projet DatOps. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiés au consultant : Mettre en œuvre de nouvelles ingestions de données, data prep/transformation Maintenir et faire évoluer nos outils de gestion des pipeline de données Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme

(Expérience du domaine de l'énergie obligatoire) Profil capable de s’adapter à l’environnement technique du département SCC et aux pratiques de l’équipe qu’il va rejoindre • Capacité de travailler de manière autonome • Disposant d’un bon sens de l’organisation et de la rigueur • Capacité de synthétiser ses travaux pour communiquer efficacement à ses commanditaires Participation à des ateliers avec des experts métiers pour collecter le besoin et comprendre les données • Conception et développement de traitements de données • Réalisation d’études statistiques • Présentation de résultats sous la forme de rapports d’étude ou de tableaux de bord • Développement d’outils de visualisation de données pour faciliter les analyses • Documentation des traitements en vue d’une industrialisation Mise en production des traitements de données • Suivi de l'industrialisation, maintien des traitements en production • Participation aux cérémonies agiles de l’équipe • Diffusion et vulgarisation des résultats d’étude L’environnement technique du projet est le suivant : • Python • R • PostgreSQL • Teradata • Hadoop • Gitlab CI • Ansible • Jira / Confluence / Bitbucket • Git Compétences attendues sur le profil : o Maîtrise de Python et de ses librairies pour le traitement et l'analyse de données (pandas, scikit-learn, TensorFlow/PyTorch) o Maitrise des notions d’électricité (puissance/énergie) et notions sur le réseau électrique o Bonne connaissance des bases de données SQL, notamment PostgreSQL et Teradata. o Maîtrise des outils de versioning et d'intégration continue, notamment Git et Gitlab CI/CD. o Familiarité avec Spark (PySpark ou Scala) pour le traitement de grandes volumétries de données o Proactif et autonome, avec une capacité à prendre des initiatives et à résoudre des problèmes. o Capacités à communiquer efficacement et avec pédagogie o Bonnes compétences rédactionnelles o Connaissance dans la rédaction de documents de cadrage du projet o Connaissance approfondie des métiers autour des chaînes communicantes o Expérience dans le recueil de besoins et l’animation d’ateliers métiers o Capacité de synthèse et de restitution d’informations o Capacité à animer des groupes de travail autour des organisations et des processus métiers. o Expérience avérée dans un environnement Agile à l’échelle o Est bon communicant

Contexte et objectifs de la prestation : Le département informatique aligné avec les métiers en charge du pilotage financier du groupe. Cette tribu est en charge de la maitrise d'ouvrage, de la maitrise d'oeuvre et du support des produits (applications) nécessaire à la bonne exécution de ces processus financiers. Le Bénéficiaire souhaite mettre en oeuvre plusieurs évolutions de certains de ses produits dédiés au pilotage opérationnel des directions centrales (BASYCOUT) et retail (AGENOR) mais aussi de la facturation interne (FI) et des expenses (Expenses Engagement), basés sur des technologies Datalake et cube OLAP, dans un cadre d'agilité à l'echelle (SAFE). Le Bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre, la Prestation consistera à contribuer à/au(x) : - Code livré sous GIT - Tests unitaires développés et joués - Monitoring des traitements de production - Tickets JIRA & Unity mis à jour

Vous aurez l’opportunité de contribuer à un projet d’envergure : le déploiement massif de bornes de recharge pour véhicules électriques dans les parkings collectifs. Ce programme, déjà en cours, se renforce et constitue une nouvelle équipe de 3 Data Scientists, intégrée à une équipe pluridisciplinaire d’une dizaine de personnes dédiée à la mobilité électrique et aux solutions de demain. Vos missions : - Réaliser des études statistiques et de la modélisation prédictive pour optimiser les déploiements, - Traiter et analyser des données massives en Python (un peu de R possible, mais non indispensable), - Collaborer avec des experts métiers et techniques pour transformer les données en leviers concrets de performance, - Participer au Comité Data interne pour partager les bonnes pratiques et enrichir vos compétences, - Évoluer dans une méthodologie SAFe, au cœur d’un environnement structuré et collaboratif.

Fournir un accompagnement fonctionnel et technique solide pour garantir la conception adéquate de la plateforme de données et d'analyse, en visant des solutions techniques et d'intégration de pointe. Concevoir, coordonner et exécuter des projets pilotes, des prototypes ou des preuves de concept pour valider des scénarios spécifiques. Diriger et coordonner les activités opérationnelles liées à la plateforme de données et d'analyse. Assurer la responsabilité de la documentation technique des plateformes impliquées dans la plateforme. Collaborer avec les architectes d'entreprise pour aligner les conceptions de la plateforme de données et d'analyse sur l'architecture globale et contribuer à cette architecture. Superviser et améliorer continuellement l'architecture et l'écosystème de la plateforme de données et d'analyse. Maintenir une connaissance approfondie des outils et plateformes utilisés dans la plateforme de données et d'analyse, ainsi que de leur écosystème et de leur feuille de route. Répondre aux besoins organisationnels des différents utilisateurs de la plateforme de données et d'analyse, notamment les data scientists, les data engineers et les développeurs Qlik. Mener la transition continue du système sur site vers le cloud public. Coaching de l'équipe de développement dans les domaines pertinents.

Pour l’un de nos clients grands comptes, nous recherchons un Data Engineer confirmé maîtrisant Spark, Hadoop, Scala , pour intégrer une Squad data transverse. L’objectif de la mission est d'assurer un rôle de Data Engineer & développeur API , avec les responsabilités suivantes : Suivi et gestion de la production Réduction de la dette technique Évolution de l’architecture existante et proposition d’améliorations Développements projets et intégration dans les pipelines Possibilité d’évolution vers d’autres Squad Data selon les besoins Activités principales Acheminement, traitement et mise à disposition des données Industrialisation des traitements data Mise en production de modèles statistiques Suivi de projet, développement de jobs Spark Ingestion multi-format (batch & streaming) Développement de scripts et API de restitution Génération de Dashboard ou fichiers à destination des équipes métier Participation à la conception et administration de solutions Big Data Installation, configuration de clusters Hadoop Intégration Spring Boot pour extraction depuis Teradata → Kafka → Data Lake