Trouvez votre prochaine offre d’emploi ou de mission freelance HDFS (Hadoop Distributed File System)

20 résultats
Freelance

Mission freelanceExpert Kafka H/F

Insitoo Freelances
Publiée le
Apache Kafka

2 ans
500-800 €
Bordeaux, Nouvelle-Aquitaine
Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Expert Kafka H/F à Bordeaux, France. Les missions porteront sur les différentes phases du projet qui ont été identifiées : Phase 1 - Mise en oeuvre du socle pilote : Cette premiere étape consiste à mettre en place un socle pilote pour alimenter un premier cas d'usage de type Plateforme Data. Les données mises à disposition de de socle seront produites par les différents socles techniques du SI client, soit : SI de gestion (PostgreSQL), Hadoop (Cloudera), SID-RC (Datastage) + Teradata. Parmis les travaux identifiés à réaliser : - Installation et configuration du cluster Kafka / Confluent. - Définition et mise en œuvre des normes et standards d'exploitation. - Mise en place de l'outillage d'administration et d'exploitation; - Mise en place des mécanismes de sécurité et de gestion des habilitations en s'intégrant dans l'ecosyteme SI Agirc-Arrco; - Optimisation des performances de la plateforme. - Construction et industrialisation des processus de fabrication et d'intégration des livrables. - Mise en œuvre des workflows d'intégration et de déploiement. - Instalaltion et configuration des connecteurs producteurs et consommateurs Kafka "standard" et "spécifiques Confluent" nécessaires aux premiers cas d'usage : PostgreSQL, Hadoop (HDFS), Datastage, Teradata, autres connecteurs nécessaires au périmètre du pilote.. Une attention particulière sera portée à l'industrialisation des connecteurs, notamment : - Déclaration des nouveaux producteurs et consommateurs, - Gestion des configurations, - Initialisation et rafrachissement des données consommateurs , - Déploiement automatisé des souscriptions, - Prise en compte évolutions schémas de données par les Topics Kafka, - Automatisation des opérations récurrentes, Il conviendra également de mettre en place l'ensemble des procédures d'exploitation du socle : - Procédures d'arrêt et de relance ; - Gestion des servitudes techniques ; - Supervision et monitoring ; - Mise en place des tableaux de bord ; - Documentation d'exploitation. - Connecteurs à mettre en œuvre Phase 2 : Extension du socle : Après la validation et la livraison du socle pilote, le projet entrera dans une phase d'extension afin de construire un socle cible plus capacitif et capable d'accueillir de nouveaux cas d'usage.
Voir cette offre
CDI
Freelance

Offre d'emploiBusiness Analyst & Data Engineer Big Data (Spark / Hadoop / Databricks) - H/F

STORM GROUP
Publiée le

1 mois
55k-60k €
550-600 €
75002, Paris, Île-de-France
#StormYourCareer Rejoins STORM GROUP et grandis avec nous ! Pilote la transformation Big Data du pôle Actuariat et modernise les chaînes de production financière vers DatabricksDans le cadre d'un projet stratégique de transformation Data chez l'un de nos grands comptes du secteur de l'assurance, nous recherchons un(e) Business Analyst & Data Engineer Big Data. Au sein des équipes SI Actuariat et Performance, ton rôle sera hybride, structurant et à forte valeur ajoutée : tu feras la jonction directe entre les directions métiers (actuaires, comptables, financiers) et les équipes IT pour moderniser les chaînes de traitement d'inventaire, fiabiliser les données réglementaires (IFRS 17, Solvabilité II) et orchestrer la migration progressive de l'écosystème Hadoop/Spark vers Databricks. Ton future environnementTu évolueras au cœur du pôle SI Actuariat de notre partenaire assurance, au croisement de la finance quantitative, de l'ingénierie logicielle distribuée et des architectures Cloud. En interface permanente avec les actuaires, les responsables du pilotage financier et les architectes Data, tu seras le moteur de l'évolution des plateformes. C'est le cadre idéal pour manipuler des volumes massifs de données financières, optimiser des traitements complexes sous Spark et concevoir des pipelines modernes sur Databricks au sein d'un environnement agile. Tes missions clésAnalyse Fonctionnelle, Cadrage & Conduite du Changement (Mode CONSEIL & BUILD) : Recueillir, analyser et challenger les besoins des équipes métiers (actuaires, comptables, responsables d'inventaire). Modéliser les règles de gestion et rédiger les spécifications fonctionnelles détaillées adaptées aux architectures Big Data. Traduire les exigences métier liées à la norme IFRS 17 et au suivi des situations financières en solutions techniques performantes. Garantir l'adéquation continue entre les traitements implémentés et les objectifs opérationnels de production des inventaires. Accompagner les utilisateurs métiers dans la prise en main des nouvelles solutions et piloter la conduite du changement. Data Engineering & Migration Hadoop vers Databricks (Mode TECH & MIGRATION) : Concevoir, développer et optimiser les pipelines de traitement de données distribués (Python, Scala, Apache Spark, Hadoop, HDFS, YARN). Analyser l'architecture des flux existants pour préparer, adapter et refondre les traitements vers la nouvelle plateforme Databricks (Cloud Azure ou AWS). Garantir la qualité, la traçabilité, l'exposition et la cohérence des référentiels de données actuarielles et financières. Automatiser et optimiser les performances des jobs de calcul batch et fil d'eau, en maîtrisant les requêtes complexes (SQL, NoSQL, scripting Linux). Qualité, Recette & Industrialisation (Mode RUN & QUALITÉ) : Élaborer et exécuter les stratégies de tests fonctionnels, techniques et de contrôle de qualité des données (data quality). Assurer la mise en production, la mise en place de la CI/CD, le suivi opérationnel des chaînes de production et la résolution des anomalies. Rédiger la documentation technique, fonctionnelle et la cartographie des règles de gestion pour pérenniser la connaissance. Ton profilFormation : Diplôme Bac+5 (Diplôme d'Ingénieur, Master 2 universitaire) en informatique, Data Engineering, mathématiques appliquées ou finance quantitative / actuariat. Expérience : Tu justifies d'une expérience confirmée de 5 à 10 ans sur des fonctions hybrides de Business Analyst Data, Data Engineer ou Consultant SI Actuariat/Finance. Expertise Technique Big Data Impérative : Solide expérience de développement et d'optimisation sous Apache Spark et l'écosystème Hadoop (HDFS, YARN). Pratique ou intérêt marqué pour la plateforme Databricks et son déploiement sur les environnements Cloud (Azure ou AWS). Maîtrise avancée de la programmation en Python et/ou Scala, ainsi qu'une excellente maîtrise du langage SQL et des bases de données distribuées. Connaissance des outils d'industrialisation, de scripting Linux et des pipelines CI/CD. Compétences Fonctionnelles Métier : Maîtrise des démarches de Business Analysis (ateliers, cahiers des charges, spécifications fonctionnelles). Connaissance indispensable des processus financiers, comptables ou actuariels, avec une bonne appréhension des enjeux des inventaires. Connaissance de la norme IFRS 17 (et idéalement des exigences Solvabilité II). Pratique des méthodologies Agile / Scrum. Langues : Anglais professionnel opérationnel. Tes atoutsDouble Casquette Technico-Fonctionnelle : Aisance remarquable pour dialoguer avec les actuaires tout en traduisant leurs formules complexes en code distribué performant. Esprit Analytique et Rigueur : Sens aigu du détail et exigence sur la précision des données financières produites. Posture Proactive et Travail en Transverse : Capacité à faire avancer les projets de transformation en fédérant les acteurs IT et métiers autour d'objectifs communs. Nos avantagesRemboursement des titres de transport à hauteur de 75%. Tickets restaurant pris en charge par STORM GROUP à hauteur de 50% (10,5 euros / jour). Accès Gymlib / Wellpass (sport et bien-être). Contrat Santé / Prévoyance mis en place auprès de la compagnie Alan. Formation continue : Accès à Udemy Business et accompagnement aux certifications Databricks / Cloud. Prime de cooptation, prime d'intéressement et de participation. Deux à trois jours de télétravail par semaine. 5 raisons de nous rejoindreParcours sur mesure : Co-construis une trajectoire professionnelle unique, adaptée à tes ambitions. Missions Stratégiques : Interviens sur des projets d'envergure, en parfaite cohérence avec ton expertise. Suivi Dédié : Bénéficie d'un pilotage annuel structuré pour garantir ta progression continue. Excellence Continue : Développe tes compétences au quotidien au sein d'un écosystème exigeant. Performance Durable : Évolue dans un cadre où l'exigence métier respecte ton équilibre de vie. Notre processus de sélectionÉchange introductif avec un chargé de recrutement. Entretien métier avec évaluation approfondie (Cas pratique d'analyse fonctionnelle sur un besoin IFRS 17, conception d'un pipeline Spark/Databricks sous Python/Scala et requêtes SQL d'optimisation). Rencontre finale pour validation du fit et projection sur la mission. Prêt à rejoindre une équipe d'experts engagés ? N'hésite plus, rejoins la Storm Team ! Storm Group encourage une culture inclusive et multiculturelle où la diversité des profils nourrit notre intelligence collective. En rejoignant la Storm Team, tu intègres un écosystème engagé qui place le développement de tes talents au cœur de sa stratégie, tout en agissant concrètement pour la solidarité et la réduction de l'empreinte environnementale, aussi bien au sein de nos bureaux que dans les projets d'envergure que nous menons chez nos clients.
Voir cette offre
CDI

Offre d'emploiDéveloppeur Data Engineer / Big Data (H/F)

█ █ █ ██ █ █
Publiée le
Ansible
Data Engineering
DevOps

Bretagne, France

Offre importée

Offre issue du marché tech, identifiée automatiquement pour vous donner une vue complète des opportunités.

Accès restreint à la communauté

Rejoignez notre plateforme pour accéder aux détails de cette offre et obtenir un accès aux meilleures offres du marché.

Voir cette offre
Freelance
CDI

Offre d'emploiExpert Kafka / Kafka Confluent / IBM / Kafka Strimzi

CAT-AMANIA
Publiée le
Apache Kafka
Cloudera

1 an
40k-45k €
550-700 €
Paris, France
Je suis à la recherche pour un de nos clients d'un Expert Kafka / Kafka Confluent / IBM / Kafka Strimzi. L'objectif est la mise en place d'un socle Kafka d'entreprise destiné à supporter différents cas d'usage d'échange, de réplication et d'intégration de données. Les missions porteront sur les différentes phases du projet qui ont été identifiées : Phase 1 - Mise en oeuvre du socle pilote : Cette première étape consiste à mettre en place un socle pilote pour alimenter un premier cas d'usage de type Plateforme Data. Les données mises à disposition de ce socle seront produites par les différents socles techniques du SI du Client, soit : SI de gestion (PostgreSQL), Hadoop (Cloudera), SID (Datastage) + Teradata. Parmi les travaux identifiés à réaliser : - Installation et configuration du cluster Kafka / Confluent. - Définition et mise en œuvre des normes et standards d'exploitation. - Mise en place de l'outillage d'administration et d'exploitation; - Mise en place des mécanismes de sécurité et de gestion des habilitations en s'intégrant dans l'écosyteme SI Client ; - Optimisation des performances de la plateforme. - Construction et industrialisation des processus de fabrication et d'intégration des livrables. - Mise en œuvre des workflows d'intégration et de déploiement. - Installation et configuration des connecteurs producteurs et consommateurs Kafka "standard" et "spécifiques Confluent" nécessaires aux premiers cas d'usage : PostgreSQL, Hadoop (HDFS), Datastage, Teradata, autres connecteurs nécessaires au périmètre du pilote.. Une attention particulière sera portée à l'industrialisation des connecteurs, notamment : - Déclaration des nouveaux producteurs et consommateurs, - Gestion des configurations, - Initialisation et rafraîchissement des données consommateurs , - Déploiement automatisé des souscriptions, - Prise en compte évolutions schémas de données par les Topics Kafka, - Automatisation des opérations récurrentes, Il conviendra également de mettre en place l'ensemble des procédures d'exploitation du socle : - Procédures d'arrêt et de relance ; - Gestion des servitudes techniques ; - Supervision et monitoring ; - Mise en place des tableaux de bord ; - Documentation d'exploitation. - Connecteurs à mettre en œuvre Phase 2 : Extension du socle : Après la validation et la livraison du socle pilote, le projet entrera dans une phase d'extension afin de construire un socle cible plus capacitif et capable d'accueillir de nouveaux cas d'usage. Les principaux cas d'usage envisagés sont : - Cas d'usage n°1 : Extension Plateforme Data + Extension du pilote initial à l'ensemble des bases de données et des usages de la Plateforme Data. - Cas d'usage n°2 : Remplacement de l'outil IBM CDC + Migration des flux actuellement gérés par IBM Change Data Capture (CDC) vers Kafka. - Cas d'usage n°3 : Remplacement des extracteurs batch + Remplacement progressif des mécanismes d'extraction batch alimentant les plateformes décisionnelles par des flux temps réel basés sur Kafka. - Cas d'usage n°4 : Réplication des bases PostgreSQL + Mise en œuvre de mécanismes de réplication et de synchronisation de bases PostgreSQL via Kafka. - Cas d'usage n°5 : Migration du socle WebMethods + Étude et mise en œuvre de la migration des échanges actuellement gérés par le socle WebMethods vers Kafka.
Voir cette offre

Au service des talents IT

Free-Work est une plateforme qui s'adresse à tous les professionnels des métiers de l'informatique.

Ses contenus et son jobboard IT sont mis à disposition 100% gratuitement pour les indépendants et les salariés du secteur.

Free-workers
Ressources
A propos
Espace recruteurs
2026 © Free-Work / AGSI SAS
Suivez-nous