Trouvez votre prochaine offre d’emploi ou de mission freelance HDFS (Hadoop Distributed File System)

20 résultats
Freelance

Mission freelanceData Engineer Big Data Confirmé (H/F)

Insitoo Freelances
Publiée le
Data Engineering
PySpark
Python

2 ans
400-440 €
Lyon, Auvergne-Rhône-Alpes
Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Engineer Big Data Confirmé (H/F) à Lyon, France. Les missions attendues par le Data Engineer Big Data Confirmé (H/F) : Développement & Industrialisation Big Data : Concevoir, développer et optimiser des pipelines de données massives en pySpark, gérer leur ordonnancement et garantir un haut niveau de qualité logicielle (couverture de tests > 80 %, CI/CD). Supervision & Run : Mettre en place des tableaux de bord de suivi de performance et de qualité de données et assurer le MCO et la gestion des incidents en production. Architecture & Accompagnement : Proposer des évolutions d'architecture de données (approche Médaillon compatible Cloud) et accompagner les Data Scientists de l'équipe dans l'industrialisation de leurs modèles et codes d'expérimentation. Migration Cloud (Databricks) : Préparer, tester et réaliser la migration des pipelines existants (Hadoop/HDFS) vers Databricks / Delta Lake. Conseil & Partage : Assurer une veille technologique active, animer des ateliers de bonnes pratiques (performance Spark, qualité de code) Environnement technique Langages & Big Data : Python, pySpark, SQL (PostgreSQL) Plateformes Data : Hadoop / HDFS (actuel) /Databricks / Delta Lake (cible 2027) Orchestration & DevOps : Airflow, GitLab, GitLab-CI/CD BI & Gestion de projet : PowerBI, Jira, Confluence Impératifs Data Engineering & pySpark massif : Au moins 5 ans d'expérience en Data Engineering, dont une pratique approfondie de pySpark (conception et mise en production de pipelines traitant plusieurs dizaines de millions de lignes). Maîtrise Spark en production (Databricks / Hadoop) Expérience avérée du Run en production : Une expérience significative en mise en production, optimisation, maintenance (MCO) et supervision de pipelines Spark (monitoring, contrôles qualité de données, gestion des incidents). Localisation : Lyon Démarrage : ASAP TJM : 440 €
Voir cette offre
Freelance

Mission freelance[SCH] Data Engineer - 2095

ISUPPLIER
Publiée le

10 mois
300-400 €
Paris, France
Au sein de la squad Monitoring d'une banque, le Data Engineer développera de nouvelles fonctionnalités de Nightwatch, outil de monitoring transverse déjà en production s'appuyant sur Kafka, contribuera à la maintenance des composants transverses et renforcera l'outillage de gestion des environnements. L'équipe, localisée principalement à Paris avec des IT et métiers à Porto, travaille en agile (Scrum) et en contact avec les métiers, sur une plateforme Big Data Hadoop Cloudera on premise (HDFS, Hive, HBase, Kafka, Ranger), avec Spark 3.2 et Scala 2.12 ainsi que Java, ordonnancement Control-M, IntelliJ ou VS Code avec le plugin IA générative KiloCode, DevOps Jenkins, XLDeploy et XLRelease, et suite Atlassian (Bitbucket Git, Jira, Confluence). Missions : - Développer les nouvelles fonctionnalités de Nightwatch, outil de monitoring transverse s'appuyant sur Kafka - Participer en mode collaboratif à la conception technique des fonctionnalités à développer - Rationaliser et mutualiser les composants pour une architecture optimisée, sans redondance, cohérente et évolutive - Assurer la maintenance des composants transverses (évolution, refactoring, optimisations) - Prendre en charge les montées de version des composants et les tests associés - Renforcer l'outillage technique de gestion des environnements - Participer aux revues de code et à l'amélioration de la qualité du code - Participer aux déploiements en recette et en production dans un contexte DevOps - Rédiger et maintenir la documentation technique lorsque nécessaire - Participer aux cérémonies agiles et s'approprier les outils Jira et Confluence - Contribuer à la veille technologique de l'équipe - Présenter son travail à la communauté de Data Ingénieurs lorsque les opportunités se présentent Profil attendu : Profil Data Engineer disposant de très bonnes connaissances de l'écosystème Hadoop (YARN, HDFS, Hive, HBase, Kafka, Ranger) et d'une maîtrise de Kafka (Producer/Consumer), ainsi que d'une maîtrise de Java 21 et de Springboot. Il ou elle a de bonnes connaissances de Spark 3 et des techniques d'optimisation d'applications Spark, et des connaissances de Scala 2 en conjonction avec Spark. Une pratique de mise en place de pipelines CI/CD (DevOps), la maîtrise des bonnes pratiques de gestion de code et la capacité à analyser les besoins, estimer la charge et communiquer en français et en anglais, en adaptant son discours aux Infra, Devs, Business Analysts et utilisateurs, sont attendues. Une connaissance de frameworks fonctionnels de type ZIO ou Cats serait un vrai plus, ainsi que des connaissances en containerisation et une connaissance générale du SI CIB, notamment d'un SI Finance. Langues : Français et anglais : B2 minimum, C1/C2 souhaité
Voir cette offre
Freelance

Mission freelanceData Engineer senior Big Data - Banque - Freelance (H/F)

█ █ █ ██ █ █
Publiée le
Apache Hive
Data Engineering
Java

Paris, Île-de-France

Offre importée

Offre issue du marché tech, identifiée automatiquement pour vous donner une vue complète des opportunités.

Accès restreint à la communauté

Rejoignez notre plateforme pour accéder aux détails de cette offre et obtenir un accès aux meilleures offres du marché.

Voir cette offre
Freelance

Mission freelanceIngénieur Big Data - Dataops H/F

CELAD
Publiée le

1 an
600-800 €
Bordeaux, Nouvelle-Aquitaine
A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 🏠 100 % Télétravail Possible 🛠 Expérience de 5 ans minimum - 🌍 Anglais professionnel requis Envie de rejoindre un environnement technique exigeant, où les enjeux de performance, de scalabilité et de fiabilité sont au coeur des projets ? Cette opportunité est faite pour vous ! 🚀 Nous poursuivons notre développement et recherchons actuellement un.e Ingénieur Big Data / DataOps pour intervenir chez l'un de nos clients, acteur majeur du secteur des services. Votre environnement : Vous intégrerez une équipe en charge de plateformes Big Data à grande échelle, traitant des volumes de données pouvant atteindre plusieurs pétaoctets. Dans un environnement de production critique, vous contribuerez au déploiement, à l'industrialisation et à l'optimisation des infrastructures data, avec un objectif : garantir leur disponibilité, leur performance et leur fiabilité. Voici un aperçu de vos missions 🎯: Déployer et administrer les plateformes Big Data sous Cloudera CDP / CDH, en environnement OpenShift. Industrialiser et automatiser les pipelines de données avec Apache Airflow, Spark et les outils CI/CD. Assurer le maintien en conditions opérationnelles des plateformes : analyser et résoudre les incidents de production N2/N3. Optimiser les performances des systèmes distribués : gestion des flux Kafka, optimisation HDFS et amélioration de la scalabilité. Mettre en place la supervision et l'alerting avec Centreon et Prometheus afin de garantir la disponibilité des services et le respect des SLA. Accompagner les équipes métiers dans les migrations, l'intégration et l'exploitation des solutions Big Data.
Voir cette offre
CDI

Offre d'emploiIngénieur Big Data / DataOps (F/H)

CELAD
Publiée le

40k-65k €
Bordeaux, Nouvelle-Aquitaine
A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 🏠100% Télétravail Possible 🛠 Expérience de 5 ans minimum – 🌍 Anglais professionnel requis Envie de rejoindre un environnement technique exigeant, où les enjeux de performance, de scalabilité et de fiabilité sont au cœur des projets ? Cette opportunité est faite pour vous ! 🚀 Nous poursuivons notre développement et recherchons actuellement un.e Ingénieur Big Data / DataOps pour intervenir chez l'un de nos clients, acteur majeur du secteur des services. Votre environnement : Vous intégrerez une équipe en charge de plateformes Big Data à grande échelle, traitant des volumes de données pouvant atteindre plusieurs pétaoctets. Dans un environnement de production critique, vous contribuerez au déploiement, à l'industrialisation et à l'optimisation des infrastructures data, avec un objectif : garantir leur disponibilité, leur performance et leur fiabilité. Voici un aperçu de vos missions 🎯: Déployer et administrer les plateformes Big Data sous Cloudera CDP / CDH, en environnement OpenShift. Industrialiser et automatiser les pipelines de données avec Apache Airflow, Spark et les outils CI/CD. Assurer le maintien en conditions opérationnelles des plateformes : analyser et résoudre les incidents de production N2/N3. Optimiser les performances des systèmes distribués : gestion des flux Kafka, optimisation HDFS et amélioration de la scalabilité. Mettre en place la supervision et l'alerting avec Centreon et Prometheus afin de garantir la disponibilité des services et le respect des SLA. Accompagner les équipes métiers dans les migrations, l'intégration et l'exploitation des solutions Big Data.
Voir cette offre
CDI

Offre d'emploiData Engineer PySpark confirmé, équipe AILP / Branchements - Lyon F/H

█ █ █ ██ █ █
Publiée le
Confluence
Data Engineering
DevOps

50k-80k €
er Arrondissement, Auvergne-Rhône-Alpes

Offre importée

Offre issue du marché tech, identifiée automatiquement pour vous donner une vue complète des opportunités.

Accès restreint à la communauté

Rejoignez notre plateforme pour accéder aux détails de cette offre et obtenir un accès aux meilleures offres du marché.

Voir cette offre
Freelance

Mission freelanceData Engineer Big Data Confirmé (H/F)

Insitoo Freelances
Publiée le
Apache Airflow
Data Engineering
Databricks

12 mois
400-450 €
Lyon, Auvergne-Rhône-Alpes
Nous recherchons un(e) Data Engineer Confirmé(e) pour rejoindre une équipe produit agile au sein d'un acteur majeur du secteur de l'énergie. Vous évoluerez dans un environnement innovant dédié au traitement et à la valorisation de données issues d'équipements connectés et d'infrastructures à l'échelle nationale. Votre terrain de jeu : des produits data en constante évolution, traitant des volumes massifs (plus de 25 millions d'adresses et 40 millions de clients), avec un enjeu stratégique majeur de migration vers le Cloud (Databricks) à l'horizon 2027. Descriptif de la mission : Développement & Industrialisation Big Data : Concevoir, développer et optimiser des pipelines de données massives en pySpark, gérer leur ordonnancement et garantir un haut niveau de qualité logicielle (couverture de tests > 80 %, CI/CD). Supervision & Run : Mettre en place des tableaux de bord de suivi de performance et de qualité de données (en lien avec le DevOps), et assurer le maintien en condition opérationnelle (MCO) et la gestion des incidents en production. Architecture & Accompagnement : Proposer des évolutions d'architecture de données (approche Médaillon compatible Cloud) et accompagner les Data Scientists de l'équipe dans l'industrialisation de leurs modèles et codes d'expérimentation. Migration Cloud (Databricks) : Préparer, tester et réaliser la migration des pipelines existants (Hadoop/HDFS) vers Databricks / Delta Lake. Conseil & Partage : Assurer une veille technologique active, animer des ateliers de bonnes pratiques (performance Spark, qualité de code) et jouer un rôle de référent technique auprès des autres équipes.
Voir cette offre
CDI

Offre d'emploiDev/Data engineer DataLake (IP) F/H

█ █ █ ██ █ █
Publiée le
Apache Hive
Data Engineering
Python

Offre importée

Offre issue du marché tech, identifiée automatiquement pour vous donner une vue complète des opportunités.

Accès restreint à la communauté

Rejoignez notre plateforme pour accéder aux détails de cette offre et obtenir un accès aux meilleures offres du marché.

Voir cette offre
Freelance

Mission freelanceExpert Kafka / Confluent - Socle d’échange de données

Cherry Pick
Publiée le
Ansible
Apache Kafka
IBM DataStage

12 mois
700-750 €
Gradignan, Nouvelle-Aquitaine
Notre client, un organisme de protection sociale (retraite complémentaire), construit son socle Kafka d'entreprise sur la distribution Confluent. Ce socle portera les échanges, la réplication et l'intégration de données de tout le SI. Il doit aussi remplacer progressivement IBM CDC, les extractions batch et le socle WebMethods. Vous rejoignez l'équipe projet pour concevoir, construire et industrialiser ce socle. La mission est basée à Gradignan, près de Bordeaux. Un profil basé à Paris ou à Lyon est envisageable s'il est très autonome et peut se déplacer régulièrement sur site. MissionsConcevoir l'architecture Kafka / Confluent et la faire évoluer d'un socle pilote vers une plateforme cible capacitive et multi-cas d'usage Installer, configurer et administrer les clusters Kafka : brokers en mode KRaft, Schema Registry, workers Kafka Connect, sur RedHat et Kubernetes (Confluent / Strimzi) Mettre en œuvre et industrialiser les connecteurs Kafka Connect : JDBC, Debezium PostgreSQL, HDFS, Datastage, Teradata. Cela couvre la déclaration des producteurs et consommateurs, la gestion des configurations et des souscriptions, l'initialisation des données et l'évolution des schémas Remplacer les flux CDC et batch existants par des flux temps réel, et mettre en place la réplication PostgreSQL via Kafka Sécuriser les échanges et intégrer la gestion des habilitations à l'écosystème SI existant Tuner et optimiser les performances de la plateforme Automatiser le déploiement et les opérations récurrentes avec Ansible, Shell, Python et des pipelines CI/CD Mettre en place l'exploitation du socle : supervision Prometheus / Grafana, tableaux de bord, procédures d'arrêt et de relance, traitement des incidents, demandes et changements Rédiger les dossiers d'architecture, d'administration et d'exploitation, ainsi que les normes et bonnes pratiques Former les équipes et assurer le transfert de compétences
Voir cette offre
CDD
CDI
Freelance

Offre d'emploiExpert KAFKA/Confluent

KEONI CONSULTING
Publiée le
Ansible
Apache Kafka
Cloudera

18 mois
20k-40k €
400-600 €
Gradignan, Nouvelle-Aquitaine
Contexte Dans le cadre d'un projet de mise en œuvre d'un socle d'échange de données basé sur la technologie open source Apache Kafka, s'appuyant sur la distribution Confluent, nous recherchons un expert Kafka afin de renforcer l'équipe projet. MISSIONS Pour renforcer l'équipe projet, nous recherchons une expertise technique Kafka dans le cadre de la mise en oeuvre d'un nouveau socle Kafka Confluent. L'objectif est la mise en place d'un socle Kafka d'entreprise destiné à supporter différents cas d'usage d'échange, de réplication et d'intégration de données. Les missions porteront sur les différentes phases du projet qui ont été identifiées : Phase 1 - Mise en oeuvre du socle pilote : Cette premiere étape consiste à mettre en place un socle pilote pour alimenter un premier cas d'usage de type Plateforme Data. Les données mises à disposition de de socle seront produites par les différents socles techniques du SI, soit : SI de gestion (PostgreSQL), Hadoop (Cloudera), SID-RC (Datastage) + Teradata. Parmis les travaux identifiés à réaliser : - Installation et configuration du cluster Kafka / Confluent. - Définition et mise en œuvre des normes et standards d'exploitation. - Mise en place de l'outillage d'administration et d'exploitation; - Mise en place des mécanismes de sécurité et de gestion des habilitations en s'intégrant dans l'ecosyteme SI ; - Optimisation des performances de la plateforme. - Construction et industrialisation des processus de fabrication et d'intégration des livrables. - Mise en œuvre des workflows d'intégration et de déploiement. - Instalaltion et configuration des connecteurs producteurs et consommateurs Kafka "standard" et "spécifiques Confluent" nécessaires aux premiers cas d'usage : PostgreSQL, Hadoop (HDFS), Datastage, Teradata, autres connecteurs nécessaires au périmètre du pilote.. Une attention particulière sera portée à l'industrialisation des connecteurs, notamment : - Déclaration des nouveaux producteurs et consommateurs, - Gestion des configurations, - Initialisation et rafrachissement des données consommateurs , - Déploiement automatisé des souscriptions, - Prise en compte évolutions schémas de données par les Topics Kafka, - Automatisation des opérations récurrentes, Il conviendra également de mettre en place l'ensemble des procédures d'exploitation du socle : - Procédures d'arrêt et de relance ; - Gestion des servitudes techniques ; - Supervision et monitoring ; - Mise en place des tableaux de bord ; - Documentation d'exploitation. - Connecteurs à mettre en œuvre Phase 2 : Extension du socle : Après la validation et la livraison du socle pilote, le projet entrera dans une phase d'extension afin de construire un socle cible plus capacitif et capable d'accueillir de nouveaux cas d'usage. Les principaux cas d'usage envisagés sont : - Cas d'usage n°1 : Extension Plateforme Data + Extension du pilote initial à l'ensemble des bases de données et des usages de la Plateforme Data. - Cas d'usage n°2 : Remplacement de l'outil IBM CDC + Migration des flux actuellement gérés par IBM Change Data Capture (CDC) vers Kafka. - Cas d'usage n°3 : Remplacement des extracteurs batch + Remplacement progressif des mécanismes d'extraction batch alimentant les plateformes décisionnelles par des flux temps réel basés sur Kafka. - Cas d'usage n°4 : Réplication des bases PostgreSQL + Mise en œuvre de mécanismes de réplication et de synchronisation de bases PostgreSQL via Kafka. - Cas d'usage n°5 : Migration du socle WebMethods + Étude et mise en œuvre de la migration des échanges actuellement gérés par le socle WebMethods vers Kafka. Profil recherché : Nous recherchons un expert Kafka / Confluent capable de participer à l'ensemble des phases du projet et d'accompagner l'équipe sur les sujets suivants : - Architecture Kafka et Confluent ; - Installation et administration de plateformes Kafka ; - Sécurisation des échanges ; - Performance et tuning ; - Mise en œuvre de connecteurs Kafka Connect ; - Industrialisation et automatisation des déploiements ; - Supervision et exploitation ; - Accompagnement des équipes projet et transfert de compétences. - Rédaction de dossiers d'architecture, de normes et bonnes pratiques, de dossiers d'exploitation, ...; L'expert intégrera l'équipe projet pour contribuer à la conception, à la mise en œuvre et à l'industrialisation du futur socle d'échange de données de l'entreprise. Environnement technique - technologique Environnement Socle Kafka : - Distribution Kafka Confluent et Strimzy - Langages de scripting et de developpement : Shell, Python, Json, - Systeme d'exploitation : Linux Redhat Autres environnements techniques: - Base de données : PostgreSQL - Hadoop : Cloudera - Data Streaming : IBM Infosphere CdC - Socle technique infrastructure : Kubernetes, Ansible, Linux RedHat, Vmware - Exploitation: : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana, Competences Techniques Distribution "Kafka Confluent / IBM" : composant du cluster kafka (Broker, Kraft, Cwork) , Scema registry, Connecteurs (JDBC, Debezium PgSQL, HDFS, ...) Distribution Autres : "Kafka Strimzi", connecteurs propriétaires (exemple : "Datastage") ou outillage complémentaire Langages de scripting et de developpement : Shell, Python, Json Infrastructure et Système d'exploitation : Linux, Kubernetes, Ansible Outils connexes : ETL Datastage, Power-BI, SAS, Teradata, PostgreSQL, Data streaming, Hadoop Savoir Faire et savoir-être Capacités rédactionnelles : documentation technique, cahier des charges, communication et compte-rendu Communication et Capacités relationnelles(sens de l'écoute et du dialogue, conduite de réunion, négociation) Autonomie Capacité à travailler en équipe Esprit d'analyse et de synthèse
Voir cette offre
Freelance

Mission freelanceIngénieur DataOps

Cherry Pick
Publiée le
Data Engineering
Oracle
Python

12 mois
530-580 €
Paris, Île-de-France
Le besoin La plateforme actuelle est on-premise : pipelines sur Hadoop (HDFS, Hive) et Spark, datawarehouse Oracle Exadata, temps réel avec Kafka et MongoDB, restitution sous Qlik. Une migration vers Google Cloud Platform est en cours. Aujourd'hui, l'exploitation des environnements hors production est très manuelle. Vous serez le référent technique opérationnel de ces environnements, aux côtés d'un chef de projet et d'un coordinateur. Vos missionsExploitation des environnements hors prod (DEV, RCT, PREPROD) : garantir leur disponibilité, leur cohérence et leur fiabilité, sur une chaîne Data dupliquée de bout en bout. Refresh des données entre environnements, puis leur automatisation. Installations applicatives : traitements Spark/Scala, ETL Informatica, scripts SQL Oracle, scripts shell. Synchronisation des environnements : versions applicatives et logicielles, configurations, paramétrages. Maintien en conditions opérationnelles : exécution des jobs Spark, analyse des logs, contrôle des dépendances, suivi et relance des batchs (Opcon). Automatisation : développer les scripts et outils qui réduisent l'effort manuel (contrôle des écarts entre environnements, validation post-installation et post-refresh, cohérence des bases). Monitoring et observabilité : construire et maintenir un dashboard de suivi des environnements (exécutions, volumes), avec alerting et reporting. Vous êtes force de proposition sur l'outillage. Livraisons : contribuer aux pipelines de livraison GitLab et à la qualité des livrables. Migration GCP : participer à la reconstruction des environnements hors prod sur Google Cloud.
Voir cette offre
Freelance
CDI

Offre d'emploiData Engineer / Développeur Big Data Senior (H/F) -Nantes

Argain Consulting Innovation
Publiée le
Agile Scrum
Artifactory
ELK

1 an
40k-45k €
400-550 €
Nantes, Pays de la Loire
Contexte Dans le cadre du renforcement d'une équipe Data agile, nous recherchons un Data Engineer / Développeur Big Data Senior pour intervenir sur une plateforme de données à fort volume. Vous participerez à la conception, au développement et à l'amélioration continue de solutions permettant de valoriser et exploiter des données en temps réel et en batch. Vos missions Développer et maintenir de nouvelles fonctionnalités au sein d'une équipe agile. Concevoir et faire évoluer les architectures de traitement de données. Participer aux choix techniques et accompagner les autres membres de l'équipe. Garantir la qualité, la performance et la maintenabilité du code. Mettre en place et améliorer les processus d'automatisation des tests. Contribuer à l'amélioration continue des pratiques de développement et d'exploitation Environnement technique Big Data : Spark (batch & streaming), Kafka Langages : Scala, Java API : Conception et développement d'API Data Platform : Hadoop, HDFS, Hive, HBase, Phoenix DevOps & CI/CD : GitLab CI/CD, Jenkins, Artifactory Qualité & Monitoring : SonarQube, ELK, Grafana Tests : JUnit, Xray, automatisation des tests Profil recherché Expérience solide en développement Big Data et architectures distribuées. Maîtrise de Spark, Kafka et de l'écosystème Hadoop. Bonne culture DevOps et intégration continue. Expérience des environnements Agile/Scrum. Esprit d'équipe, capacité à challenger les besoins et à être force de proposition. Sens de la qualité, de l'automatisation et de l'amélioration continue. Atouts Expérience sur des projets de traitement de données à forte volumétrie. Sensibilité aux problématiques de performance, scalabilité et fiabilité des plateformes Data. Mission idéale pour un profil souhaitant intervenir sur un environnement Big Data moderne, au sein d'une équipe agile mature et orientée qualité.
Voir cette offre
Freelance
CDI

Offre d'emploiData Engineer PySpark / Hadoop — Datalake du financement du commerce international

CAT-AMANIA
Publiée le
Apache Hive
Apache Spark
Hadoop

1 an
45k-55k €
390-490 €
Paris, Île-de-France
Vous aimez les pipelines de données qui tournent en production, et les reprendre pour qu'ils tournent mieux ? Rejoignez l'équipe technique Big Data de la banque de financement et d'investissement d'un grand groupe bancaire. L'équipe est transverse : elle construit et fait vivre les traitements de données de cinq domaines métier (risques, financement du commerce international, conformité, finance, ESG), soit une quinzaine d'applications. Le datalake, entièrement Hadoop et hébergé sur les serveurs de la banque, a repris l'ancien entrepôt de données des prêts, lettres de crédit et garanties, dont les chaînes ETL avaient été recopiées telles quelles. La feuille de route 2026-2027 : sortir de l'ETL et réécrire les workflows en code. Vous intervenez sur le périmètre du financement du commerce international (trade finance). Vos principales missions : Développer et optimiser les pipelines de données en PySpark sur la plateforme Hadoop (HDFS, Hive, Iceberg). Analyser les workflows Informatica existants et les réécrire en code, en réutilisant les composants transverses de l'équipe. Rationaliser les traitements pour réduire les coûts d'exploitation et les incidents de production. Préparer l'ordonnancement Control-M avec l'équipe de production applicative. Proposer des évolutions de l'existant : dans la plupart des cas, l'équipe choisit la refonte plutôt que le maintien du legacy. Ce que la mission vous apporte : Un chantier de fond : la sortie d'un ETL au profit du code, sur deux ans. Une plateforme Big Data en production, avec des données bancaires sensibles et des utilisateurs métier exigeants. Une équipe qui attend qu'on remette en cause l'existant et qui décide en conséquence.
Voir cette offre
Freelance

Mission freelanceIngénieur DataOps (H/F)

Cherry Pick
Publiée le
Apache Spark
Hadoop
OpCon

12 mois
580 €
Paris, Île-de-France
Le contexteNotre client, un grand groupe d'assurance, renforce l'équipe décisionnelle de sa division Data. La plateforme actuelle est on-premise : pipelines sur Hadoop (HDFS, Hive) et Spark, datawarehouse Oracle Exadata, temps réel avec Kafka et MongoDB, restitution sous Qlik. Une migration vers Google Cloud Platform est en cours. Aujourd'hui, l'exploitation des environnements hors production est très manuelle. Vous serez le référent technique opérationnel de ces environnements, aux côtés d'un chef de projet et d'un coordinateur. Vos missionsExploitation des environnements hors prod (DEV, RCT, PREPROD) : garantir leur disponibilité, leur cohérence et leur fiabilité, sur une chaîne Data dupliquée de bout en bout. Refresh des données entre environnements, puis leur automatisation. Installations applicatives : traitements Spark/Scala, ETL Informatica, scripts SQL Oracle, scripts shell. Synchronisation des environnements : versions applicatives et logicielles, configurations, paramétrages. Maintien en conditions opérationnelles : exécution des jobs Spark, analyse des logs, contrôle des dépendances, suivi et relance des batchs (Opcon). Automatisation : développer les scripts et outils qui réduisent l'effort manuel (contrôle des écarts entre environnements, validation post-installation et post-refresh, cohérence des bases). Monitoring et observabilité : construire et maintenir un dashboard de suivi des environnements (exécutions, volumes), avec alerting et reporting. Vous êtes force de proposition sur l'outillage. Livraisons : contribuer aux pipelines de livraison GitLab et à la qualité des livrables. Migration GCP : participer à la reconstruction des environnements hors prod sur Google Cloud.
Voir cette offre

Au service des talents IT

Free-Work est une plateforme qui s'adresse à tous les professionnels des métiers de l'informatique.

Ses contenus et son jobboard IT sont mis à disposition 100% gratuitement pour les indépendants et les salariés du secteur.

Free-workers
Ressources
A propos
Espace recruteurs
2026 © Free-Work / AGSI SAS
Suivez-nous