Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Bonjour, Nous recherchons pour notre client grand compte un Expert Datastage PX – flux inter-applicatifs – transition Python / Spark – environnement SAFe . Nous étudions – prioritairement – les candidatures qui nous sont adressées à freelance à insyco.fr avec les informations suivantes : Argumentaire écrit répondant de façon ciblée au besoin ci-dessous CV à jour au format Word Date de prochaine disponibilité et mobilité Tarif journalier Merci d’indiquer la référence KTR/PXPY/4994 dans l’objet de votre message Le prestataire intervient sur un socle data existant reposant majoritairement sur Datastage PX , complété par des traitements en PySpark , comprenant un volume important de traitements, de jobs et de chaînes ordonnancées, avec de fortes dépendances entre applications. La prestation couvre notamment : L’exploitation quotidienne du socle Datastage PX La maintenance corrective et évolutive des traitements data L’optimisation de chaînes Datastage complexes L’administration de l’outil Datastage La gestion des incidents data La mise en place et l’adaptation de nouveaux périmètres de données La participation aux travaux de modélisation des données à destination des usages décisionnels La gestion et l’évolution de flux inter-applicatifs entre applications du SI Dans un contexte de transformation du SI data, la prestation inclut également : L’accompagnement d’un projet de décommissionnement d’un socle historique Le remplacement de sources existantes par des flux issus d’un environnement cloud (AWS) L’impact et l’adaptation de nombreuses chaînes Datastage existantes La réécriture progressive de traitements Datastage vers Python et Spark / PySpark Des travaux transverses en parallèle sur : des pipelines CI/CD appliqués aux flux data un outil de gouvernance de la donnée (Apache Atlas : métadonnées, rôles, sécurité) La prestation s’exerce dans un environnement Agile à l’échelle (SAFe) , avec un fonctionnement en train agile, une coordination transverse entre plusieurs équipes et une forte dépendance aux équipes de recette.

Contexte: Dans un contexte de structuration et de montée en maturité des usages Data au sein d’une Direction Financière, la mission vise à renforcer les capacités analytiques autour de la prévision du chiffre d’affaires. L’objectif est de concevoir et d’industrialiser un produit Data stratégique permettant une projection automatisée et multidimensionnelle du chiffre d’affaires (produits, zones géographiques, canaux de vente, infrastructures). Le consultant interviendra au cœur d’une organisation Finance & Data, en tant que référent Data Finance, à l’interface entre les équipes Finance, Data et Produit. Missions: Concevoir, maintenir et faire évoluer un produit Data de projection du chiffre d’affaires Développer et industrialiser des modèles de prévision intégrant des mécanismes basés sur les volumes Permettre des ajustements manuels des projections par les équipes métiers Garantir la qualité, la fiabilité, la traçabilité et l’exploitabilité des données Développer et maintenir des pipelines de données sous Dataiku Implémenter des traitements SQL avancés et des flux de transformation complexes Exploiter Spark / PySpark pour gérer des volumétries importantes Automatiser, monitorer et documenter les chaînes de traitement Mettre en œuvre des contrôles de qualité et contribuer à la gouvernance des données financières Rendre les modèles explicables et actionnables pour les équipes Finance Mettre à disposition les données projetées dans le datalake Collaborer étroitement avec les équipes Finance, Data et Produit Participer aux rituels agiles et au suivi des livrables via des outils de gestion de projet

Bonjour ☺️ Nous recherchons un DATA ENGINEER orienté sur les technologies SPARK / SCALA / PYTHON/ AWS pour le compte de notre client ! Mission : Maintenir la plateforme en conditions opérationnelles : Garantir la disponibilité des données et des services de la plateforme, Assurer la communication avec les utilisateurs de la plateforme, Répondre aux demandes de données (données ad hoc, analyses d’anomalies), Développer les correctifs et évolutions nécessaires, Contribuer à la qualité des données et à l’industrialisation de leur exploitation. Concevoir et développer des services et pipelines de données fiables et performants : Mettre en place des flux de données (acquisition, transformation, export), Concevoir et modéliser les données, Développer et optimiser les pipelines de transformation, Réaliser les tests unitaires et d’intégration, Garantir la qualité des développements via les revues de code, Ordonnancer et gérer les dépendances entre traitements, Déployer sur l’ensemble des environnements, Enrichir et maintenir la documentation de la plateforme. Profil recherché : Minimum 5 ans d'expériences dans un contexte de grande volumétrie de données, Capacité à collaborer avec une pluralité d'interlocuteurs en même temps, Excellent esprit d’équipe, Capacité d'adaptation, Maitrise impérative de : Spark Scala, Python et SQL, Expérience significative sur AWS. Apprécié : Connaissance de Dataiku, Méthodologie Scrum/Safe, Airflow N'hésitez pas à envoyer votre CV !

Data Engineer Spark/Scala Paris o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Data Engineer Spark/Scala o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Bonjour 👽, Pour le compte de notre client, nous recherchons un data engineer Spark / Scala / Pyspark / Databricks / Azure. Missions principales : Participer au développement des User Stories (US) et réalisation des tests associés. Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d’exploitation. Mettre en place et maintenir le CI/CD sur l’usine logicielle. Assurer la mise en place du monitoring . Collaborer étroitement avec l’équipe projet ; pas de responsabilité de production individuelle. Travailler dans un environnement agile avec priorisation et gestion multi-projets. Compétences techniques indispensables : Maîtrise de Scala et Spark (batch principalement). Optimisation des jobs Spark et traitement de volumétries importantes / complexes . Bonnes pratiques de développement Scala et build Maven. Expérience en environnement cloud , idéalement Azure . Compétences techniques appréciées : Écosystème Databricks Azure Functions et Azure Data Factory Monitoring sous Datadog Déploiement avec Ansible Compétences transverses : Aisance relationnelle et esprit d’équipe Autonomie, rigueur et esprit d’analyse Capacité de synthèse et force de proposition Sens des priorités et respect des délais Appétence client et compréhension métier / fonctionnelle Mentoring et partage de connaissances

Data Engineer Spark/Scala Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandées Compétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

🔎 Contexte de la mission Intervention au sein de la Direction des Systèmes d’Information d’un acteur bancaire. Mission réalisée dans une équipe de données transverses opérant en support des directions : Finance Marketing Crédit L’équipe n’intervient pas sur des sujets cybersécurité , mais se concentre sur : Les enjeux réglementaires Le reporting opérationnel et financier La mise à disposition de données à d’autres équipes (dont IA et modernisation Azure) 👥 Organisation Équipe de 10 à 15 personnes (mix France + offshore Inde) 3 internes / plusieurs prestataires externes Encadrement par un IT Lead ⚙️ Environnement technique Cloud & orchestration Azure Azure Databricks Azure DevOps (CI/CD) Data pipeline Python (Airflow, FastAPI) SQL / PostgreSQL Spark DataVault (modélisation) DBT (prochainement intégré) Fichiers via couche FTP Visualisation & automatisation Power BI (rationalisation en cours) Power Automate Azure AI / ML (projets IA à venir en 2026) Gouvernance & data Data Store Domain Atlas Autres informations 📍 Localisation : Paris 8ème 🕒 Durée estimée : 3 ans 🗓️ Démarrage souhaité : ASAP selon disponibilité 🗣 Langue de travail : anglais courant (collaboration avec équipes offshore)

Au sein de la DSI Finance, vous interviendrez en tant que Data Engineer Spark / Scala confirmé sur le projet d’intégration du Datalake Finance, adossé à la distribution Hadoop HortonWorks. Ce datalake centralise les données issues des systèmes comptables et de synthèse afin de répondre aux besoins de reporting Finances & Risques (COREP, RWA, IFRS9, etc.). Missions principales : -Participer au développement et à l’intégration de nouvelles sources de données au sein du Datalake Finance. -Assembler et distribuer les données aux consommateurs métiers tout en garantissant la pérennité et la performance des pipelines existants. -Contribuer à la conception technique, l’implémentation et les tests des flux sous Spark / Scala. -Veiller à la non-régression et à la qualité du code dans le cadre des évolutions du socle. -Travailler en méthodologie Agile (Scrum / Kanban) avec les équipes métiers, data et maintenance. -Participer à la documentation technique et aux revues de code. Profil recherché : -5 à 6 ans d’expérience en environnement Big Data / Datalake. -Solide maîtrise de Spark / Scala et des paradigmes de programmation fonctionnelle (ZIO, Monix, Cats appréciés). -Connaissance des écosystèmes Hadoop, Hive, Kafka, HBase, Kerberos. -Expérience dans un cadre Agile (Scrum / Kanban) et outils associés (Jira, Confluence). -Esprit analytique, autonomie, rigueur et bon relationnel.

Contexte du poste: Dans le cadre du développement de sa plateforme Data & Analytics, l'entreprise recherche un Développeur Spark/Scala expérimenté pour rejoindre une équipe agile en pleine croissance. Vous interviendrez sur des projets stratégiques de traitement de données massives et d’industrialisation de pipelines analytiques dans un environnement Cloud et DevOps. Missions principales: Conception et développement de pipelines Big Data avec Spark & Scala Traitement de données batch et temps réel Optimisation de performances et tuning Spark Implémentation de scripts d’industrialisation et automatisation via CI/CD Participation aux cérémonies Agile et collaboration avec les Data Engineers et Architectes Contribution à la mise en production et au MCO des solutions développées Environnement technique: Langages & Frameworks Scala & Spark (obligatoire) Python (confirmé) Java (optionnel, un plus) CI/CD & Automatisation Jenkins (maîtrise impérative) XLR / XLD (XL Release & XL Deploy) Git, Maven Data & Cloud (bonus) Kafka, Hadoop, HDFS Cloud GCP ou Azure (apprécié)

Lead dev python / spark à Paris Profil senior, capable par exemple d’intervenir quand une plateforme swape, d’organiser et de structurer des upgrades de versions (ex : spark 3 vers spark 4) Besoin d'une expertise en développement python / spark Intervention au sein d'une petite équipe sur une plateforme d’hypervision de services. Il s'agit d'un projet data novateur Localisation Paris IM 2 jours de TT par semaine Goals and deliverables Apporter une expertise en développement python + spark / pyspark Développer personnellement Intervenir sur des opérations exceptionnelles : Profil senior, capable par exemple d’intervenir quand une plateforme swape, d’organiser et de structurer des upgrades de versions (ex : spark 3 vers spark 4) Etre source de conseil Expected skills PYSPARK Confirmed POSTGRESQL Advanced LINUX Confirmed GIT Confirmed Programmation Python Expert ANGULAR Advanced Spark Streaming Expert

Le Responsable DevOps devra encadrer et animer une équipe DevOps. Vous jouerez un rôle clé dans la gestion des produits et plateformes d’infrastructure en assurant leur disponibilité, leur performance, leur évolutivité, leur gestion de l’obsolescence, leur capacité et la maitrise des coûts OnPremise, Cloud ou hybride. Rattaché(e) au responsable de l’entité, vous serez responsable hiérarchique d’une équipe d’une vingtaine de personnes (collaborateurs et prestataires) de profils techniques devops Cloud Public et On Premise. Dans cette évolution organisationnelle, l’organisation hiérarchique est décorrélée de l’organisation opérationnelle. Le responsable DevOps devra donc travailler et s’organiser de façon transverse et étroite avec les Product Owner, le Product Manager et le responsable de l’entité sysops pour assurer le delivery et atteindre les objectifs en fonction des besoins. L’équipe DevOps de l’entité « Plateforme IT » a la responsabilité du build et du run des produits et plateformes d’infrastructures OnPremise et Cloud public.

Rejoignez un leader français de l'audiovisuel pour une mission stratégique d' Architecte Data GCP . Vous accompagnerez la Direction Technique du Numérique dans la consolidation et l'optimisation de sa Data Platform, en interface directe avec les équipes Data (Product Owners, Data Engineers, Data Scientists). Votre rôle sera de structurer l'architecture technique globale, améliorer l'expérience développeur et piloter l'optimisation des coûts cloud. Vos Missions : 🏗️ Architecture Technique Garantir la cohérence de la stack data entre équipes et projets Définir et faire respecter les contrats d'interface (schémas, API, data contracts) Effectuer la veille technologique et évaluer les standards du marché Tester, auditer et introduire de nouvelles technologies Réaliser un audit de l'architecture existante et recommander les améliorations ⚡ Developer Experience Contribuer à la création de modules Terraform et à leur industrialisation Accompagner les équipes dans l'usage de l'Infrastructure as Code Définir les standards CI/CD pour les équipes data (tests, lint, automatisation) 💰 FinOps & Optimisation Mettre en place un suivi budgétaire par équipe Implémenter des outils d'alerting et monitoring (quotas, seuils, dérives) Identifier les leviers d'optimisation et participer à la roadmap FinOps

Client final : secteur paiement – mission longue – environnement Cloudera CDP Nous recherchons un Administrateur Lakehouse / Administrateur Cloudera confirmé ou senior pour accompagner l’un de nos clients grands comptes dans la gestion et l’exploitation de son écosystème Big Data. 🎯 Compétences OBLIGATOIRES (critères majeurs) 👉 Maîtrise parfaite des composants Lakehouse suivants : Apache Ranger (Data Security) Apache Atlas (Gouvernance & Lineage) Spark + Apache Zeppelin (Processing) NiFi (Ingestion) Apache Impala (Analytics) Hadoop (HDFS) + Apache Kudu (Data Lake) Hue (Serving / SQL UI) ➡️ Ces compétences sont indispensables : seuls les profils maîtrisant ces briques seront retenus. 🧩 Vos responsabilités Administrer et maintenir l’écosystème Cloudera / CDP (Cloudera Manager, HDFS, Yarn, Zookeeper…). Assurer le MCO/MCS : disponibilité, performances, sécurité, supervision. Documenter les procédures d’exploitation & rédiger des rapports synthétiques. Respecter les SLA et intervenir en cas d’incident. Travailler en environnement ITIL (gestion incidents, problèmes, changements). Automatiser les déploiements via Ansible (certificats, keystores, configurations). Utiliser les outils DevOps : GitHub , Jenkins . Exploiter les environnements Linux (analyse de logs, diagnostic). Participer aux réunions d’équipe, aux projets et aux comités. Être force de proposition sur l’amélioration continue et la supervision. 🌍 Environnement technique Cloudera CDP • Cloudera Manager • HDFS • Yarn • Zookeeper Apache Ranger • Apache Atlas • Spark • Zeppelin • NiFi • Impala Hadoop • Kudu • Hue Ansible • GitHub • Jenkins • Linux 📌 Profil recherché 5 à 7+ ans en administration Big Data / Hadoop / Cloudera impératif. Très forte expertise sur les briques Lakehouse listées ci-dessus. À l’aise en production, ITIL, sécurité, automatisation. Bon niveau d’anglais (échanges éditeurs Cloudera & fournisseurs). Consultant autonome, structuré, capable de rendre compte et d’améliorer l’existant. 🚀 Disponibilité immédiate ou rapide Si vous maîtrisez Cloudera + Ranger + Atlas + Spark + NiFi + Impala + Kudu , contactez-moi directement.

Pourquoi cette mission ? Rejoignez la DSI d’un grand groupe bancaire pour piloter la transformation technique des plateformes Risk . Au menu : architectures data & services modernes, industrialisation CI/CD, Kubernetes à l’échelle, qualité logicielle au cordeau — avec un vrai impact sur la performance et la fiabilité du SI Risque. Votre rôle Tech Lead hands-on, vous pilotez la conception et l’industrialisation des produits Risk RRO , vous accompagnez les devs au quotidien et vous êtes le point d’entrée technique des architectes. Vous faites progresser les standards d’ingénierie, sécurisez les mises en production et tenez le cap sur la dette/obsolescences. Missions clés Cadrage & architecture Concevoir des solutions en architectures orientées Data & Services (dont hexagonale ). Contribuer aux choix techniques, challenger les patterns, cadrer les impacts. Engineering & qualité Définir les bonnes pratiques de dev (code review, testabilité, perf, SLO/SLA, qualimétrie Sonar). Mettre en place/faire évoluer les CI/CD (GitLab CI, runners, quality gates, artefacts). Prendre en charge des développements ciblés et les tests (unitaires, non-régression). Run & fiabilité Veiller au bon fonctionnement des applications, suivre les incidents, piloter les corrections. Gérer les obsolescences techniques et planifier les remédiations. Leadership & delivery Animer les rituels (ateliers, points d’avancement), lever les blocages, arbitrer. Faire monter en compétence les équipes de développement (multi-sites). Estimer/chiffrer les solutions, tenir les jalons, produire la documentation technique . Interface & gouvernance Être l’interlocuteur privilégié des architectes pour aligner les évolutions techniques. Garantir la mise en œuvre des préconisations d’architecture au fil des releases. Environnement technique Dev & qualité : GitLab, Artifactory, Sonar Plateformes : Kubernetes , Kafka, Airflow, MapR (Flexible LakeHouse apprécié) Langages & frameworks : Python , Java (Spring), Angular , Spark , Shell Data : DB2 , PostgreSQL , Vertica , Hadoop Livrables attendus Dossiers d’architecture & schémas Pipelines CI/CD industrialisés, artefacts versionnés Code & tests (unitaires, non-régression) + documentation technique Plans de remédiation des obsolescences et comptes-rendus de qualité Notes de cadrage, chiffrages et plans de delivery