Find your next tech and IT Job or contract Apache Spark

Dans le cadre d’un programme stratégique de transformation Data, notre client renforce son équipe avec un(e) Lead Data Engineer spécialisé(e) sur l’écosystème Databricks. L’objectif est d’accompagner la mise en place d’une nouvelle plateforme de données moderne, capable de répondre aux enjeux de performance, de gouvernance, de qualité et de valorisation de la donnée. Vous interviendrez sur des projets structurants autour de l’industrialisation des flux de données, de la modélisation des référentiels analytiques et de la diffusion des données vers les outils décisionnels. Vos missions: Concevoir, développer et industrialiser des pipelines de données sur Databricks et Spark. Participer à la définition et à la mise en œuvre du modèle de données cible. Structurer les flux de données afin de garantir leur qualité, leur cohérence et leur performance. Contribuer à l’exposition et à la valorisation des données auprès des équipes BI et des utilisateurs métiers. Définir et mettre en place les standards de développement, de qualité et d’industrialisation. Mettre en œuvre les pratiques de tests automatisés et les processus CI/CD. Participer aux travaux de migration et de transformation de la plateforme Data. Accompagner les équipes sur les sujets techniques liés à Databricks et aux architectures Lakehouse. Contribuer à l’amélioration continue des solutions et des méthodes de travail. Assurer un rôle de référent technique sur les problématiques Data Engineering.

Dans le cadre de la modernisation de sa plateforme de données, notre client recherche un(e) Data Engineer pour accompagner la transformation de traitements décisionnels existants vers un environnement Big Data et Cloud. Vous interviendrez sur des projets à fort impact, mêlant évolution des systèmes historiques, industrialisation des flux de données et mise en place de nouvelles architectures orientées performance et scalabilité. Vous intégrerez une équipe technique engagée dans l’amélioration continue des plateformes de données et contribuerez activement à la construction d’un écosystème moderne, robuste et pérenne. Vos missions: Modernisation des traitements de données Migration de traitement Informatica et PL /SQL vers SPARK(java) Maintenance corrective et évolutive des traitements PL/SQL Refonte Cloud(Databricks) Conception et mise en oeuvre de pipelines de données sur Databricks Industrialisations des traitements dans un environnement moderne

Notre client dans le secteur Banque et finance recherche un Ingénieur Applications Big Data (Spark, Trino, Jupyter) H/F Descriptif de la mission: Ingénieur Applications Big Data Contexte et objectif de la mission : Recherche d'un Ingénieur Big Data expérimenté pour administrer et optimiser des solutions Big Data (Spark, Trino, MinIO) sur un cluster Kubernetes au sein d'un grand groupe bancaire. Le rôle requiert une forte expertise en tuning applicatif, support et approche DevOps/GitOps. Missions principales • Déploiement et administration avancée des applications Spark, Trino ou Jupyter sur Kubernetes • Tuning et optimisation des performances : ajustement des configurations, analyse des logs, debugging avancé, optimisation des requêtes SQL sur Trino, tuning des jobs Spark • Gestion du RUN et support applicatif : diagnostic et résolution des incidents, amélioration continue des performances, accompagnement des utilisateurs sur l'optimisation des requêtes • Mise en place de l'approche GitOps : automatisation complète du déploiement et de la gestion des applications avec Terraform, Ansible, Git, ArgoCD ou FluxCD • Sécurisation et monitoring avancé : implémentation de métriques et alertes sur Prometheus, Grafana, Loki, gestion des accès et des logs applicatifs

Vos missions Votre travail consistera à accompagner la migration et l’industrialisation d’une plateforme data cible basée sur Databricks, Spark et Power BI. Conception et développement des pipelines data Concevoir, développer et maintenir des pipelines data sous Databricks et Spark. Développer les traitements en Python, PySpark et SQL. Mettre en place des traitements robustes, maintenables et scalables. Contribuer à la définition et à la mise en œuvre du modèle de données cible. Industrialisation et qualité Industrialiser les pipelines de données à travers les standards de développement, les tests, le CI/CD et les déploiements. Mettre en œuvre les bonnes pratiques de développement et accompagner les équipes dans leur adoption. Contribuer à la qualité, à l’observabilité et à la fiabilité des traitements. Participer au suivi de production, à l’analyse des incidents et à l’amélioration continue. Performance et exploitation Prendre en compte les enjeux de performance et de maîtrise des coûts. Orchestrer les traitements via Databricks Workflows. Participer à l’intégration des sources d’alimentation du datalake. Architecture et collaboration Contribuer aux choix techniques liés à la plateforme data. Participer au cadrage des besoins avec les équipes utilisatrices. Contribuer à l’interfaçage avec les outils de restitution de données. Participer à la documentation technique et aux standards de l’équipe. Participer aux rituels agiles et aux activités d’amélioration continue.

Missions Concevoir et maintenir des pipelines de données sous Azure Data Factory. Modéliser les données dans Azure Synapse Analytics (modèles analytiques, schémas en étoile). Développer des traitements de données à grande échelle avec Python et Spark. Assurer l’orchestration des flux de données. Garantir la qualité, la cohérence et la fiabilité des données. Collaborer avec les équipes métiers pour recueillir et comprendre les besoins. Participer à l’industrialisation des développements via les pratiques CI/CD. Réaliser des analyses techniques et proposer des recommandations d’amélioration. Profil recherché Bac+5 en Informatique, Data ou équivalent. 4 à 7 ans d’expérience en Business Intelligence ou Data Engineering. Expérience significative sur l’écosystème Microsoft Azure. Maîtrise de la modélisation de données et des environnements décisionnels. Capacité à intervenir sur l’ensemble du cycle de vie des flux de données. Bon relationnel et aptitude à travailler avec des interlocuteurs métiers. Anglais professionnel indispensable. Compétences techniques Azure Data Factory Azure Synapse Analytics / SQL Python Spark Power BI Modélisation de données (Star Schema) CI/CD Azure DevOps (ou équivalent) Environnement technique Azure Data Factory • Azure Synapse Analytics • SQL • Python • Spark • Power BI • Azure DevOps • Data Lake Azure

Missions principales: Assurer le maintien en conditions opérationnelles (RUN/MCO) de la plateforme Big Data. Prendre en charge le support N3 et la résolution d'incidents complexes. Administrer et optimiser les environnements Cloudera CDH/CDP . Piloter et superviser les composants Hadoop (HDFS, YARN) et Spark . Gérer les sujets de sécurité ( Kerberos, Ranger ). Contribuer à l'automatisation et à l'industrialisation des opérations ( Jenkins, CI/CD ). Apporter un leadership technique auprès des équipes. Participer aux projets d'évolution vers Azure et Databricks . Compétences requises: Indispensables : Cloudera Manager Hadoop (HDFS, YARN) Spark RUN / MCO de plateformes critiques Support N3 et gestion d'incidents Kerberos / Ranger Jenkins et outils CI/CD Linux Appréciées : Azure Databricks Scripting Shell ou Python Environnements Cloud hybrides

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Lead tech Java Angular Spark (H/F) à Lyon, France. Contexte : Le Groupe réalise des études et des produits data innovants sur des sujets tels que la maintenance prédictive, la mobilité électrique, les charges sur le réseau. Les missions attendues par le Lead tech Java Angular Spark (H/F) : Activité principale En tant que Lead Tech Java/Angular, vous serez responsable de : - Développer et maintenir des applications web en Java Spring Boot (backend) et Angular (frontend). - Avoir une sensibilité accrue aux performances et à la maintenabilité, à la sécurité (ex : Grafana, Kibana, Elastic search, Datadog). - Expérience confirmée en conception d'architecture scalable et en collaboration avec des équipes Data. - Maintien de la qualité logicielle : Effectuer des revues de code régulières, promouvoir et diffuser les bonnes pratiques de développement au sein de l'équipe. - Appui aux projets : Fournir une aide ponctuelle et des conseils techniques aux différents projets en cours. - Cadrage technique des sujets : Participer à la définition des besoins techniques et à la planification des solutions à mettre en place. - Échanges transverses avec les autres équipes : Collaborer avec les équipes transverses pour remonter les besoins et implémenter un cadre commun de travail. - Veille technique et curiosité sur l'état de l'art des nouvelles technos. Activité secondaire - Cadrage, accompagnement technique des différents projets - Accompagnement des PO - Industrialisation de projets - Capacité à intervenir tout le cycle de vie d'un projet : du POC à la prod Stack technique de l'équipe • Python • Java (21, 25), • spring boot (3.5 à 4.0), • spring batch (5, 6), • spring security, • Angular (18 à 22), • spark, • hadoop, • Postgresql (15), • grafana, • kibana • Kafka • airflow

Votre rôle sera de : La mission a pour objectif le développement de Micro Services ayant pour fonction de collecter , transformer et alimenter le comptoir de données. Architecture évènementielle (Message Broker KAFKA Confluent), hébergée dans le cloud AWS. Activités : Développement , mise en place des TDD et BDD, déploiement Compétences et qualités attendues : Langage : Java Framework : Spring Boot. BDD : MongoDB , Message Broker : Kafka CI/CD : Docker, Kubernetes, GitLab, Jenkins, Artifactory, Sonar Test : JUnit, TestContainers, Gatling Cloud : AWS, Confluent Pattern & Architecture : Event Driven Architecture, Microsevice Architecture

Contexte de la mission Cette équipe en cours de construction est aujourd'hui constituée d'un chef de projet. Elle est accompagnée par diverses ressources du pôle, du département ou des équipes applicatives ( managers, coodinateurs, référent techniques, pilote de système applicatifs...). La mission du projet : Accompagner la migration et l’industrialisation d’une plateforme data cible autour de Databricks / Spark / Power BI​ Description du profil: Nous recherchons un Lead Data Engineer / Expert Databricks pour accompagner la migration et l’industrialisation d’une nouvelle plateforme data. Le profil interviendra sur la conception de pipelines Databricks / Spark, la structuration du modèle de données cible et la mise en place de standards de développement robustes, maintenables et industrialisés. Le profil devra accompagner les équipes de développement pour assurer le respect des bonnes pratiques établies pendant la migration. Une capacité à prendre du recul, à proposer des choix techniques structurants et à travailler avec des équipes Data, BI et métier est attendue. Une connaissance de Power BI est appréciée pour faciliter l’exposition des données vers les usages analytiques. Objectifs et livrables Activité principale : Concevoir, développer et maintenir des pipelines data sous Databricks / Spark Développer les traitements en Python, PySpark et SQL Contribuer à la définition et à la mise en œuvre du modèle de données cible Industrialiser les pipelines : standards de développement, tests, CI/CD, déploiement Mettre en place des traitements robustes, maintenables et scalables Orchestrer les traitements via Databricks Workflows / Lakeflow Jobs Contribuer à la qualité, à l’observabilité et à la fiabilité des traitements Participer au run : suivi de production, analyse d’incidents, amélioration continue Prendre en compte les enjeux de performance et de maîtrise des coûts Activité secondaire : Participer au cadrage des besoins avec le Product Owner et les équipes utilisatrices Contribuer aux choix techniques liés à la nouvelle plateforme data Participer à la mise en place des pratiques de développement Databricks Contribuer à l’interfaçage avec Power BI ou à des processus intégrés Databricks / Power BI Participer à l’intégration de sources d’alimentation du datalake, Kafka apprécié Contribuer à la documentation technique et aux standards d’équipe Participer aux rituels agiles et à l’amélioration continue de la feature team Stack technique de l'équipe: Obligatoires : Databricks, Spark, PySpark, Python, SQL Obligatoires : Modélisation data, Delta Lake, Unity Catalog Obligatoires : CI/CD, tests, industrialisation des pipelines Demandées : Certification Databricks, cloud public, Terraform Demandées : Databricks Workflows, observabilité Appréciées : Kafka, Lakeflow / DLT, Power BI Appréciées : Certification cloud

Au sein du SI de notre client dans le domaine de l'énergie, le périmètre concerne le pilotage de la partie BI et notamment les points suivants : • Piloter le système client et les processus métier associés • Garantir la qualité et la cohérence des données • Fournir les données pour l’analyse et l’amélioration continue du système Elle est utilisée par environ 1000 utilisateurs (analystes, experts métiers, experts SI). Le projet est composé de cinq équipes couvrant à la fois le développement des traitements fonctionnels, des reportings ainsi que la gestion des plateformes et de l’outillage. Dans un contexte de transformation du SI décisionnel, l’équipe porte actuellement des enjeux forts de modernisation des traitements Big Data, avec une migration en cours vers Spark ainsi qu’un projet de refonte complète dans le cloud basé sur Databricks à moyen terme.

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Lead tech Python Spark (H/F) à Lyon, France. Contexte : Le Groupe réalise des études et des produits data innovants sur des sujets tels que la maintenance prédictive, la mobilité électrique, les charges sur le réseau. Les missions attendues par le Lead tech Python Spark (H/F) : Activité principale Développement d’applications et de traitements orientés data en Python : Création et maintenance d'API, de dashboards et de pipelines pour analyser et visualiser les données. Maintien de la qualité logicielle : Effectuer des revues de code régulières, promouvoir et diffuser les bonnes pratiques de développement au sein de l'équipe. Appui aux projets : Fournir une aide ponctuelle et des conseils techniques aux différents projets en cours. Cadrage technique des sujets : Participer à la définition des besoins techniques et à la planification des solutions à mettre en place. Échanges transverses avec les autres équipes : Collaborer avec les équipes transverses pour remonter les besoins et implémenter un cadre commun de travail. Activité secondaire Cadrage, accompagnement technique des différents projets Accompagnement des PO Industrialisation de projets Etudes data Stack technique de l'équipe Python : FastAPI, Dash, Pandas, parallélisation, packaging, PyTest Spark (PySpark / Scala) SQL : PostgreSQL, Teradata Hadoop Git Gitlab CI/CD Jira / Confluence / Bitbucket

Contexte de la mission Dans le cadre d'un programme de transformation digitale d'envergure, vous rejoindrez une équipe agile dédiée au développement d'une plateforme de données temps réel. Cette plateforme permet de centraliser, traiter et valoriser des données clients afin de proposer de nouveaux services digitaux et d'accompagner la modernisation du système d'information. Vous évoluerez au sein d'un environnement collaboratif, orienté qualité de code, amélioration continue et excellence technique. Vos missions Développer et mettre en œuvre de nouvelles fonctionnalités à partir des besoins métiers priorisés Concevoir des solutions techniques robustes et évolutives. Participer aux choix d'architecture et aux orientations techniques de l'équipe. Concevoir et développer des API. Automatiser les tests et promouvoir les bonnes pratiques de développement. Garantir la qualité, la performance et la maintenabilité des applications. Assurer le bon fonctionnement des solutions en production. Accompagner les membres de l'équipe dans une démarche d'amélioration continue. Environnement technique Langages & Frameworks Java Scala Apache Spark (Streaming & Batch) Apache Kafka Data & Big Data Hadoop / Cloudera HDFS Hive HBase Phoenix API & Intégration Développement d'API DevOps & Qualité GitLab CI/CD Jenkins Artifactory SonarQube ELK Grafana XRAY JUnit Automatisation des tests / Craftsmanship Méthodologie Agile Scrum

Contexte de la mission Description du besoin : La mission consiste à assurer le maintien en conditions opérationnelles des socles Hadoop Cloudera Hors-Prod et Prod et la participation aux projets d’évolution technique de ces socles. Activités principales : Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances ; Capacity planning : suivi et mise en place d’outils et procédures ; Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques ; Rédaction de procédures d'administration et d’exploitation ; Intégration avec l'outillage de l'écosysteme DSI pour l'exploitation du SI Support expertise aux équipes Etudes et exploitation Projets d’évolution des architectures techniques (évolutions logicielles et matérielles, sécurité, amélioration de l’existant, évolution des fonctionnalités techniques ou fonctionnelles) : la participation attendue peut se situer sur le pilotage, la définition d’architecture et la rédaction des dossiers, la mise en œuvre. Hadoop est le périmètre technique principal d’exécution de la mission ; cependant des compétences supplémentaires sur d’autres solutions Data seront très appréciées. La mission nécessite à la fois une totale autonomie et une capacité de travail en équipe et de communication. Des astreintes ou interventions ponctuelles en HNO pourront être ponctuellement demandées.