Find your next tech and IT Job or contract Apache Spark

En tant que Data Engineer, vous intervenez sur la conception, le développement et l’optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d’équipes agiles et pluridisciplinaires , en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d’un fort esprit analytique et d’une grande rigueur Vous êtes autonome , proactif et doté d’un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches , gérer les contraintes et respecter vos engagements Vous disposez d’un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence , Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d’interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d’un bagage en software engineering , vous permettant d’écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d’intégration, revue de code) Vous êtes à l’aise avec les outils de versioning ( Git ) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l’évolutivité et de l’observabilité

En tant que Data Engineer, vous intervenez sur la conception, le développement et l’optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d’équipes agiles et pluridisciplinaires , en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d’un fort esprit analytique et d’une grande rigueur Vous êtes autonome , proactif et doté d’un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches , gérer les contraintes et respecter vos engagements Vous disposez d’un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence , Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d’interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d’un bagage en software engineering , vous permettant d’écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d’intégration, revue de code) Vous êtes à l’aise avec les outils de versioning ( Git ) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l’évolutivité et de l’observabilité

Dans le cadre du renforcement d'une équipe de développement, nous recherchons un Développeur Java orienté Data pour intervenir sur l'évolution et la maintenance d'une plateforme de traitement de données à forte volumétrie. Vous participerez au développement de composants et de fonctionnalités autour d'un framework interne dédié aux traitements de données et aux flux applicatifs. Missions Développer et faire évoluer des fonctionnalités en Java dans un environnement Data. Participer aux développements liés aux chaînes de traitement de données (ETL). Contribuer à la rédaction des spécifications techniques. Participer aux cérémonies Agile et aux réunions projets. Assurer la correction d'anomalies et la clôture des tickets liés aux nouvelles fonctionnalités. Garantir la qualité et la maintenabilité du code produit.

Contexte de la mission Dans le cadre de la transformation et de l'industrialisation d'une plateforme Data stratégique au sein d'un grand acteur national, nous recherchons un Lead Data Engineer / Expert Databricks pour accompagner la migration vers une nouvelle architecture Data moderne. Vous interviendrez au sein d'une équipe transverse en charge de la refonte des plateformes décisionnelles et analytiques, avec un fort enjeu de standardisation, performance et industrialisation des traitements. Missions principales Conception et développement de pipelines Data sous Databricks / Spark Développement Python, PySpark et SQL Participation à la définition du modèle de données cible Industrialisation des traitements (CI/CD, tests, déploiement) Mise en œuvre des bonnes pratiques de développement Data Orchestration des flux via Databricks Workflows Participation au RUN, à l'amélioration continue et à l'observabilité des traitements Accompagnement des équipes sur les standards techniques et les choix d'architecture Contribution aux sujets de performance et d'optimisation des coûts Cloud

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Développeur Big Data Spark (H/F) à Lyon, France. Contexte : Au sein du pôle de la DSI, le projet de BI du système et répond aux enjeux suivants : • Piloter le système et les processus métier associés • Garantir la qualité et la cohérence des données • Fournir les données pour l’analyse et l’amélioration continue du système Elle est utilisée par environ 1000 utilisateurs (analystes, experts métiers, experts SI). Le projet est composé de cinq équipes couvrant à la fois le développement des traitements fonctionnels, des reportings ainsi que la gestion des plateformes et de l’outillage. Dans un contexte de transformation du SI décisionnel, l’équipe porte actuellement des enjeux forts de modernisation des traitements Big Data, avec une migration en cours vers Spark ainsi qu’un projet de refonte complète dans le cloud basé sur Databricks à moyen terme. Les missions s’inscrivent dans une trajectoire progressive : Phase 1 : Modernisation des traitements existants • Migration de traitements Informatica et PL/SQL vers Spark (Java) • Participation à l’optimisation des traitements existants • Maintenance corrective et évolutive des traitements PL/SQL • Appropriation des processus métier derrière les flux de données Phase 2 : Refonte cloud (Databricks) • Participation au projet stratégique de migration vers le cloud • Conception et mise en œuvre de pipelines de données sur Databricks • Industrialisation des traitements dans un environnement moderne Les missions attendues par le Développeur Big Data Spark (H/F) : Activité principale • Concevoir, développer et maintenir des pipelines de données en Spark (Java) • Migrer des traitements legacy vers des architectures Big Data modernes • Assurer la maintenance des traitements existants SQL / PL-SQL • Garantir la performance, la robustesse et la qualité des données • Participer activement au RUN et à l’amélioration continue Activité secondaire • Contribution aux bonnes pratiques de développement et d’exploitation • Mise à jour du référentiel documentaire • Partage de connaissances au sein de l’équipe • Participation à la guilde Spark de l’équipe (choix de conception, optimisation des traitements, road map technique etc…) Stack technique de l'équipe : Spark, Java, Ceph, Tableau Server, Oracle, Informatica, Maven, Control-M, Git, Jenkins, Terraform

Dans le cadre de projets d'intégration de données à forte valeur ajoutée, nous recherchons un Data Engineer Senior maîtrisant l'écosystème Databricks sur GCP. Vos principales missions : Conception et développement de jobs d'intégration de données en PySpark, Spark et Python, en modes streaming et batch, sur la plateforme Databricks Mise en œuvre des chaînes CI/CD (GitHub, DevOps, Databricks Asset Bundles), de l'orchestration, du data management et de la sécurité Optimisation des jobs et des ressources cloud (GCP et Databricks) Mise en place de dashboards FinOps pour le suivi de l'usage des ressources GCP / Databricks Participation aux astreintes et au support en production de l'application Rédaction de documentation, formation continue et partage de connaissances au sein de l'équipe

Acteur majeur dans le domaine IT, depuis notre création en 1993, nous n'avons cessé de croître et d'évoluer. Avec une équipe dévouée de près de 1.400 collaborateurs répartis sur plusieurs sites en Belgique, au Luxembourg, en France et au Canada, NSI a suivi une trajectoire exceptionnelle. Notre entreprise est à la pointe de la révolution numérique, offrant une gamme complète de services IT, de l'analyse au développement de logiciels, en passant par l'architecture et la gouvernance IT. Votre rôle au sein de NSI Nous recherchons un(e) Consultant(e) Data Analyst – Big Data H/F afin d'intervenir au sein d'un grand acteur du secteur des télécoms, sur le pilotage de la qualité de service de son réseau fixe. Descriptif des missions Au sein d'une cellule dédiée à la qualité de service, vous produisez des analyses à partir de datasets que vous constituez sur les données issues des plateformes Big Data du client. Vous avez également la responsabilité de rendre disponibles les données une fois celles-ci nettoyées, préparées et formatées, sous forme de datasets ou de tables mis à disposition des Data Scientists de l'équipe. Vous développez enfin des tableaux de bord de suivi des KPI. Missions Constituer des datasets à partir des données des plateformes Big Data Nettoyer, préparer et formater les données Mettre à disposition des Data Scientists des datasets et des tables exploitables Développer des tableaux de bord de suivi des KPI Produire des analyses commentées

Ingénieur Data Spark / Scala — Nanterre Localisation : Nanterre Démarrage : ASAP / dès que possible Niveau : Confirmé Durée : mission longue durée Dans le cadre d’un projet de Business Intelligence & Big Data pour un acteur majeur du secteur de l’assurance, nous recherchons un(e) Ingénieur Data Spark / Scala afin de contribuer à la conception, au développement et à l’industrialisation de traitements Data sur une architecture Big Data. Vos missions Participer à la conception détaillée des traitements Data . Rédiger les spécifications fonctionnelles générales et détaillées. Développer des traitements Spark / Scala . Manipuler les données raffinées du Datalake selon les règles métiers décisionnelles définies. Contribuer à la formalisation des plans de tests. Réaliser les tests unitaires et les premiers tests d’intégration. Analyser et corriger les anomalies en phase d’intégration fonctionnelle et de recette utilisateur. Préparer le packaging des traitements. Déployer les composants en préproduction et en production. Optimiser les traitements afin de garantir les standards de qualité de service. Mettre en œuvre des solutions industrielles et de réentrance pour sécuriser la reprise des traitements en cas d’incident de production. Participer à la mise en service et accompagner le déploiement. Assurer le suivi des environnements. Stack / environnement Big Data : Spark, Scala, Hadoop, Datalake Datawarehouse : Exadata, alimentation de Datawarehouse communautaire Base de données : Oracle Industrialisation : Packaging, déploiement préproduction / production, réentrance des traitements DevOps / versioning : GitLab Contexte projet : Business Intelligence, Big Data, traitements décisionnels, règles métiers Data Environnement complémentaire apprécié : Apache Mesos Qualité de service : Optimisation des traitements, suivi des environnements, reprise sur incident Candidature Vous souhaitez contribuer à un projet structurant de Business Intelligence & Big Data , autour de traitements Spark / Scala , Datalake Hadoop et Datawarehouse Exadata ? Merci de postuler directement.

Contexte de la consultation Dans le cadre de l’exploitation, de la sécurisation et de l’amélioration continue de sa plateforme Data, l’entreprise souhaite s’appuyer sur une expertise externe spécialisée autour des technologies Apache Spark, Apache Airflow et Starburst/Trino, déployées et opérées sur une infrastructure Kubernetes. Cette plateforme constitue un socle critique pour l’exécution de traitements de données, l’orchestration de chaînes applicatives, l’exposition de services analytiques et l’interrogation distribuée de données par les équipes métiers, projets et Data. Les enjeux principaux sont les suivants : • garantir la stabilité et la disponibilité de la plateforme ; • améliorer la qualité du support production ; • réduire les incidents récurrents ; • optimiser l’usage des ressources Kubernetes ; • accompagner les équipes métiers et techniques dans leurs usages ; • renforcer les bonnes pratiques d’exploitation, de tuning et d’industrialisation ; • améliorer la performance des traitements Spark, des DAG Airflow et des requêtes Starburst/Trino. La prestation attendue s’inscrit dans un contexte de production, avec des exigences fortes en matière de disponibilité, de maîtrise des incidents, de sécurité, de traçabilité et de performance. __________ 2. expertise technique et opérationnelle plateforme Data reposant notamment sur : • Kubernetes pour l’orchestration des composants ; • Apache Spark pour le traitement distribué de données ; • Apache Airflow pour l’orchestration des workflows ; • Starburst / Trino pour l’interrogation distribuée des données ; • les outils associés de supervision, logs, alerting, sécurité et déploiement. Le consultant interviendra en appui des équipes de production, d’infrastructure, de Data Engineering, d’architecture et des métiers afin d’assurer le maintien en conditions opérationnelles, l’analyse des incidents, l’optimisation des traitements et l’amélioration continue de la plateforme. __________ 3. Objectifs de la prestation La mission devra permettre d’atteindre les objectifs suivants : • assurer un support de niveau expert sur les incidents liés à Spark, Airflow, Starburst/Trino et Kubernetes ; • améliorer la stabilité opérationnelle des workloads Data ; • diagnostiquer et corriger les problèmes de performance, de consommation de ressources ou de fiabilité ; • accompagner les équipes projets dans la mise en production de nouveaux traitements ; • assister les métiers dans l’usage optimisé de la plateforme ; • définir et formaliser des bonnes pratiques techniques ; • optimiser le dimensionnement et l’allocation des ressources Kubernetes ; • contribuer à la réduction des coûts d’exploitation liés à une mauvaise consommation CPU, mémoire, stockage ou I/O ; • renforcer l’observabilité, le monitoring et les procédures d’exploitation ;

Prestation : Prestation d’expertise Data Platform Technique : Kubernetes — Spark — Airflow — Starburst Contexte : Dans le cadre de l’exploitation, de la sécurisation et de l’amélioration continue de sa plateforme Data, l’entreprise souhaite s’appuyer sur une expertise externe spécialisée autour des technologies Apache Spark, Apache Airflow et Starburst/Trino, déployées et opérées sur une infrastructure Kubernetes. Cette plateforme constitue un socle critique pour l’exécution de traitements de données, l’orchestration de chaînes applicatives, l’exposition de services analytiques et l’interrogation distribuée de données par les équipes métiers, projets et Data. Les enjeux principaux sont les suivants : • garantir la stabilité et la disponibilité de la plateforme ; • améliorer la qualité du support production ; • réduire les incidents récurrents ; • optimiser l’usage des ressources Kubernetes ; • accompagner les équipes métiers et techniques dans leurs usages ; • renforcer les bonnes pratiques d’exploitation, de tuning et d’industrialisation ; • améliorer la performance des traitements Spark, des DAG Airflow et des requêtes Starburst/Trino. La prestation attendue s’inscrit dans un contexte de production, avec des exigences fortes en matière de disponibilité, de maîtrise des incidents, de sécurité, de traçabilité et de performance.