Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : - Conception détaillée, rédaction de spécifications fonctionnelles générales et détaillées - Développements SPARK / SCALA - Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. - Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. - Packaging et déploiement en pre-production et production. - Optimisation des traitements afin de garantir la qualité de service standards. - Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. - Mise en service et accompagnement au déploiement. - Suivi des environnements.

Résumé Le consultant Data Scientist / Data Engineer aura pour mission de concevoir et optimiser des systèmes de machine learning pour le traitement et l'analyse de données à partir de sources multi-données. Ce que nous recherchons Excellentes compétences en Python , avec une maîtrise de Polars et/ou Pandas . Expérience en traitement automatique du langage naturel (NLP) et en fine-tuning de modèles de machine learning légers . Expérience en Scala et Apache Spark pour les parcours orientés Data Engineering . Capacité à concevoir, développer et évaluer des pipelines de données . Familiarité avec les frameworks d’agents IA , notamment LangGraph . Capacité à adapter et évaluer des systèmes de machine learning sur différents contextes géographiques, linguistiques et domaines de données. Expérience dans l’ orchestration et l’optimisation de pipelines pour l’ingestion de données à grande échelle provenant de multiples sources.

Ingénieur Data Spark / Scala — Nanterre Localisation : Nanterre Démarrage : ASAP / dès que possible Niveau : Confirmé Durée : mission longue durée Dans le cadre d’un projet de Business Intelligence & Big Data pour un acteur majeur du secteur de l’assurance, nous recherchons un(e) Ingénieur Data Spark / Scala afin de contribuer à la conception, au développement et à l’industrialisation de traitements Data sur une architecture Big Data. Vos missions Participer à la conception détaillée des traitements Data . Rédiger les spécifications fonctionnelles générales et détaillées. Développer des traitements Spark / Scala . Manipuler les données raffinées du Datalake selon les règles métiers décisionnelles définies. Contribuer à la formalisation des plans de tests. Réaliser les tests unitaires et les premiers tests d’intégration. Analyser et corriger les anomalies en phase d’intégration fonctionnelle et de recette utilisateur. Préparer le packaging des traitements. Déployer les composants en préproduction et en production. Optimiser les traitements afin de garantir les standards de qualité de service. Mettre en œuvre des solutions industrielles et de réentrance pour sécuriser la reprise des traitements en cas d’incident de production. Participer à la mise en service et accompagner le déploiement. Assurer le suivi des environnements. Stack / environnement Big Data : Spark, Scala, Hadoop, Datalake Datawarehouse : Exadata, alimentation de Datawarehouse communautaire Base de données : Oracle Industrialisation : Packaging, déploiement préproduction / production, réentrance des traitements DevOps / versioning : GitLab Contexte projet : Business Intelligence, Big Data, traitements décisionnels, règles métiers Data Environnement complémentaire apprécié : Apache Mesos Qualité de service : Optimisation des traitements, suivi des environnements, reprise sur incident Candidature Vous souhaitez contribuer à un projet structurant de Business Intelligence & Big Data , autour de traitements Spark / Scala , Datalake Hadoop et Datawarehouse Exadata ? Merci de postuler directement.

Vous rejoindrez notre équipe en charge d'exploiter les données de l'ensemble du back office dans un Datalake (Hadoop) afin d'alimenter un dataware communautaire stockée sur une base de données Exadata. Vos missions consisteront à contribuer: Assurer la conception détaillée des nouveaux traitement Spark Scala, Rédiger les spécifications fonctionnelles générales et détaillées, Assurer le développement sous SPARK/ SCALA, Formaliser les plans de tests, Exécuter les tests unitaires, tests d'intégration, Résoudre les anomalies lors de la phase d'intégration fonctionnelle et de recette utilisateur, Assurer le packaging et le déploiement pré-production et production, Optimiser les traitements afin de garantir la qualité de service, Mettre en oeuvre des solutions permettant une reprise des traitements en cas d'incidents de production, Accompagner les équipes dans le déploiement, Assurer un suivi des environnements,

Bonjour, pour le compte de notre client du secteur de l'energie. Nous somme à expert technique BI.. Il est attendu qu’il maîtrise les socles Databricks et PowerBI. Databricks (Spark, Delta Lake, pipelines, optimisation) ETL / Data Engineering (Python, SQL, pipelines de données) un niveau avancé sur les technos suivante ; PowerBI (modélisation, DAX, déploiement) Modélisation de données BI / architecture de la donnée Veille & vision de l'évolution du marché BI (analytique agentique, BI conversationnelle) Pratiques Agile / Scrum (Jira, Confluence) et un niveau confirmé sur : Azure (Synapse, Data Factory, Storage) Outillage agentique IA & GenAI appliqués à la donnée (talk to your data, GenBI, agents data)

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Lead tech Java Angular Spark (H/F) à Lyon, France. Contexte : Le Groupe réalise des études et des produits data innovants sur des sujets tels que la maintenance prédictive, la mobilité électrique, les charges sur le réseau. Les missions attendues par le Lead tech Java Angular Spark (H/F) : Activité principale En tant que Lead Tech Java/Angular, vous serez responsable de : - Développer et maintenir des applications web en Java Spring Boot (backend) et Angular (frontend). - Avoir une sensibilité accrue aux performances et à la maintenabilité, à la sécurité (ex : Grafana, Kibana, Elastic search, Datadog). - Expérience confirmée en conception d'architecture scalable et en collaboration avec des équipes Data. - Maintien de la qualité logicielle : Effectuer des revues de code régulières, promouvoir et diffuser les bonnes pratiques de développement au sein de l'équipe. - Appui aux projets : Fournir une aide ponctuelle et des conseils techniques aux différents projets en cours. - Cadrage technique des sujets : Participer à la définition des besoins techniques et à la planification des solutions à mettre en place. - Échanges transverses avec les autres équipes : Collaborer avec les équipes transverses pour remonter les besoins et implémenter un cadre commun de travail. - Veille technique et curiosité sur l'état de l'art des nouvelles technos. Activité secondaire - Cadrage, accompagnement technique des différents projets - Accompagnement des PO - Industrialisation de projets - Capacité à intervenir tout le cycle de vie d'un projet : du POC à la prod Stack technique de l'équipe • Python • Java (21, 25), • spring boot (3.5 à 4.0), • spring batch (5, 6), • spring security, • Angular (18 à 22), • spark, • hadoop, • Postgresql (15), • grafana, • kibana • Kafka • airflow

Contexte de la consultation Dans le cadre de l’exploitation, de la sécurisation et de l’amélioration continue de sa plateforme Data, l’entreprise souhaite s’appuyer sur une expertise externe spécialisée autour des technologies Apache Spark, Apache Airflow et Starburst/Trino, déployées et opérées sur une infrastructure Kubernetes. Cette plateforme constitue un socle critique pour l’exécution de traitements de données, l’orchestration de chaînes applicatives, l’exposition de services analytiques et l’interrogation distribuée de données par les équipes métiers, projets et Data. Les enjeux principaux sont les suivants : • garantir la stabilité et la disponibilité de la plateforme ; • améliorer la qualité du support production ; • réduire les incidents récurrents ; • optimiser l’usage des ressources Kubernetes ; • accompagner les équipes métiers et techniques dans leurs usages ; • renforcer les bonnes pratiques d’exploitation, de tuning et d’industrialisation ; • améliorer la performance des traitements Spark, des DAG Airflow et des requêtes Starburst/Trino. La prestation attendue s’inscrit dans un contexte de production, avec des exigences fortes en matière de disponibilité, de maîtrise des incidents, de sécurité, de traçabilité et de performance. __________ 2. expertise technique et opérationnelle plateforme Data reposant notamment sur : • Kubernetes pour l’orchestration des composants ; • Apache Spark pour le traitement distribué de données ; • Apache Airflow pour l’orchestration des workflows ; • Starburst / Trino pour l’interrogation distribuée des données ; • les outils associés de supervision, logs, alerting, sécurité et déploiement. Le consultant interviendra en appui des équipes de production, d’infrastructure, de Data Engineering, d’architecture et des métiers afin d’assurer le maintien en conditions opérationnelles, l’analyse des incidents, l’optimisation des traitements et l’amélioration continue de la plateforme. __________ 3. Objectifs de la prestation La mission devra permettre d’atteindre les objectifs suivants : • assurer un support de niveau expert sur les incidents liés à Spark, Airflow, Starburst/Trino et Kubernetes ; • améliorer la stabilité opérationnelle des workloads Data ; • diagnostiquer et corriger les problèmes de performance, de consommation de ressources ou de fiabilité ; • accompagner les équipes projets dans la mise en production de nouveaux traitements ; • assister les métiers dans l’usage optimisé de la plateforme ; • définir et formaliser des bonnes pratiques techniques ; • optimiser le dimensionnement et l’allocation des ressources Kubernetes ; • contribuer à la réduction des coûts d’exploitation liés à une mauvaise consommation CPU, mémoire, stockage ou I/O ; • renforcer l’observabilité, le monitoring et les procédures d’exploitation ;

Prestation : Prestation d’expertise Data Platform Technique : Kubernetes — Spark — Airflow — Starburst Contexte : Dans le cadre de l’exploitation, de la sécurisation et de l’amélioration continue de sa plateforme Data, l’entreprise souhaite s’appuyer sur une expertise externe spécialisée autour des technologies Apache Spark, Apache Airflow et Starburst/Trino, déployées et opérées sur une infrastructure Kubernetes. Cette plateforme constitue un socle critique pour l’exécution de traitements de données, l’orchestration de chaînes applicatives, l’exposition de services analytiques et l’interrogation distribuée de données par les équipes métiers, projets et Data. Les enjeux principaux sont les suivants : • garantir la stabilité et la disponibilité de la plateforme ; • améliorer la qualité du support production ; • réduire les incidents récurrents ; • optimiser l’usage des ressources Kubernetes ; • accompagner les équipes métiers et techniques dans leurs usages ; • renforcer les bonnes pratiques d’exploitation, de tuning et d’industrialisation ; • améliorer la performance des traitements Spark, des DAG Airflow et des requêtes Starburst/Trino. La prestation attendue s’inscrit dans un contexte de production, avec des exigences fortes en matière de disponibilité, de maîtrise des incidents, de sécurité, de traçabilité et de performance.

Au sein du SI de notre client dans le domaine de l'énergie, le périmètre concerne le pilotage de la partie BI et notamment les points suivants : • Piloter le système client et les processus métier associés • Garantir la qualité et la cohérence des données • Fournir les données pour l’analyse et l’amélioration continue du système Elle est utilisée par environ 1000 utilisateurs (analystes, experts métiers, experts SI). Le projet est composé de cinq équipes couvrant à la fois le développement des traitements fonctionnels, des reportings ainsi que la gestion des plateformes et de l’outillage. Dans un contexte de transformation du SI décisionnel, l’équipe porte actuellement des enjeux forts de modernisation des traitements Big Data, avec une migration en cours vers Spark ainsi qu’un projet de refonte complète dans le cloud basé sur Databricks à moyen terme.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Notre client dans le secteur Banque et finance recherche un Ingénieur Applications Big Data (Spark, Trino, Jupyter) H/F Descriptif de la mission: Ingénieur Applications Big Data Contexte et objectif de la mission : Recherche d'un Ingénieur Big Data expérimenté pour administrer et optimiser des solutions Big Data (Spark, Trino, MinIO) sur un cluster Kubernetes au sein d'un grand groupe bancaire. Le rôle requiert une forte expertise en tuning applicatif, support et approche DevOps/GitOps. Missions principales • Déploiement et administration avancée des applications Spark, Trino ou Jupyter sur Kubernetes • Tuning et optimisation des performances : ajustement des configurations, analyse des logs, debugging avancé, optimisation des requêtes SQL sur Trino, tuning des jobs Spark • Gestion du RUN et support applicatif : diagnostic et résolution des incidents, amélioration continue des performances, accompagnement des utilisateurs sur l'optimisation des requêtes • Mise en place de l'approche GitOps : automatisation complète du déploiement et de la gestion des applications avec Terraform, Ansible, Git, ArgoCD ou FluxCD • Sécurisation et monitoring avancé : implémentation de métriques et alertes sur Prometheus, Grafana, Loki, gestion des accès et des logs applicatifs

Panda Services , société de services informatiques, recherche pour l’un de ses clients basé à Paris (93) un(e) Chef/fe de Projet Data 🎯 Vos missions Assurer le pilotage technique du projet Coordonner les équipes de développement et les différentes parties prenantes Suivre l'avancement des travaux et garantir le respect des livrables Être l'interlocuteur privilégié du client Anticiper les risques et proposer les plans d'action adaptés 🛠 Compétences requises Bonne maîtrise de Spark Solides compétences en Python Expérience sur MongoDB Capacité à comprendre et challenger les sujets techniques 👤 Profil recherché Profil Senior Expérience significative en gestion de projets techniques Excellentes capacités de coordination et de communication 🌍 Anglais professionnel requis

Hello, Pour le compte de l'un de mes clients dans le secteur de l'énergie, je suis à la recherche d'un lead tech orienté Python & Spark. Impératifs : Excellente maîtrise de Python (+ 5 ans) Excellente maîtrise de Spark Maitrise des bonnes pratiques techniques et capacités de leadership technique pour communiquer efficacement et avec pédagogie. Description du profil : Référent technique dans une équipe Agile. Assure la responsabilité d'un ou plusieurs processus techniques. Minimum 5 années d'expérience en développement Python, avec une spécialisation en data engineering ou data science, et une expérience en leadership technique. Compétences attendues sur le profil : - Excellente maîtrise de Python et de ses librairies pour le traitement et l'analyse de données. - Familiarité avec Spark (PySpark ou Scala) pour le traitement de grandes volumétries de données. - Expérience en développement d'API et de dashboards avec FastAPI et Dash. - Bonne connaissance des bases de données SQL, notamment PostgreSQL et Teradata. - Maîtrise des outils de versioning et d'intégration continue, notamment Git et Gitlab CI/CD. - Compétences en gestion d'équipe et en leadership technique. En tant que Lead Tech Data, vous serez responsable de : - Développement d’applications et de traitements orientés data en Python : Création et maintenance d'API, de dashboards et de pipelines pour analyser et visualiser les données. - Maintien de la qualité logicielle : Effectuer des revues de code régulières, promouvoir et diffuser les bonnes pratiques de développement au sein de l'équipe. - Appui aux projets : Fournir une aide ponctuelle et des conseils techniques aux différents projets en cours. - Cadrage technique des sujets : Participer à la définition des besoins techniques et à la planification des solutions à mettre en place. - Échanges transverses avec les autres équipes : Collaborer avec les équipes transverses pour remonter les besoins et implémenter un cadre commun de travail.

Nous recherchons un(e) Data Engineer AWS Senior pour intégrer l’un de nos partenaires grand compte situé en Île-de-France. Vous rejoindrez une équipe agile et interviendrez sur des projets Data à forte valeur ajoutée. Dans ce cadre, vos missions seront les suivantes : Développement & intégration • Participation aux spécifications techniques • Développement de flux et pipelines de données Tests & support • Tests et recette • Support et maintenance des solutions Collaboration • Collaboration avec les équipes métiers et techniques Vous évoluerez dans un environnement technique comprenant AWS (EMR, S3, Lambda, Iceberg), Spark, Airflow et SQL.

Dans le cadre des projets portés par le groupe, vous intervenez comme Data Engineer expérimenté afin de contribuer à la conception, l’industrialisation et la maintenance de solutions data innovantes. Vous participez à la définition des solutions applicatives, au développement des traitements data, à leur intégration technique, ainsi qu’à leur suivi en production. Vos principales missions seront les suivantes : Concevoir, développer et maintenir des pipelines ETL / ELT pour des données structurées et non structurées. Préparer des datasets exploitables pour des usages d’exploration, d’analyse avancée, de data science ou de machine learning. Participer à l’industrialisation de modèles statistiques ou de machine learning. Mettre en œuvre les chaînes d’intégration, de déploiement et de suivi des solutions en production dans une logique DataOps / MLOps . Versionner les données, les modèles et le code. Monitorer la performance, la qualité et les coûts des traitements. Contribuer à l’amélioration continue des produits et solutions de la squad. Participer aux phases d’intégration, de recette technique et de mise en production. Surveiller les processus existants, identifier les axes d’amélioration et fiabiliser les traitements. Documenter les systèmes, les pipelines, les modèles et les processus mis en œuvre. Collaborer avec les membres de la squad, les équipes techniques, les utilisateurs et les parties prenantes métier.