Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Nous recherchons un(e) Tech Lead Cloudera - freelance pour rejoindre une entreprise d'envergure internationale dans le cadre de l'amélioration de ses environnements Big Data. Basé(e) à Toulouse, vous interviendrez en tant que référent technique sur le socle Big Data afin de garantir son bon fonctionnement et d'accompagner ses évolutions. Vos responsabilités : Veiller à la disponibilité, à la fiabilité et à la performance du socle Big Data. Assurer le support de niveau 2 et garantir l'efficacité des procédures de reprise. Analyser les demandes d'évolution et rédiger les dossiers techniques : analyses d'impact, procédures de mise en production, recettes. Concevoir des solutions techniques complexes, ou y contribuer, et accompagner les phases de pilote, l'industrialisation et la montée en compétences. Réaliser les tests d'assemblage, les recettes d'exploitabilité et les intégrations. Industrialiser les solutions et définir les règles d'exploitation. Jouer un rôle de référent auprès des équipes internes et externes, et animer la communication en amont et en aval avec les architectes et les exploitants. Veiller au respect des normes, standards et bonnes pratiques. Assurer une veille technologique régulière et participer à l'amélioration continue.

Vos missions Concevoir et faire évoluer une architecture de streaming pour la collecte, le traitement et l'analyse des données Développer des pipelines de traitement temps réel et batch avec Apache Flink, Apache Spark et Apache Iceberg Déployer les pipelines d'ingestion et de traitement en CI/CD et Infrastructure as Code, pour les environnements batch et streaming Participer à la migration et au refactoring de l'architecture historique vers AWS (Move to Cloud, ETL/ELT, batch et streaming) Contribuer à l'implémentation d'algorithmes de maintenance prédictive et de routage Industrialiser et exposer des modèles de Machine Learning sous forme d'API, en lien avec les équipes data science Assurer le monitoring, la fiabilité et la performance des traitements en production Environnement technique Streaming et traitement : Apache Flink, Apache Kafka (MSK), Kinesis, Apache Spark, Apache Iceberg Orchestration : Apache Airflow (MWAA) Cloud AWS : S3, Lambda, EKS, ECS, EC2, ECR, IAM, IoT Core IoT : MQTT, données capteurs remontées par satellite Data warehouse : Snowflake DevOps / IaC : Terraform, Docker, CI/CD Langages : Python, SQL Profil recherché Formation Bac+5 (école d'ingénieur ou master) en informatique, data ou télécommunications Au moins 5 ans d'expérience en data engineering, dont une part significative sur AWS Expérience solide des architectures streaming à forte volumétrie (Flink, Kafka ou Kinesis) Maîtrise de Terraform et des pratiques CI/CD appliquées aux pipelines de données Une expérience d'industrialisation de modèles ML (MLOps, mise en API, monitoring) est un vrai plus Une connaissance des données IoT ou industrielles (maintenance prédictive, capteurs) est appréciée Une certification AWS (Solutions Architect, Data Engineer) est un atout Anglais professionnel Savoir-être Autonomie et sens des responsabilités sur des systèmes critiques en production Capacité à dialoguer avec les équipes métier pour traduire leurs besoins en solutions techniques Rigueur, goût de la performance et de la qualité de la donnée Esprit d'équipe et envie de partager ses pratiques Informations pratiques Contrat : CDI chez Visian Azur Lieu : Marseille, présence régulière sur le site du client Démarrage : à définir ensemble Rémunération : selon profil et expérience

ContexteDans le cadre d'un projet stratégique autour de la gestion des risques climatiques et physiques, notre client recherche un Data Engineer Python / Spark pour contribuer à la mise en place d'une solution permettant d'ingérer, agréger et exposer des données issues de sources multiples afin de produire des reportings métier liés à la surveillance du risque de crédit. La mission s'inscrit au sein d'une équipe experte et engagée, sur un projet à forte visibilité basé sur Google Cloud Platform (GCP). Une expérience dans le domaine du risque de crédit est appréciée. MissionsConcevoir et développer des solutions Data en Python / Spark. Participer à l'intégration de données provenant de sources multiples. Exploiter les services Data & Compute de Google Cloud Platform. Contribuer à l'ingestion, l'agrégation et l'exposition des données. Participer à la mise en œuvre et à l'évolution des pipelines Data. Collaborer avec les équipes techniques et métier du projet. Contribuer aux pratiques DevOps et à l'industrialisation des solutions. Profil recherchéExpertise technique indispensable : Python / Spark BigQuery Dataproc Cloud Composer Cloud Functions Cloud Run Jobs Google Cloud Storage (GCS) DevOpsXL Deploy (XLD) Terraform Jenkins

Hello, Pour le compte de l'un de mes clients Lyonnais dans le secteur de l'énergie, je suis à la recherche d'un tech lead Spark/Java/Databricks. Description du profil : Les missions s'inscrivent dans une trajectoire progressive : Phase 1 : Modernisation des traitements existants • Migration de traitements Informatica et PL/SQL vers Spark (Java) • Participation à l'optimisation des traitements existants • Maintenance corrective et évolutive des traitements PL/SQL • Appropriation des processus métier derrière les flux de données Phase 2 : Refonte cloud (Databricks) • Participation au projet stratégique de migration vers le cloud • Conception et mise en œuvre de pipelines de données sur Databricks • Industrialisation des traitements dans un environnement moderne En parallèle des missions de développeur big data, le tech lead aura en charge la définition de la trajectoire technique de l'équipe Spark, l'animation et la montée en compétence des développeurs big data. Activité : • Concevoir, développer et maintenir des pipelines de données en Spark (Java) • Migrer des traitements legacy vers des architectures Big Data modernes • Assurer la maintenance des traitements existants SQL / PL-SQL • Garantir la performance, la robustesse et la qualité des données • Participer activement au RUN et à l'amélioration continue • Evolutions et MCO du socle technique • Définir les besoins sur l'outillage (workflow de dev, CI/CD) et participer aux évolutions en collaboration avec l'équipe DevOps • Définir les évolutions nécessaires sur le socle technique • Accompagner les DE dans la prise en main et la maitrise de la stack de développement (socle, spark, delta, databriks) • Assurer la cohérence globale du code produit par l'équipe. • Assurer la vision long terme et l'alignement des développements avec les objectifs métiers et techniques.

Tech Lead Data GCP – Python / SparkNous recherchons un Tech Lead Data GCP pour intervenir sur un projet stratégique autour des risques climatiques, physiques et du risque de crédit. La mission porte sur la mise en place d'une solution permettant d'ingérer, agréger et exposer des données multi-sources afin de produire des reportings métier. Missions principales : Concevoir et développer des solutions Data en Python / Spark Construire et industrialiser des pipelines d'ingestion et de traitement de données Intégrer les services Data & Compute Google Cloud Platform Participer aux choix d'architecture et aux développements complexes Encadrer et accompagner techniquement l'équipe Mettre en place les tests unitaires et améliorer la couverture de code Garantir la performance, la sécurité et la disponibilité des solutions Contribuer aux pratiques DevOps / CI-CD Participer aux estimations, à la documentation technique et aux pratiques Scrum Compétences indispensables : Python / Apache Spark Google Cloud Platform (GCP) BigQuery Dataproc Cloud Composer Cloud Functions Cloud Run Jobs Google Cloud Storage (GCS) Terraform Jenkins XLD Une expérience en risque de crédit constitue un plus. Profil recherché : expérience de 3 à 6 ans, autonomie, bonnes capacités de communication et aptitude à travailler dans un environnement technique exigeant. 📍 Paris 13e 📅 Mission longue durée

Missions principalesDans le cadre de ses activités Data, nous recherchons un(e) Ingénieur DataOps pour assurer l'exploitation quotidienne et le maintien en conditions opérationnelles des environnements DEV, RCT et PRÉPROD. À ce titre, vos principales missions seront : Gestion des environnements : actualisation des données (refresh) et synchronisation des environnements en termes de versions applicatives et logicielles, de configurations et de paramétrages. Déploiement et installations applicatives : installation et mise à jour des traitements Spark/Scala, des ETL Informatica, des scripts SQL Oracle et des scripts Shell. Monitoring et observabilité : création et maintenance de tableaux de bord permettant de suivre les exécutions, les volumes de données et l'état des environnements. Automatisation des contrôles : développement et maintenance de scripts et d'outils pour détecter les écarts entre environnements, valider les installations et les refreshs, et contrôler la cohérence des bases de données. Maintien en conditions opérationnelles (MCO) : exécution des jobs Spark, analyse des logs, vérification des dépendances et suivi des traitements batch. Ordonnancement des traitements : supervision, suivi et relance des batchs via Opcon. Alerting et reporting : mise en place et suivi des alertes, analyse des anomalies et production de reportings sur l'état des environnements. Profil recherchéExpérience confirmée en DataOps, exploitation de plateformes Data ou production informatique. Maîtrise experte d'Opcon et d'Oracle PL/SQL : compétences indispensables et éliminatoires. Bonne connaissance des environnements Spark/Scala, Informatica, SQL Oracle et Shell. Expérience dans l'exploitation de traitements batch, l'analyse de logs et la gestion des incidents. Compétences en automatisation des contrôles, monitoring et synchronisation d'environnements. Rigueur, autonomie et capacité à diagnostiquer et résoudre les anomalies techniques. Environnement techniqueOpcon, Oracle PL/SQL, Spark, Scala, Informatica, SQL, Shell, batchs, monitoring, alerting, DataOps.

Smartpoint, ESN spécialisée dans la Data et l'IA, recherche un Tech Lead Big Data / Data Engineer expérimenté pour renforcer une équipe Data au sein de la DSI d'un grand environnement SI. Vous interviendrez sur des enjeux de gestion de l'obsolescence technique, d'optimisation des traitements Big Data et d'accompagnement des équipes Data Engineering, avec pour objectif d'améliorer la performance, la qualité et la pérennité des applications. Vos missions En tant que Tech Lead Big Data, vous serez amené(e) à : Piloter la gestion de l'obsolescence : auditer les versions des composants applicatifs, identifier les risques et planifier les migrations techniques. Définir et diffuser les bonnes pratiques de développement auprès des équipes Data Engineer. Analyser et optimiser les traitements Big Data afin d'améliorer les performances, de maîtriser les coûts et de contribuer aux objectifs FinOps. Intervenir sur les développements de données et accompagner la résolution de bugs complexes. Accompagner les équipes techniques dans leurs choix d'architecture, leurs évolutions technologiques et leurs montées de version. Collaborer avec les équipes Socle et Infrastructure pour organiser et réaliser les migrations des composants. Animer les instances de suivi de l'obsolescence et communiquer les risques, les avancées et les recommandations aux équipes de pilotage. Proposer des orientations techniques et des solutions innovantes pour faire évoluer l'écosystème Data.

Nous recherchons un Data Scientist confirmé pour rejoindre une équipe Data et intervenir sur des projets à forts enjeux métiers, de la phase de cadrage jusqu'à l'industrialisation des solutions. Missions principalesParticiper aux ateliers métiers et identifier les cas d'usage Data à forte valeur. Contribuer au cadrage et au pilotage technique des études Data. Réaliser des analyses statistiques et développer des modèles de Machine Learning. Concevoir et maintenir les traitements de données nécessaires aux analyses. Assurer le lien entre les équipes métiers et Data. Développer des visualisations et tableaux de bord d'aide à la décision. Présenter et vulgariser les résultats auprès des différentes parties prenantes. Documenter les travaux et accompagner leur industrialisation et mise en production. Environnement techniquePython (Pandas, Polars, Scikit-learn, XGBoost, Pandera, GeoPandas), PostgreSQL, Teradata, Spark / PySpark, Git, GitLab CI/CD, Power BI.

🏢 Qui sommes-nous ? Visian Azur, filiale du Groupe Neurones, est une société de conseil spécialisée dans les projets data et applicatifs. Présents à Marseille, Aix-en-Provence, Sophia Antipolis, Montpellier, Toulouse et Lyon, nous accompagnons de grands comptes sur des projets techniquement exigeants. 💼 Le poste Vous rejoindrez le pôle Data de la Direction Technique d'un grand groupe français. Référent de l'exploitation de la plateforme Big Data, vous prendrez en charge son run en production et contribuerez à son évolution, au service des équipes projet et des utilisateurs. 🎯 Vos missions Maintenir la plateforme Datalake en conditions opérationnelles : traitement des incidents et des demandes des projets et des utilisateurs Participer à la mise en œuvre et à l'automatisation de nouvelles solutions Réaliser les mises en production Faire évoluer et améliorer les outils d'exploitation Informer et accompagner les utilisateurs de la plateforme Assurer le suivi de votre activité : bilan mensuel des tickets traités et point bimensuel sur l'avancement des projets 🛠️ Environnement technique Big Data : Hadoop, Spark, Kafka, Hive, HBase Conteneurisation : Docker, Kubernetes Automatisation et CI/CD : Ansible, Jenkins, GitHub Langages : Scala, Python Système : Unix / Linux

Dans le cadre du renforcement d'une équipe Gestion Courante Décisionnel / Datalake, vous intervenez sur un environnement Big Data permettant de collecter, traiter et valoriser des données issues de différents systèmes métiers. Votre mission principale consiste à assurer le maintien en conditions opérationnelles (MCO) des applications décisionnelles développées principalement en Spark / Scala, tout en participant à leurs évolutions. Vos principales responsabilités seront : Assurer le suivi quotidien des traitements Spark / Scala. Analyser et corriger les incidents applicatifs fonctionnels. Réaliser les éventuelles reprises et corrections de données associées aux incidents. Prendre en charge les évolutions applicatives confiées. Réaliser les tests des corrections et développements. Préparer et effectuer les livraisons en production. Rédiger et mettre à jour les spécifications techniques et fonctionnelles. Élaborer les plans et cas de tests. Mettre à jour la documentation et les outils de suivi de l'équipe. Assurer un reporting régulier auprès du chef de projet. Contribuer au maintien de la qualité de service (QOS) sur le périmètre applicatif.

Dans le cadre du renforcement d'une équipe de Gestion Courante Décisionnelle / Datalake, notre client recherche un Data Engineer / Développeur Big Data Spark Scala expérimenté, capable d'intervenir sur des traitements critiques en production et de contribuer au maintien de la qualité de service. L'environnement repose sur une architecture Big Data collectant les données de plusieurs back-offices, avec un Datalake et une alimentation d'un Datawarehouse sur environnement Exadata. Vos missionsVous interviendrez principalement sur le RUN et la maintenance applicative des traitements décisionnels : Assurer le suivi quotidien des traitements Spark / Scala Analyser et corriger les incidents applicatifs et fonctionnels Réaliser, lorsque nécessaire, les reprises de données associées aux incidents Développer et mettre en œuvre les évolutions confiées Réaliser les tests des corrections et nouveaux développements Participer aux mises en production Maintenir à jour la documentation technique et fonctionnelle Mettre à jour les outils de suivi de l'équipe Rendre compte de l'avancement et des incidents au chef de projet

Nous recherchons un Data Engineer pour rejoindre une équipe dédiée à la construction et à l'évolution d'une plateforme Data alimentant des produits et services à forte volumétrie. Au sein d'une équipe pluridisciplinaire composée de Data Engineers, développeurs, DevOps, Scrum Masters et Product Owners, vous évoluerez dans un environnement Agile / Scrum. Vos missionsConcevoir, développer et maintenir des pipelines de traitement de données avec Apache Spark. Modéliser et faire évoluer des tables Apache Iceberg sur Amazon S3, en garantissant performance, évolutivité et gouvernance. Fiabiliser et industrialiser les flux de données afin de garantir leur fraîcheur, cohérence et disponibilité. Mettre en place des contrôles de qualité des données : complétude, unicité, fraîcheur, cohérence et traçabilité. Développer des traitements robustes et résilients : rejouabilité, gestion des erreurs, retries, backfill et gestion des données en retard. Mettre en place le monitoring et l'observabilité des pipelines : métriques, logs, dashboards et alertes. Participer aux phases de tests : tests unitaires, intégration, qualité des données, performance et montée en charge. Documenter les pipelines, modèles de données, procédures d'exploitation et choix techniques. Participer aux pratiques de CI/CD et aux revues de code. Environnement techniqueApache Spark – Apache Iceberg – AWS – Amazon S3 – Python et/ou Scala – SQL – Git – CI/CD – Monitoring & Alerting Profil recherchéFormation supérieure en informatique, Data ou ingénierie. Première expérience en Data Engineering. Bonne maîtrise de Spark et SQL. Expérience en Python ou Scala appréciée. Bonne connaissance des architectures Data sur AWS, notamment S3. Connaissance d'Iceberg ou de technologies de tables/stockage analytiques similaires. Sensibilité aux enjeux de qualité des données, résilience et observabilité. Autonomie, curiosité, esprit d'équipe et intérêt pour les environnements techniques modernes.

Au sein d'une équipe Agile dédiée à des produits data innovants pour le réseau électrique, vous intervenez en tant que Lead Tech Data. Vous assurez le rôle de référent technique sur des sujets liés à la maintenance prédictive, la mobilité électrique et l'analyse des charges réseau. Vous concevez et maintenez des applications, API, dashboards et pipelines de données en Python. Vous contribuez au cadrage technique des projets, à leur industrialisation et à la qualité des réalisations : revues de code, tests, bonnes pratiques et intégration continue. Vous accompagnez également les développeurs et les Product Owners dans les choix techniques et la résolution des problématiques rencontrées.