Find your next tech and IT Job or contract Apache Spark

🚀 Mission Freelance – Lead Tech Data Python / Spark (H/F) Dans le cadre du renforcement d’une équipe Data, nous recherchons un Lead Tech Data Freelance pour intervenir sur des sujets de développement, industrialisation et accompagnement technique autour des plateformes et traitements Data. 📍 Mission : Freelance 📅 Démarrage : ASAP 🏠 Mode d’intervention : Hybride / à définir 👤 Séniorité : Lead / Senior 🎯 Vos missions 🔹 Développer et maintenir des applications et traitements orientés Data en Python 🔹 Concevoir et maintenir des API , dashboards et pipelines de données 🔹 Participer à l’industrialisation des projets et à l’amélioration continue 🔹 Garantir la qualité logicielle : • Revues de code • Diffusion des bonnes pratiques • Accompagnement des équipes 🔹 Assurer le cadrage technique et accompagner les projets 🔹 Collaborer avec les équipes transverses et les Product Owners 🔹 Réaliser des études et analyses Data 🛠 Stack technique Python : FastAPI, Dash, Pandas, packaging, PyTest, parallélisation Data / Big Data : Spark (PySpark / Scala), Hadoop BDD : SQL, PostgreSQL, Teradata Outils : Git, GitLab CI/CD, Jira, Confluence, Bitbucket

À propos de la mission Dans le cadre d'un projet innovant autour de l'Intelligence Artificielle Générative, nous recherchons un AI Engineer / Data Engineer pour participer au développement d'une plateforme d'automatisation intelligente dédiée aux systèmes d'aide à la conduite (ADAS) et à la conduite autonome. Vous interviendrez sur la conception, le développement et l'industrialisation de solutions IA basées sur les Large Language Models (LLM) dans un environnement Cloud moderne. Vos missions Développer des solutions basées sur les LLM pour l'analyse de données techniques. Concevoir et développer des agents IA capables d'orchestrer des workflows complexes. Développer et industrialiser des pipelines de données sous Databricks . Automatiser les notebooks et les traitements PySpark . Intégrer des API d'IA Générative dans des applications métiers. Participer à l'orchestration de simulations ADAS . Concevoir des workflows robustes (gestion des erreurs, monitoring, reprise automatique). Automatiser la génération de rapports et d'indicateurs de performance. Participer à l'industrialisation des solutions sur Google Cloud Platform (GCP) . Travailler en étroite collaboration avec les équipes Data, IA et Cloud. Environnement technique Python PySpark Apache Spark Databricks LLM / IA Générative RAG Prompt Engineering LangChain / LangGraph (apprécié) Intégration d'API IA Git Google Cloud Platform (GCP) Docker / Kubernetes (apprécié)

Contexte de la mission : Viveris vous propose un poste de Data Engineer au sein d'un acteur majeur du secteur de l'énergie, intervenant sur des plateformes de traitement de données à grande échelle. Dans un contexte de transformation du SI décisionnel, l'équipe mène des projets stratégiques de modernisation de la plateforme Big Data. Les principaux enjeux portent sur la migration des traitements vers Apache Spark, ainsi que sur la refonte de la plateforme de données dans le cloud avec Databricks à moyen terme. Dans ce cadre, vous interviendrez sur le développement et l'optimisation des pipelines de données, la fiabilisation des traitements et l'accompagnement de la transformation de l'écosystème Data. Vous devrez maîtriser les technologies Spark et Databricks, et justifier d'une expérience en modélisation de données, et transformation des traitements Data. Responsabilités : - Migration de traitements Informatica et PL/SQL vers Spark ; - Participation au projet stratégique de migration vers le cloud ; - Garantir la performance, la robustesse et la qualité des données ; - Documentation et partage de connaissances.

CONTEXTE DE LA MISSION L'équipe « Socles Data » de la Direction Technique Informatique d'un organisme paritaire de retraite complémentaire gère les socles techniques DATA du système d'information. Ces socles couvrent les besoins de pilotage, de mise à disposition de tableaux de bord décisionnels, d'exploration de données et de Data science. La mission consiste à assurer le maintien en conditions opérationnelles (MCO) des socles Hadoop Cloudera (environnements Hors-Prod et Prod) et à contribuer aux projets d'évolution technique de ces socles. La mission s'inscrit dans un contexte d'infrastructure DATA industrialisée, avec une exigence forte d'autonomie et de rigueur documentaire. Des astreintes ou interventions ponctuelles en dehors des heures normales ouvrées (HNO) pourront être demandées. RÔLE ET RESPONSABILITÉS PRINCIPALES Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances Capacity planning : suivi de la consommation, mise en place d'outils et de procédures de gestion des capacités Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques Rédaction de procédures d'administration et d'exploitation Intégration avec l'outillage de l'écosystème DSI pour l'exploitation du SI Support et expertise aux équipes Études et Exploitation Participation aux projets d'évolution des architectures techniques (logicielles, matérielles, sécurité) : pilotage possible, définition d'architecture, rédaction de dossiers, mise en œuvre LIVRABLES ATTENDUS Reporting hebdomadaire d'activité Tableau de bord mensuel de suivi d'activités Documentations techniques : normes, principes, dossiers d'architecture, d'administration, d'exploitation, modes opératoires Transferts de connaissances : organisation de sessions et rédaction de supports Gestion des demandes : tickets incidents, demandes et changements dûment complétés Contribution à la continuité de service au sein de l'équipe

Dans le cadre d'un projet stratégique du Centre de Services de Grenoble, nous recherchons un Expert Technique Kafka Streams ou un Lead Developer Data Streaming afin d'accompagner le développement et l'évolution d'une plateforme de data streaming. Dans le cadre de ce recrutement, une pré-embauche est privilégiée. Vous interviendrez sur une plateforme de data streaming dédiée à la collecte, au traitement et à la valorisation de données énergétiques provenant d'équipements terrain tels que des capteurs IoT, automates industriels et systèmes de gestion technique des bâtiments (GTB). Vous serez en charge de concevoir, développer et optimiser des applications de streaming de données à forte volumétrie, tout en garantissant la performance, la résilience et la fiabilité des traitements temps réel. À ce titre, vos principales responsabilités seront de : • Concevoir et développer des applications en Java, Spring Boot, Spring Data et Kafka Streams. • Définir et mettre en œuvre des architectures Event-Driven et des systèmes distribués. • Optimiser les performances des pipelines de streaming : partitionnement Kafka, gestion du throughput, réduction de la latence et montée en charge. • Garantir la tolérance aux pannes, la reprise sur incident et la cohérence des données. • Superviser et maintenir des pipelines critiques de traitement temps réel. • Participer aux choix d'architecture et accompagner les équipes sur les bonnes pratiques de développement. • Collaborer avec les équipes projets afin d'assurer la qualité, la sécurité et la disponibilité des flux de données. Selon votre expérience, vous pourrez également intervenir sur les technologies suivantes : Kafka Connect, Spring Cloud, InfluxDB, Oracle Database, PL/SQL, AWS Lambda, Amazon SQS, Amazon SNS, Docker, Ansible et Apache Spark. Référence de l'offre : 5ii9nxvver

Contexte de la mission La Direction du Numérique dispose d'une Direction Data dont l'objectif est de faire de la donnée un levier de croissance des offres numériques. Ses activités couvrent la maximisation de la collecte de données dans le respect des réglementations en vigueur, le développement de la connaissance et de l'expérience utilisateur, ainsi que la mise à disposition d'outils de pilotage et d'aide à la décision. La prestation s'inscrit au sein de l'équipe Bronze, composée d'un Product Owner, d'un Data Steward et de deux Data Ingénieurs. La stack technique repose sur Python, Spark, SQL, Airflow, Delta Lake, Cloud Storage, et les services GCP (BigQuery, Dataproc, PubSub). L'infrastructure est gérée via Terraform et Terragrunt. Rôle et responsabilités principales Construire et maintenir des pipelines data robustes et scalables Participer aux phases de conception, planification et réalisation des tâches en équipe Organiser et structurer le stockage des données Mettre en place et maintenir les infrastructures scalables adaptées à la croissance des volumes Construire et maintenir les workflows CI/CD (GitLab CI/CD) Assurer la conformité, la sécurité et la stabilité des environnements Partager les bonnes pratiques au sein de l'équipe et participer aux instances des Data Ingénieurs Contribuer à la mise à jour de la documentation et assurer une veille technologique active Livrables attendus Pipelines data opérationnels et maintenus Infrastructure scalable mise en place et documentée Workflows CI/CD fonctionnels Documentation technique à jour Collecte et centralisation des sources de données non homogènes Contribution aux initiatives de gouvernance des données

Contexte de la mission : Dans le cadre de l'évolution d'une plateforme Data stratégique, nous recherchons un(e) Senior Software Engineer pour intervenir sur une application centrale permettant de configurer et d'orchestrer des traitements de données. Vous contribuerez à la modernisation de cette application afin d'améliorer sa maintenabilité, sa robustesse, sa scalabilité et sa capacité à répondre aux nouveaux besoins métiers. Vous travaillerez en étroite collaboration avec les équipes Data, les Product Owners et les équipes Architecture afin de faire évoluer les standards techniques et les bonnes pratiques de développement. Vos missions : En tant que Senior Software Engineer, vous serez notamment amené(e) à : - Concevoir, développer et maintenir une application Python dédiée à l'orchestration et à l'exécution de traitements de données. - Moderniser l'architecture applicative afin de favoriser son évolutivité, sa performance et sa fiabilité. - Réduire la dette technique grâce à des travaux de refactoring et d'amélioration continue. - Concevoir et mettre en œuvre une stratégie complète de tests (tests unitaires, tests d'intégration, validation des règles métiers, automatisation dans les pipelines CI/CD). - Développer des composants génériques et configurables afin de limiter le code spécifique et favoriser la réutilisation. - Collaborer avec les équipes Data Engineering pour intégrer les traitements dans les pipelines de données. - Participer aux choix d'architecture et aux décisions techniques structurantes. - Promouvoir les bonnes pratiques de développement logiciel, de qualité de code et d'industrialisation. - Accompagner les équipes dans l'amélioration continue des pratiques de développement. Valeur ajoutée de la mission : Vous jouerez un rôle clé dans la modernisation d'une plateforme Data stratégique en contribuant à l'amélioration de son architecture, de sa qualité logicielle et de ses performances. Votre expertise permettra de renforcer la robustesse de la plateforme tout en facilitant le développement de nouveaux traitements et l'évolution des besoins métiers. Environnement technique : 1. Langages et développement - Python - SQL 2. Data Engineering - Apache Spark - PySpark - Databricks - Delta Lake - Architecture Lakehouse 3. Cloud - AWS (S3, ECS, Fargate...) 4. Orchestration - Apache Airflow 5. DevOps - Git - GitLab CI/CD - Docker 6. Infrastructure as Code - Terraform - Terragrunt 7. Gouvernance - Gestion des accès - Monitoring - Optimisation des coûts - Gouvernance des données 8. Méthodologie - Agile Scrum Expertise souhaitée Profil recherché : - Minimum 5 ans d'expérience en développement logiciel avec une forte expertise Python. - Solide expérience en conception d'architectures logicielles et en refactoring d'applications existantes. - Bonne maîtrise des environnements Cloud, idéalement AWS. - Expérience des plateformes Data et des traitements distribués. - Maîtrise des bonnes pratiques de qualité logicielle et des tests automatisés. - Expérience des pipelines CI/CD et des environnements DevOps. - Connaissance des architectures distribuées et des problématiques de performance et de scalabilité. Qualités attendues : - Esprit d'analyse et capacité à proposer des solutions techniques innovantes. - Excellentes capacités de communication et de collaboration. - Autonomie, rigueur et sens de l'organisation. - Goût pour le partage de connaissances et l'accompagnement technique des équipes. - Capacité à évoluer dans un environnement Agile et à contribuer aux décisions stratégiques. Mobilité Non renseigné * Champs obligatoires