Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Dans le cadre du renforcement de ses équipes Data, un acteur majeur du secteur de l'assurance recherche un Ingénieur DataOps Senior / Expert pour intervenir au sein d'une équipe dédiée aux usages décisionnels. La mission consiste à assurer l'exploitation, la fiabilité et l'industrialisation des environnements Data hors production (Développement, Recette et Préproduction). En collaboration avec le responsable des environnements, les équipes de développement et les équipes de production, le consultant contribuera à garantir la disponibilité des plateformes, la cohérence des configurations et la qualité des livraisons applicatives. Principales responsabilités : Assurer l'exploitation quotidienne des environnements Data DEV, RCT et PREPROD. Réaliser les opérations de rafraîchissement des données et de synchronisation des environnements. Installer et déployer les composants applicatifs : traitements Spark/Scala, ETL Informatica, scripts Oracle SQL/PLSQL et Shell. Superviser les traitements et les chaînes batch, notamment via OPCON. Analyser les logs, diagnostiquer les incidents techniques et effectuer les relances nécessaires. Développer des scripts et outils d'automatisation pour fiabiliser les déploiements et réduire les interventions manuelles. Mettre en place et maintenir des dashboards de monitoring et d'observabilité. Automatiser les contrôles de cohérence des bases de données, des configurations et des versions applicatives. Produire la documentation d'exploitation, les alertes et les reportings techniques. Accompagner les équipes de développement Data et de production dans leurs opérations techniques.

Contexte Pour un acteur majeur disposant d'enjeux forts autour de la logistique et de la supply chain, nous recherchons un Data Architect pour concevoir et faire évoluer des solutions data complexes. Vous interviendrez dans un environnement Cloud techniquement mature pour accompagner la structuration et la scalabilité des architectures de données. Ce rôle stratégique nécessite une vision d'ensemble couplée à une solide gouvernance IT, afin d'aligner les feuilles de route technologiques sur des exigences métiers exigeantes. Vos missions Concevoir des solutions Analytics et Advanced Analytics scalables (traitements batch, event-driven, architecture Medallion). Modéliser les données aux niveaux conceptuel, logique et physique dans une approche orientée domaine (Domain-Driven). Définir les standards d'architecture, les architectures cibles et les trajectoires technologiques. Animer les revues d'architecture et garantir une gouvernance IT rigoureuse. Créer des data products, des modèles de données canoniques, des flux et des patterns d'intégration réutilisables. Sécuriser la gestion des accès, des métadonnées et le cycle de vie de l'information. Traduire les besoins métiers en décisions d'architecture pragmatiques en collaborant avec les Product Managers et les ingénieurs. Mentorer les équipes techniques pour accroître la maturité architecturale et l'alignement global des pratiques. Environnement technique Azure, Databricks, Data Lakehouse, SQL, Delta Lake, Python, Spark, API, intégration event-driven, ETL/ELT, outils d'IA (assistance au développement).

Envie de concevoir les architectures IA de demain ? CELAD vous attend ! 🚀 Vous aimez concevoir des architectures complexes, industrialiser des plateformes IA et faire le lien entre les équipes Data, Machine Learning, Software et Infrastructure ? Nous recherchons un(e) Architecte Plateforme IA pour intervenir chez un acteur du secteur de l'édition juridique et de la Legaltech, à La Défense. Vous contribuerez à la conception et à l'industrialisation d'une plateforme d'intelligence artificielle exploitant des fonds documentaires volumineux pour proposer des services avancés aux professionnels du droit. 🎯 Votre rôleVous définirez l'architecture technique de la plateforme IA et accompagnerez sa mise à l'échelle, de l'infrastructure cloud jusqu'au déploiement des modèles et des services d'inférence. À l'interface entre les équipes ML, développement et DevOps/SRE, vous veillerez à la performance, à la disponibilité, à la maîtrise des coûts et à la sécurité de l'ensemble. 🚀 Vos principales missionsArchitecture de plateforme : concevoir des architectures cloud robustes, évolutives et sécurisées pour héberger des services IA en production. Industrialisation IA : définir les chaînes MLOps, automatiser les pipelines de déploiement et structurer le cycle de vie des modèles. Architectures RAG avancées : accompagner la mise en œuvre d'approches RAG avancées, Graph RAG et agentiques. Infrastructure as Code : industrialiser le provisionnement et la configuration des environnements avec Terraform et Ansible. Orchestration et déploiement : concevoir les architectures conteneurisées et orchestrées avec Docker et Kubernetes. Performance et coûts : optimiser les ressources CPU/GPU, l'inférence, la consommation de tokens et la montée en charge. Qualité des réponses IA : contribuer à l'amélioration du retrieval, du reranking, de la traçabilité des sources et à la réduction des hallucinations. Observabilité et fiabilité : définir les mécanismes de supervision, de monitoring et de gestion des incidents. Sécurité et conformité : intégrer les exigences liées à la confidentialité des données juridiques, au RGPD, à l'AI Act et à la souveraineté des traitements. Leadership transverse : aligner les choix d'architecture entre les équipes ML, Software, Data et Infrastructure, et accompagner les équipes dans leur mise en œuvre. 🛠️ Environnement techniqueCloud : AWS, Azure et/ou GCP. Infrastructure : Terraform, Ansible, Docker, Kubernetes. Développement et IA : Python, PyTorch, TensorFlow. MLOps : MLflow, Kubeflow, Airflow, DVC. Serving IA : NVIDIA Triton et solutions d'inférence équivalentes. Data et recherche : Spark, Elasticsearch, OpenSearch, Weaviate. IA générative : LangChain, LlamaIndex, RAG avancé, Graph RAG, architectures agentiques.

Embedded Software Engineer Witney, Oxfordshire Hybrid - 3 days a week on-site (Commutable from Oxford, Carterton, Burford, Chipping Norton, Faringdon, Abingdon, Kidlington and Swindon) £40,000 - £60,000 + Specialist Training + Technical Progression + High Ownership + Hybrid Working Are you an Embedded Software Engineer with experience in C, C++ or Ada looking to develop safety-critical technology for next-generation autonomous systems? This is an excellent opportunity to join an early-stage, mission-led engineering business developing embedded safety and runtime-monitoring technology for autonomous aerospace and defence platforms. The company is expanding its specialist software and verification teams, offering you significant technical ownership and the opportunity to help take their technology from a proven prototype through to enterprise deployment. In this role, you will design and develop high-integrity embedded software, build runtime safety and monitoring components and contribute to certifiable software architecture. You will work closely with verification and certification engineers to support future DO-178C DAL A/B objectives. Specialist training in SPARK Ada will be provided. Previous safety-critical or aerospace experience would therefore be beneficial but is not essential for an accomplished embedded engineer who wants to move into this field. The Role: *Design and develop embedded software for autonomous systems *Build runtime-safety, monitoring and fail-safe functionality *Contribute to high-integrity software architecture, integration and V&V *Support certification-focused development against DO-178C DAL A/B objectives The Person: *Strong embedded or real-time software engineering experience *Commercial experience with C, C++, Ada or a comparable low-level language *Understanding of software design, integration and verification *Safety-critical, regulated or aerospace experience beneficial but not essential Hybrid working with a minimum of three days per week onsite in Witney, normally Tuesday to Thursday. Candidates must be eligable for SC Clearance. Reference Number: BBBH280346A Rise Technical Recruitment Ltd acts an employment agency for permanent roles and an employment business for temporary roles. The salary advertised is the bracket available for this position. The actual salary paid will be dependent on your level of experience, qualifications and skill set and will be decided by our client, the employer. Rise are not responsible or liable for any hiring decisions made by the end client. We are an equal opportunities company and welcome applications from all suitable candidates.

#StormYourCareer Rejoins STORM GROUP et construis ta carrière avec nous ! Bâtis les pipelines de données massives et alimente les moteurs de l'IA générativeDans le cadre du développement et du passage à l'échelle des cas d'usage IA d'un grand compte, nous recherchons un(e) Data Engineer IA. Ton rôle sera hautement structurant et central : tu concevras, développeras et industrialiseras les pipelines de données volumineux et temps réel qui alimentent les modèles de Machine Learning et les applications d'IA générative, en garantissant la qualité, la traçabilité et la performance des flux de données. Ton futur environnementTu évolueras au sein d'une équipe pluridisciplinaire réunissant data engineers, data scientists, architectes data et ingénieurs MLOps. En prise directe avec les équipes plateformes et les squads de développement GenAI, tu travailleras sur des architectures Lakehouse modernes en environnement Cloud. C'est le cadre idéal pour manipuler des volumes de données massifs, mettre en œuvre des flux événementiels temps réel et concevoir des pipelines avancés de préparation documentaire (chunking, vectorisation) pour les architectures RAG. Tes missions clésConception & Développement des Pipelines de Données (Mode BUILD) : Concevoir, développer et automatiser des pipelines ETL/ELT robustes depuis des sources hétérogènes (APIs, bases relationnelles, flux événementiels) en modes batch (Spark, PySpark, Databricks, dbt) et temps réel (Kafka). Structurer, nettoyer et enrichir les jeux de données destinés à l'entraînement des modèles de Machine Learning et au feature engineering. Construire les chaînes de préparation de données textuelles et multimodales pour les architectures RAG : ingestion documentaire automatisée, stratégies de découpage (chunking) et pipelines d'embedding/vectorisation. Alimenter, optimiser et administrer les bases de données vectorielles du groupe. Mettre en œuvre les architectures de stockage modernes (Delta Lake / Lakehouse, Snowflake, BigQuery). Industrialisation, Qualité & Optimisation (Mode RUN & MLOps) : Industrialiser l'orchestration des flux de données via des outils dédiés (Airflow) en garantissant la sécurité, la haute disponibilité et la reproductibilité du code (Git, CI/CD). Optimiser les performances de traitement et piloter les coûts de calcul et de stockage dans le Cloud. Garantir la qualité, la gouvernance, la sécurité et la traçabilité (data lineage) des données manipulées. Rédiger la documentation technique des pipelines et contribuer activement à l'amélioration des standards d'ingénierie de l'équipe. Ton profilFormation : Diplôme d'Ingénieur ou Bac+5 universitaire en informatique, Data Engineering, génie logiciel ou systèmes d'information. Expérience : Tu justifies d'une expérience confirmée de 3 à 5 ans en Data Engineering en environnement Cloud, avec idéalement une première mise en pratique sur des cas d'usage IA/ML ou GenAI (pipelines RAG, feature engineering). Expertise Data Engineering Impérative : Excellente maîtrise de la programmation en Python et des requêtes complexes en SQL. Solide expérience de traitement distribué avec Spark / PySpark et de l'environnement Databricks. Maîtrise des outils d'orchestration de flux (Airflow) et de transformation de données (dbt). Pratique confirmée d'un entrepôt de données moderne (Snowflake, BigQuery, Delta Lake). Culture Cloud & IA : Expérience sur au moins une plateforme Cloud majeure (Azure, AWS ou GCP). Compréhension des flux streaming (Kafka) et des pratiques DevOps (Git, CI/CD). Notions ou expérience pratique des architectures RAG et de la manipulation de bases vectorielles. Langues : Anglais professionnel opérationnel. Tes atoutsRigueur d'Ingénierie Logicielle : Attachement fort aux bonnes pratiques de développement (code propre, testé, versionné et reproductible). Sens de la Qualité et de la Sécurité : Souci permanent de l'intégrité, de la gouvernance et de la confidentialité des données traitées. Collaboration Transverse : Capacité naturelle à dialoguer avec les data scientists pour traduire leurs besoins algorithmiques en pipelines scalables. Nos avantagesRemboursement des titres de transport à hauteur de 75%. Tickets restaurant pris en charge par STORM GROUP à hauteur de 50% (10,5€ / jour). Accès Gymlib / Wellpass (sport et bien-être). Contrat Santé / Prévoyance mis en place auprès de la compagnie Alan. Formation continue : Accès à Udemy Business. Prime de cooptation, prime d'intéressement et de participation. Deux à trois jours de télétravail par semaine. 5 raisons de nous rejoindreParcours sur mesure : Co-construis une trajectoire professionnelle unique, adaptée à tes ambitions. Missions Stratégiques : Interviens sur des projets d'envergure, en parfaite cohérence avec ton expertise. Suivi Dédié : Bénéficie d'un pilotage annuel structuré pour garantir ta progression continue. Excellence Continue : Développe tes compétences au quotidien au sein d'un écosystème exigeant. Performance Durable : Évolue dans un cadre où l'exigence métier respecte ton équilibre de vie. Storm Group encourage une culture inclusive et multiculturelle où la diversité des profils nourrit notre intelligence collective. En rejoignant la Storm Team, tu intègres un écosystème engagé qui place le développement de tes talents au cœur de sa stratégie, tout en agissant concrètement pour la solidarité et la réduction de l'empreinte environnementale, aussi bien au sein de nos bureaux que dans les projets d'envergure que nous menons chez nos clients.

Missions : Cadrer les besoins métier et la vision CA. Identifier et qualifier les sources de données. Construire la Data Patrimony et la roadmap Data. Piloter l'ingestion et l'industrialisation des données avec la Data Factory. Mettre en place les outils de pilotage / Cockpit CA. Piloter planning, budget, risques et parties prenantes. Assurer la coordination entre métiers et équipes techniques. Formaliser les besoins, cahiers des charges et recettes. Contribuer à la gouvernance, architecture et sécurité des données. Challenger les choix techniques et accompagner le delivery. Compétences clés : Gestion de projet Data / BI Data Governance / Data Management Power BI, Azure, Databricks, SQL Power Apps Spark, Python, Scala Méthodes Agile

Environnement de travail Vous intégrerez une équipe dédiée à l'implémentation, l'exploitation et la maintenance d'une plateforme technologique hautement sécurisée. Cette plateforme fournit l'infrastructure et les applications nécessaires aux travaux d'une équipe de Data Scientists. Stack technique principale : Golang (40 %), Terraform (30 %), Helm Charts & Dockerfiles (15 %), Bash (10 %), Python (5 %). Infrastructure & Automatisation : Terraform, Terragrunt, Packer, Ansible, Cloud. Conteneurisation & Data : Kubernetes, Helm, Ingress, Keycloak, Nexus, Gitea, Jupyter, Spark, PostgreSQL. Vous participerez au développement et à la maintenance de la définition as code de la plateforme. Développer et intégrer de nouvelles fonctionnalités (traitements de données, chiffrement, formatage) tout en maintenant les composants existants. Automatiser le déploiement d'infrastructures cloud à grande échelle. Intégrer, maintenir et automatiser les composants transverses open source et les outils de traitement de données sur Kubernetes. Collaborer avec les architectes, le directeur technique et les Data Engineers pour co-construire les cas d'usage et faire évoluer l'architecture. Contribuer à la rédaction des User Stories, à la planification des tâches, et documenter les composants techniques. Appliquer et promouvoir les bonnes pratiques de sécurité des données et réaliser une veille technologique continue.

Dans un environnement orienté data et analytics, le Senior Data & Analytics Engineer intervient en tant qu'expert technique afin d'accompagner les équipes de développement dans la conception, l'amélioration et l'industrialisation de solutions de traitement et d'analyse de données sur Azure Databricks. Ses principales missions sont les suivantes : Support technique : accompagner les développeurs Python et R dans la résolution de problématiques techniques et l'utilisation des technologies data. Revue et optimisation du code : analyser, relire, déboguer et améliorer le code existant afin d'en garantir la qualité, la performance et la maintenabilité. Industrialisation des traitements : fiabiliser et industrialiser les workloads Databricks, les pipelines de données et les processus ETL/ELT. Définition des bonnes pratiques : mettre en place des standards de développement, des modèles de code réutilisables et des stratégies de tests adaptées aux environnements de production. Automatisation des déploiements : contribuer à la mise en œuvre des processus d'intégration et de déploiement continus (CI/CD), conformément aux standards techniques établis. Qualité et gouvernance des données : garantir la qualité, la traçabilité et la cohérence des données, notamment à travers Delta Lake et Unity Catalog. Optimisation des performances : analyser et optimiser les traitements Spark et PySpark afin d'améliorer leur efficacité et leur robustesse. Accompagnement des migrations : évaluer la pertinence des migrations de traitements R vers Python ou SQL sur la base de critères objectifs, techniques et opérationnels. Accompagnement au changement : favoriser l'adoption des outils et des standards de développement, assurer le transfert de connaissances et diffuser les bonnes pratiques. Respect des exigences réglementaires : contribuer à la mise en œuvre de solutions analytiques fiables répondant aux exigences des environnements réglementés.

Contexte de la mission Dans ce contexte, nous recherchons un Data Engineer ayant une forte appétence pour la compréhension des enjeux métier liés à la donnée, les environnements Big Data en transformation, et le travail sur des systèmes existants et l'amélioration continue. Le profil attendu combine compétences techniques solides et posture d'ingénieur impliqué dans le fonctionnement global du SI (BUILD & RUN). Une expérience minimale de 3 ans est requise. Objectifs et livrables Activité principale Les missions s'inscrivent dans une trajectoire progressive : Phase 1 : Modernisation des traitements existants - Migration de traitements Informatica et PL/SQL vers Spark (Java) - Participation à l'optimisation des traitements existants - Maintenance corrective et évolutive des traitements PL/SQL - Appropriation des processus métier derrière les flux de données Phase 2 : Refonte cloud (Databricks) - Participation au projet stratégique de migration vers le cloud - Conception et mise en œuvre de pipelines de données sur Databricks - Industrialisation des traitements dans un environnement moderne Activités principales : - Concevoir, développer et maintenir des pipelines de données en Spark (Java) - Migrer des traitements legacy vers des architectures Big Data modernes - Assurer la maintenance des traitements existants SQL / PL-SQL - Garantir la performance, la robustesse et la qualité des données - Participer activement au RUN et à l'amélioration continue Activités secondaires - Contribution aux bonnes pratiques de développement et d'exploitation - Mise à jour du référentiel documentaire - Partage de connaissances au sein de l'équipe - Participation à la guilde Spark de l'équipe (choix de conception, optimisation des traitements, road map technique etc…) Stack technique de l'équipe Spark, Java, Ceph, Tableau Server, Oracle, Informatica, Maven, Control-M, Git, Jenkins, Terraform

Dans le cadre d'un renforcement de nos équipes chez l'un de nos clients grands comptes dans le secteur bancaire. Nous recherchons un(e) Data Engineer/ Développeur pour intervenir dans un équipe Big Data & API qui développe et gère un datalake (GTLake) Votre objectif de mission : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets CASH et Trade A noter que notre client a démarré une phase de mutation du GTLake vers une gestion en code python/spark ( afin de remplacer informatica DEI ) La prestation demande donc faire preuve d'autonomie de curiosité et de rigueur pour traiter en toute sécurité de la modernisation de nos solutions de pipeline data ( migrations de workflows informatica ou des implémentations des projets) Ceci avec une approche moderne et industrielle.

Embedded Software Test Engineer Witney, Oxfordshire Hybrid - 3 days a week on-site (Commutable from Oxford, Carterton, Burford, Chipping Norton, Faringdon, Abingdon, Swindon and Cirencester) £50,000 - £60,000 + Hybrid Working + SPARK Ada Training + Formal Methods Exposure + Technical Ownership Are you an Embedded Software Test Engineer or Software Verification Engineer from a safety-critical or regulated environment looking to work on technology that will enable safe, certified autonomous flight? This is an excellent opportunity to join a growing specialist autonomy-assurance business, where you will help shape the verification of embedded software used across flight-critical control, runtime safety and mission-assurance systems. Founded to solve one of the biggest barriers to autonomous-system adoption the company works alongside major aerospace, defence and autonomy organisations. It is now expanding rapidly as demand grows across autonomous aviation, drones and next-generation vehicles. In this role, you will define verification strategies, develop test frameworks and conduct requirements-based verification and validation. You will also produce traceable certification evidence and apply advanced techniques including automated testing, fuzz testing, fault injection and Monte Carlo simulation. This role would suit someone with software V&V experience gained within aerospace, defence, automotive, rail, medical devices or another regulated engineering environment. Direct DO-178C, DAL A/B and aerospace experience would be beneficial but is not essential. The Role: * Define verification strategies for safety-critical embedded software and systems * Develop test frameworks, verification plans and certification evidence * Deliver requirements-based V&V, traceability and compliance documentation * Conduct integration, system and qualification testing using advanced verification techniques The Person: * Software verification and validation experience within a safety-critical or regulated environment * Experience with requirements-based testing, traceability and compliance documentation * Knowledge of embedded systems and real-time software * DO-178C, DAL A/B, formal methods or aerospace experience beneficial but not essential Hybrid working with a minimum of three days per week onsite in Witney, normally Tuesday to Thursday. Candidates must be eligable for SC Clearance. Reference Number: BBBH280345A Rise Technical Recruitment Ltd acts an employment agency for permanent roles and an employment business for temporary roles. The salary advertised is the bracket available for this position. The actual salary paid will be dependent on your level of experience, qualifications and skill set and will be decided by our client, the employer. Rise are not responsible or liable for any hiring decisions made by the end client. We are an equal opportunities company and welcome applications from all suitable candidates.