Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Intitulé : Data Engineer Senior IA (H/F) Expérience : +7 ans minimum Mode de travail : Hybride Localisation : Île-de-France Démarrage : ASAP Secteur : Services financiers Environnement : AWS, Spark, Python, SQL, DataOps, Gouvernance Data, CI/CD ContexteDans le cadre de l'accélération de sa stratégie Data, un grand groupe du secteur des services financiers recherche un(e) Data Engineer Senior pour rejoindre sa Direction Data & IA. Vous interviendrez au sein d'une équipe en charge de la conception, de l'industrialisation et de l'exploitation des plateformes de données destinées à soutenir les enjeux métiers, réglementaires et analytiques de l'entreprise. Votre rôle consistera à concevoir des architectures Data robustes, piloter l'industrialisation des pipelines de données et garantir la qualité, la gouvernance et la valorisation des données à grande échelle. Missions principalesPilotage des projets DataGérer un portefeuille de projets Data couvrant l'ensemble du cycle de vie de la donnée : ingestion, transformation, exposition et gouvernance. Accompagner les métiers dans l'identification et la formalisation de leurs besoins Data. Traduire les besoins fonctionnels, techniques et réglementaires en solutions concrètes et industrialisables. Être le référent technique Data auprès des chefs de projet, architectes, développeurs, data analysts, data scientists et parties prenantes métier. Piloter les choix techniques et garantir leur cohérence avec les standards de l'entreprise. Conception et développement des pipelines DataConcevoir, développer et maintenir des pipelines d'ingestion de données : Batch APIs Flux programmés Chargements de fichiers Développer des traitements ETL / ELT alimentant un Data Lake et des plateformes analytiques. Mettre en œuvre les bonnes pratiques de modélisation des données. Garantir la performance, la qualité, la résilience et la maintenabilité des traitements. Assurer l'industrialisation complète des développements réalisés. Challenger les choix techniques et méthodologiques proposés par les autres membres de l'équipe. Architecture Data et IndustrialisationConcevoir des architectures Data modernes, modulaires et évolutives. Définir et appliquer les principes DataOps : Automatisation Versionning CI/CD Reproductibilité Observabilité Favoriser la mutualisation et la réutilisation des composants existants avant tout nouveau développement. Construire et maintenir : Pipelines ETL / ELT Chaînes CI/CD APIs de diffusion de données Mécanismes de monitoring et d'alerting Collaborer avec les équipes Data, Cloud et IA afin d'harmoniser les pratiques et accélérer les déploiements. Gouvernance, qualité et conformité des donnéesDéfinir et promouvoir les standards de développement Data. Garantir la qualité, la traçabilité et la conformité des données. Structurer les pratiques autour de : Git et workflows de développement Tests automatisés Documentation Data Catalog Métadonnées Lignage des données Infrastructure as Code Réaliser des audits techniques des pipelines et jeux de données. Assurer la conformité des solutions avec les exigences réglementaires et les politiques internes de gouvernance. Garantir la reproductibilité attendue lors des contrôles et audits. Leadership technique et accompagnementEncadrer et accompagner les Data Engineers juniors et intermédiaires. Participer à la montée en compétences de l'équipe. Assurer un rôle de mentor et de référent technique. Vulgariser les enjeux Data auprès des utilisateurs métiers. Participer aux revues d'architecture et aux processus de validation technique. Contribuer à la diffusion des bonnes pratiques Data et DataOps. Innovation et veille technologiqueRéaliser une veille active sur les technologies Data, Cloud et IA. Identifier les opportunités d'amélioration des plateformes existantes. Proposer des solutions innovantes répondant aux enjeux métiers. Anticiper les évolutions réglementaires et les enjeux liés à la qualité, la gouvernance et la souveraineté des données.

Embedded Software Test Engineer Witney, Oxfordshire Hybrid - 3 days a week on-site (Commutable from Oxford, Carterton, Burford, Chipping Norton, Faringdon, Abingdon, Swindon and Cirencester) £50,000 - £60,000 + Hybrid Working + SPARK Ada Training + Formal Methods Exposure + Technical Ownership Are you an Embedded Software Test Engineer or Software Verification Engineer from a safety-critical or regulated environment looking to work on technology that will enable safe, certified autonomous flight? This is an excellent opportunity to join a growing specialist autonomy-assurance business, where you will help shape the verification of embedded software used across flight-critical control, runtime safety and mission-assurance systems. Founded to solve one of the biggest barriers to autonomous-system adoption the company works alongside major aerospace, defence and autonomy organisations. It is now expanding rapidly as demand grows across autonomous aviation, drones and next-generation vehicles. In this role, you will define verification strategies, develop test frameworks and conduct requirements-based verification and validation. You will also produce traceable certification evidence and apply advanced techniques including automated testing, fuzz testing, fault injection and Monte Carlo simulation. This role would suit someone with software V&V experience gained within aerospace, defence, automotive, rail, medical devices or another regulated engineering environment. Direct DO-178C, DAL A/B and aerospace experience would be beneficial but is not essential. The Role: * Define verification strategies for safety-critical embedded software and systems * Develop test frameworks, verification plans and certification evidence * Deliver requirements-based V&V, traceability and compliance documentation * Conduct integration, system and qualification testing using advanced verification techniques The Person: * Software verification and validation experience within a safety-critical or regulated environment * Experience with requirements-based testing, traceability and compliance documentation * Knowledge of embedded systems and real-time software * DO-178C, DAL A/B, formal methods or aerospace experience beneficial but not essential Hybrid working with a minimum of three days per week onsite in Witney, normally Tuesday to Thursday. Candidates must be eligable for SC Clearance. Reference Number: BBBH280345 Rise Technical Recruitment Ltd acts an employment agency for permanent roles and an employment business for temporary roles. The salary advertised is the bracket available for this position. The actual salary paid will be dependent on your level of experience, qualifications and skill set and will be decided by our client, the employer. Rise are not responsible or liable for any hiring decisions made by the end client. We are an equal opportunities company and welcome applications from all suitable candidates.

Dans le cadre de la modernisation d'une plateforme décisionnelle au sein d'un acteur de l'épargne salariale et de la retraite, nous recherchons un Data Engineer / Data Architect Senior. La mission s'inscrit dans un programme de transformation visant à faire évoluer une plateforme BI existante vers une architecture moderne de type Lakehouse, tout en garantissant la continuité des services actuellement proposés. Vous rejoindrez l'équipe Cœur-Data, composée de cinq personnes, et travaillerez en étroite collaboration avec les équipes métier, la MOA et les équipes techniques transverses. Objectifs de la missionL'objectif principal sera de concevoir et mettre à disposition des données structurées, fiables et exploitables par l'équipe Marketing. Vous interviendrez notamment sur : La définition de l'architecture et de l'organisation du Lakehouse ; La conception de solutions de collecte, de stockage et de transformation des données ; La migration et la modernisation progressive des traitements existants ; L'industrialisation et le suivi des pipelines de données ; La mise à disposition de données brutes et transformées pour les usages analytiques et la datavisualisation. Principales responsabilitésEn tant que Data Engineer / Data Architect Senior, vous serez amené à : Concevoir l'organisation des données et des flux au sein d'un environnement Lakehouse basé sur S3 ; Développer des pipelines de traitement avec Python, Spark et PySpark ; Mettre en place et maintenir les traitements d'ingestion et de transformation ; Participer à l'ordonnancement des traitements avec Dagster ; Contribuer à l'exposition des données via Trino et les outils de datavisualisation ; Développer les solutions de collecte et de stockage répondant aux besoins métiers ; Mettre en place les tests unitaires et les contrôles nécessaires à la qualité des développements ; Assurer le suivi des traitements et identifier les éventuels incidents ou blocages ; Rédiger et maintenir la documentation technique ; Participer à la recette avec la MOA et les utilisateurs ; Estimer les charges et contribuer au suivi de l'avancement du projet ; Réaliser des études en collaboration avec les équipes transverses ; Participer à l'amélioration continue des processus de développement et d'exploitation. Environnement techniquePlateforme ciblePython ; Apache Spark / PySpark ; SQL ; Amazon S3 ; Dagster ; Trino ; Git ; Jenkins. Environnement existantInformatica ; DAC ; Oracle 19 ; Outils BI et de reporting. Outils projetJira ; Confluence ; Windows 10 avec WSL.

Dans le cadre d'un projet stratégique lié à la gestion et à la surveillance des risques, une grande organisation recherche un Data Engineer Python / Spark afin de participer à la mise en œuvre d'une solution permettant d'ingérer, d'agréger et d'exposer des données provenant de sources multiples. La solution a pour objectif de produire des reportings métiers dans le cadre de la surveillance des risques, notamment sur les problématiques liées aux risques climatiques et physiques. Au sein d'une équipe experte et engagée, vous participerez à la conception, au développement et à l'intégration de la solution sur Google Cloud Platform (GCP). Vos principales missions seront : Participer à la conception et au développement de solutions Data. Développer et intégrer des traitements en Python / Spark. Mettre en œuvre les services Data et Compute de Google Cloud Platform. Participer à l'ingestion, l'agrégation et l'exposition de données provenant de sources multiples. Contribuer à la production des données nécessaires aux reportings métiers. Participer aux phases de tests, d'intégration et de mise en production. Contribuer à l'industrialisation et à l'automatisation des traitements. Participer aux pratiques DevOps du projet. Collaborer avec les équipes techniques et métiers. Garantir la qualité et la fiabilité des développements réalisés. Le projet étant stratégique et à forte visibilité, une expertise technique solide sur l'écosystème GCP est indispensable.

Dans le cadre d'un programme stratégique autour de l'Intelligence Artificielle, nous recherchons un Data Engineer SAP AI capable d'intervenir sur la conception, l'intégration et l'exploitation de données issues de SAP S/4HANA, afin d'alimenter des cas d'usage Data & AI à forte valeur métier. La mission nécessite une présence sur site à Paris 3 jours par semaine. Missions principalesConcevoir et développer des pipelines de données à partir de SAP S/4HANA. Extraire, transformer et intégrer les données SAP vers des plateformes Data. Participer à la mise en œuvre de cas d'usage IA / GenAI exploitant les données SAP. Garantir la qualité et la fiabilité des données. Collaborer avec les équipes métiers, Data Scientists, Data Engineers et Architectes Data. Optimiser les performances des flux de données et traitements analytiques. Préparer et mettre à disposition les données pour les modèles IA. Compétences recherchéesSAP Expertise SAP S/4HANA Bonne compréhension des données et processus métiers SAP Expérience en intégration et extraction de données SAP Data Engineering SQL avancé Python Spark ETL / ELT Data Lake / Data Warehouse APIs et traitements de données AI / Analytics Connaissance des architectures IA et GenAI Préparation des données pour les modèles IA Compréhension des enjeux RAG, LLM et gouvernance des données appréciée Cloud Azure, AWS ou GCP apprécié ModalitésType de mission : Assistance technique / Expertise Data Localisation : Paris Présence : 3 jours/semaine sur site Démarrage : ASAP Durée : à confirmer

Poste : Tech Lead Data Cloud – Azure / DatabricksLocalisation : Nantes, avec 1 jour/semaine sur site et possibilité de télétravail le reste du temps. Contexte : Au sein d'une direction Data & IA, le consultant interviendra comme Tech Lead Data Cloud sur les périmètres immobilier et véhicule, en accompagnant les équipes de développement. Missions principales : Concevoir les solutions et usages en respectant l'architecture cible. Instruire les sujets techniques complexes. Accompagner et faire monter en compétence les équipes. Garantir la qualité du delivery et le respect des bonnes pratiques. Réaliser des développements Python / Spark / PySpark / SQL. Participer aux démarches FinOps et à l'optimisation des coûts cloud. Garantir la cohérence des versions déployées en production. Assurer le support N3. Produire et maintenir la documentation technique : spécifications techniques ; modélisation ; code commenté ; tests unitaires ; tickets Jira.

Notre client dans le secteur Culture et tourisme recherche un/une Lead Data Engineer H/F Description de la mission : Contexte Au sein d'un pôle Data, le Lead Data Engineer garantit la cohérence entre les besoins métiers, la stratégie Data et la capacité de la plateforme à fournir des données fiables et exploitables. Le rôle combine une forte implication technique avec la responsabilité du delivery de l'équipe et de ses standards d'ingénierie. La mission s'inscrit dans un environnement où la qualité, l'observabilité, la sécurité, la maîtrise des coûts cloud et la conformité RGPD sont des enjeux structurants. Le poste implique des échanges étroits avec les responsables Data, les équipes techniques et la squad Infrastructure. Mission Piloter le delivery de l'équipe et contribuer opérationnellement à la conception, au développement, à la maintenance et à l'évolution d'une plateforme Data fiable, robuste, scalable et efficiente. Accompagner la montée en compétence de l'équipe et garantir l'application de standards d'ingénierie adaptés. Principales responsabilités Construire le contenu des sprints avec les responsables Data, en fonction des priorités métier, des besoins techniques et de la capacité de l'équipe. Prioriser le backlog entre demandes métiers, dette technique et incidents, et arbitrer les compromis. Organiser les refinements, cadrer les spécifications techniques et garantir des tickets Jira clairs, estimés et actionnables. Suivre la roadmap, anticiper les blocages, fluidifier les échanges entre parties prenantes et communiquer sur les livrables. Concevoir et faire évoluer une plateforme Data fiable, robuste, scalable et efficiente. Développer l'adoption des bonnes pratiques : revue de code, tests, couverture, CI/CD et usage raisonné de l'IA générative. Arbitrer entre vitesse de delivery et réduction de la dette technique, et expliciter les choix effectués. Piloter l'infrastructure Data avec la squad Infrastructure, notamment concernant le cloud, les coûts, la sécurité et la disponibilité. Coordonner les prestataires, accompagner les profils juniors, contribuer au recrutement et animer la veille technique. Concevoir des pipelines de collecte, de transformation et de diffusion des données. Garantir l'observabilité, la qualité et la sécurité des données, notamment au regard du RGPD. Traduire les besoins métiers en solutions techniques et anticiper les évolutions du produit avec les équipes techniques. Gérer les incidents, coordonner les investigations et prioriser les correctifs ; assurer le maintien en conditions opérationnelles de l'infrastructure Data. Contribuer à l'alimentation et à la fiabilisation du catalogue de données. Structurer la documentation utile au run, à la transmission et à la montée en compétence de l'équipe. Environnement technique Développement et data : Python, SQL avancé, Spark, dbt Orchestration : Airflow Cloud et plateforme : Azure, Snowflake, Fabric Infrastructure : Kubernetes, SQL Server Engineering : CI/CD, tests, revue de code, observabilité Gouvernance : qualité, sécurité, RGPD, catalogue Data Outils et méthodes : Jira, Scrum, Kanban, User Stories Livrables attendus Une roadmap Data priorisée et alignée avec les enjeux métiers. Des pipelines fiables, testés, observables et documentés. Des standards d'ingénierie partagés et appliqués par l'équipe. Une infrastructure Data maîtrisée sur les dimensions des coûts, de la sécurité et de la disponibilité. Une gestion structurée des incidents et de la dette technique. Une progression visible de l'autonomie et des compétences des membres de l'équipe. Profil recherché Expérience Au moins 2 années sur un poste similaire, avec des responsabilités de leadership et/ou de management. Compétences techniques Maîtrise de Python et du SQL avancé, avec une expérience des environnements Data modernes et des pratiques CI/CD. Capacité à définir, arbitrer et mettre en place une stratégie d'infrastructure tenant compte des coûts, de la sécurité et de la scalabilité. Pratique de Scrum et/ou Kanban, animation de cérémonies et rédaction de User Stories. Compétences personnelles Animation d'équipe technique, capacité à prioriser et arbitrer, pédagogie et exigence bienveillante. Communication claire avec des interlocuteurs techniques et non techniques, sens du produit, autonomie et goût pour la veille. Langues Aucune exigence linguistique n'est précisée. Compétences / Qualités indispensables : Data Engineering et conception de pipelines, Python et SQL avancé, Leadership et animation d'équipe technique, Pilotage du delivery Agile (Scrum/Kanban), Infrastructure Data, sécurité et scalabilité Compétences / Qualités qui seraient un + : RASInformations concernant le télétravail : Oui — 2 jours/semaine

OBJECTIF Dans le cadre du programme ITAM et la mise en place du Group Global Inventory ainsi que l'alimentation industrielle de la CMDB Group, le bénéficiaire renforce ses activités autour du produit BMC Helix Discovery. MISSION Responsable Discovery Data product : - développement des query API Discovery en regard des besoins production - construction des data sets dans l'outil de query engine - exposition du data product à la consommation opérationnelle - interfaçage au MCP pour alimenter l'IA Production - MCO et optimisation des query et data sets DevOps Discovery - Configuration et paramétrage de BMC Discovery : Configurer et paramétrer BMC Discovery pour collecter les données d'actifs informatiques, telles que les périphériques réseau, les logiciels, les matériels, etc. - Intégration des données de BMC Discovery : Intégrer les données de BMC Discovery dans le système de nettoyage des données pour enrichir les données existantes. - Définition des règles de correspondance : Définir des règles de correspondance pour associer les données de BMC Discovery avec les données existantes dans le système. - Mise en place de la synchronisation des données : Mettre en place la synchronisation des données entre BMC Discovery et le système de nettoyage des données. - Gestion des erreurs et des exceptions : Gérer les erreurs et les exceptions qui peuvent survenir lors de la collecte, de l'intégration et de la synchronisation des données. Opérationnellement, les outils de travail: - BMC Helix Discovery( Mandatory) - Starburst (Data product, MCP, AI) - Spark / Pyspark - ServiceNow ITSM (change, incident, problem, request) - Jira / confluence Nice to have: - Tableau server / Tableau Desktop / PowerBI / Dataikku - Talend Real Time Big Data / ESB, ETL, EAI - Talend Data Catalogue - PostGreSQL / Apache Kafka / S3 storage Environnement : L'expert utilisera BMC Discovery, et d'autres outils pour collecter et intégrer les données, pour ensuite les exposer en data products pour alimenter des IA.

ContexteDans le cadre du renforcement de son équipe Data, notre client recherche un Développeur Data Snowflake / Cortex confirmé pour participer au développement et à l'évolution de sa plateforme Data Cloud et de ses usages autour de l'IA. MissionsConcevoir et développer des pipelines de données et des traitements ETL/ELT. Développer et optimiser les modèles de données sur Snowflake. Mettre en œuvre les transformations de données avec dbt. Participer à l'intégration et à l'exploitation des fonctionnalités Snowflake Cortex et des services d'IA associés. Développer des traitements Data en Python / PySpark / SQL. Participer à la mise en qualité, au contrôle et à la sécurisation des données. Optimiser les performances des traitements et des requêtes Snowflake. Participer à l'industrialisation et à l'orchestration des pipelines. Contribuer aux pratiques Git / CI-CD et à l'amélioration continue de la plateforme Data. Environnement techniqueSnowflake, Snowflake Cortex, dbt, SQL, Python, PySpark, Spark, Azure, Azure Data Factory, Azure Databricks, ADLS, Airflow, Git, CI/CD, Power BI.

Missions principales • Définir la stratégie, la roadmap et le modèle opérationnel de la Data Platform. • Garantir disponibilité, performance et fiabilité de la plateforme. • Piloter les évolutions Snowflake et Power BI Cloud. • Mettre en place les standards d'architecture, de gouvernance et de Data Products. • Développer les capacités Self-Service Analytics. • Coordonner les équipes internes et les partenaires externes. • Accompagner la transformation vers un modèle orienté produit. • Assurer la sécurité et la conformité (GDPR, DORA, IAM, RBAC, Data Masking). Compétences clés Snowflake, Power BI Cloud, Azure, dbt, Data Engineering, Data Governance, Data Architecture, Platform Engineering, DevOps Data, Spark, FinOps, Data Products

Profil recherché : Chargé de déploiement / Accompagnement au changement / Formation Contexte : la mission s'inscrit dans le Pôle Téléphonie du Département Production qui pilote le remplacement de la solution de téléphonie des centres d'appels (historiquement Genesys) par une nouvelle solution basée sur Asterisk. Le déploiement doit couvrir, d'ici mi-2028, l'ensemble des Agences de Conduite Régionales (ACR), des Agences de Supervision et de Gestion des Accès Réseau et du Dépannage (ASGARD) et des Cellules de Préparation des Activités (CPA). Le titulaire accompagne les utilisateurs dans la prise en main du nouvel outil et appuie le chef de projet sur le volet opérationnel du déploiement en région. Missions principales : Accompagnement des opérations de migration en physique, présence sur site lors des bascules (25% du temps) ; Coordination des actions pendant les opérations de migration (25%) ; Formation des utilisateurs au nouvel outil SPARK, bandeau téléphonique (40%) ; Reporting au chef de projet (10%). En complément, pilotage et coordination des déploiements techniques connexes réalisés par des tiers (Bouygues Télécom, NXO), avec respect des jalons et coordination des acteurs. - Culture Agile (1).

Qui sommes-nous ?Artemys, acteur de la transformation numérique est une entreprise à taille humaine, avec plus de 30 ans d'expérience composée de plusieurs entités, chacune spécialisée dans leur domaine (Système, data, réseaux/sécu…) Ce qui nous distingue vraiment ? Ce n'est pas de dire que nous valorisons nos collaborateurs, c'est de le montrer chaque jour. Chez Artemys, l'humain est au cœur de tout ce que nous faisons. Nos valeurs, concrètes et vécues au quotidien : Convivialité : travailler dans une bonne ambiance, ça change tout Proximité : chaque membre de l'équipe a sa place et sa voix Écoute : vos idées comptent autant que votre travail Agil-IT, située à Isneauville (près de Rouen) est une entité spécialisée en Data, Développement et pilotage de projets IT. Forte de plus de 20 ans d'expertise, elle accompagne les entreprises, principalement implantées en Normandie dans leur transformation digitale. C'est au sein de cette entité, que se développe notre expertise Data. Chiffres clés : 7,8 M€ de CA | 65 consultants en 2025 Une structure à taille humaine où vos compétences et votre savoir être font la différence. Reconnue pour son exigence technique et ses valeurs humaines, elle est aujourd'hui un acteur clé en offrant des prestations d'audit, de conseil, de mise en œuvre, de migration, de support et des formations pour diverses clients. Votre mission (si vous l'acceptez) : En tant que Lead Data Engineer, vous jouerez un rôle central dans la conception et l'évolution de la plateforme Data, en combinant expertise technique, leadership et vision globale. Vos principales missions seront de : Développer et concevoir des solutions Data robustes, en particulier en Python, pour répondre aux besoins métiers et garantir la fiabilité des traitements. Construire, maintenir et optimiser des pipelines de données performants, scalables et sécurisés. Accompagner techniquement l'équipe Data Engineering, partager vos connaissances et faire progresser les pratiques de développement. Définir et faire appliquer les bonnes pratiques en matière de qualité, de documentation, de versioning, de tests et de supervision. Concevoir et orchestrer les flux de données à l'aide d'Apache Airflow, notamment via la création et la maintenance de DAGs complexes. Garantir la qualité et la cohérence des données, en assurant leur traçabilité, leur sécurité et leur conformité aux exigences du secteur. Industrialiser les projets Data grâce aux pratiques CI/CD, à l'automatisation des tests et à la sécurisation des déploiements. Collaborer avec les équipes DevOps et les architectes IT pour assurer la cohérence des choix techniques et la fiabilité des environnements. Échanger avec les équipes métiers afin de traduire leurs besoins en solutions Data adaptées. Votre rôle ne se limitera pas à piloter : vous continuerez à développer concrètement, avec une forte exigence sur la qualité du code et la robustesse des solutions mises en production. Le terrain de jeu ? Environnement Data Engineering : développement Python, SQL avancé, conception et optimisation de pipelines de données. Orchestration : Apache Airflow, conception de DAGs, supervision des traitements et gestion des incidents. Industrialisation : Git, CI/CD, tests automatisés, déploiements et contrôles qualité. Architecture et modélisation : structuration des données, modélisation en étoile ou en flocon, performance et évolutivité. Qualité et sécurité : observabilité, traçabilité, gestion des données sensibles et prise en compte des exigences réglementaires, notamment du RGPD. Collaboration : travail en lien avec les équipes IT, DevOps, architecture et métiers, dans un contexte assurantiel. Le profil que nous recherchons : Vous justifiez de 7 à 10 ans d'expérience en Data Engineering, avec une expérience significative en tant que lead technique ou référent Data. Vous avez une solide maîtrise de Python et êtes capable de développer des solutions concrètes, propres, maintenables et performantes. Vous aimez toujours mettre les mains dans le code ! Vous maîtrisez SQL avancé et savez concevoir des traitements et des pipelines de données fiables. Vous avez une bonne maîtrise des pratiques CI/CD, Git, tests automatisés et mise en production. Vous connaissez Apache Airflow et êtes capable de concevoir, maintenir et superviser des workflows complexes. Vous comprenez les enjeux de modélisation des données et savez adapter les architectures aux besoins analytiques et métiers. Vous êtes à l'aise avec les problématiques de qualité, de sécurité, de performance et de traçabilité des données. Vous savez accompagner une équipe, transmettre vos connaissances et fédérer autour de bonnes pratiques techniques. Vous communiquez facilement avec des interlocuteurs techniques comme métiers et savez expliquer vos choix avec pédagogie. Vous faites preuve d'autonomie, de rigueur et de sens des priorités. Les petits plus qui feront la différence : Une expérience dans les secteurs de l'assurance, de la banque ou de la finance. Une connaissance des technologies Big Data, notamment Spark ou équivalent. Une expérience avec des outils de Data Quality et d'observabilité. Une bonne compréhension des enjeux réglementaires liés aux données sensibles et au RGPD. Notre priorité ? Trouver un profil qui maîtrise réellement le développement Python, qui sait concevoir des solutions Data fiables et qui a envie de continuer à coder tout en apportant son expertise technique à une équipe. Le process pour nous rejoindre : simple et clair ! Échange RH : On discute de vos motivations et de l'adéquation avec nos valeurs (promis, pas de robotisation ici). Entretien opérationnel : Un échange approfondi pour clarifier vos missions. Proposition d'embauche : Si tout colle, on vous accueille officiellement chez Artemys ! Conditions et rémunération : 44 000 - 48 000 € (Selon votre expertise) Poste basé à Rouen (76) Télétravail partiel en fonction de la politique interne de l'entreprise Sans négliger les avantages indispensables : Carte SWILE (Tickets Restaurant, transports et CE). Mutuelle Groupe, Participation Groupe. Accompagnement RH, suivi managérial de proximité (Méthode Agile) Événements entreprise : Afterworks, Tech Meetups, soirées d'intégration, events sportifs, soirées gaming… Bienvenue dans l'aventure ARTEMYS Chez nous, chaque talent compte. Peu importe votre âge, vos origines, votre identité, votre religion ou votre orientation : ce qui nous intéresse, c'est vous et ce que vous avez à apporter. On s'engage à répondre à toutes les candidatures. Et ici, l'inclusion n'est pas qu'un mot : tous nos postes sont ouverts aux personnes en situation de handicap, et on fait tout pour créer un environnement où chacun peut s'épanouir. Prêt, feu, candidatez !

Au sein d'une équipe spécialisée en Data et Intelligence Artificielle, vous intervenez sur des problématiques à forte dimension technique autour de la gestion de données, de l'Information Retrieval et de l'IA générative. Votre mission consiste à concevoir et industrialiser les pipelines permettant de collecter, transformer, indexer et rechercher de grands volumes de données, afin d'alimenter des applications basées sur les LLM et les architectures RAG. Vous serez également impliqué dans les choix d'architecture, l'amélioration de la pertinence des recherches et l'industrialisation des solutions en production. Vos principales missions Data Engineering & Indexation Concevoir et industrialiser des pipelines d'ingestion de données provenant de sources hétérogènes. Mettre en œuvre les traitements de parsing, nettoyage, normalisation et chunking. Concevoir et maintenir des systèmes d'indexation à grande échelle. Mettre en œuvre des bases vectorielles et des embeddings. Garantir la qualité, la fraîcheur, la traçabilité et la scalabilité des données et des index. Retrieval & RAG Concevoir des stratégies de recherche sémantique et hybride. Combiner recherche lexicale (BM25), embeddings, filtrage et reranking. Mettre en place des indicateurs de pertinence : Recall, Precision, nDCG, MRR. Optimiser les mécanismes de Retrieval alimentant les LLM et architectures RAG. Travailler sur la gestion du contexte, la déduplication et la qualité des résultats. Architecture & qualité Participer aux choix techniques et à l'évolution de la stack Data/IA. Mettre en place les bonnes pratiques de développement : Clean Code, SOLID, tests automatisés. Assurer l'observabilité des pipelines et des services. Contribuer à la sécurité et à la conformité des données. Accompagner techniquement les équipes et partager les bonnes pratiques. Environnement technique Indispensable : Python 3.11+ Data Engineering / Information Retrieval Embeddings / NLP Recherche sémantique et hybride RAG / LLM Bases vectorielles : Qdrant, Weaviate, pgvector, OpenSearch PostgreSQL Tests avec Pytest Environnement apprécié : LangChain OpenAI, Mistral, Amazon Bedrock BM25 / reranking Kafka Redis Airflow / Spark Docker / Kubernetes CI/CD Go ou Java

🚀 Qui sommes-nous ? Finaxys est un cabinet de conseil spécialisé dans les secteurs Banque, Finance et Assurance. Depuis plus de 15 ans, nous intervenons auprès des plus grandes institutions telles que BNP Paribas, Crédit Agricole, Société Générale, AXA, Malakoff Humanis, etc. en proposant des solutions technologiques innovantes (IA, Machine Learning, Data, Cloud, DevSecOps, etc.). Notre mission ? Accompagner nos clients dans leur transformation digitale et répondre aux défis IT les plus complexes grâce à l'expertise de nos équipes. 🎯 Votre mission : En tant que MLOps, vous rejoindrez les équipes techniques de nos clients grands comptes pour : Concevoir, développer et maintenir les socles, plateformes et outils Big Data / MLOps afin d'accompagner le développement des usages Data et IA. Participer aux projets de migration et d'évolution des plateformes Big Data (OS, Spark, Cloudera, Hadoop). Contribuer à l'amélioration continue des outils MLOps et au développement de nouvelles solutions adaptées aux besoins des utilisateurs. Participer au cadrage technique et à la définition des architectures et solutions applicatives. Assurer le développement, l'intégration et la recette technique des solutions sur les environnements Big Data / MLOps. Superviser, optimiser et améliorer les performances, la scalabilité et la fiabilité des plateformes existantes. Accompagner les utilisateurs dans l'utilisation des plateformes Big Data et des outils MLOps, notamment sur les problématiques d'accès aux données. Assurer le traitement des incidents, le support technique et l'assistance fonctionnelle auprès des utilisateurs. Collaborer étroitement avec les équipes Data, IA, métiers et IT afin de garantir des solutions performantes et adaptées aux besoins. Contribuer à l'automatisation des processus et à l'amélioration continue des pratiques de développement et de déploiement. Environnement technique / fonctionnel : Big Data, Hadoop, Cloudera, Spark, Python, Scala, Bash, GitLab, Jenkins, Ansible, Nexus, Sonar, Kubernetes, Elasticsearch, Logstash, Kibana, MLflow, Airflow, TensorFlow, MLOps, Data / IA.

Il aura la charge de gérer une architecture Lakehouse : • Data security : Apache Ranger • Data governance : Apache Atlas • Data processing : Spark, Apache Zeppelin • Data ingestion : nifi • Data analytics : Apache Impala • Data lake : hadoop, Apache KUDO • Dara serving: Hue Gestions des logs via la stack ELK (Elasticsearch-Logstash-Kibana) Provisionner des infrastructures via Terraform Connaissance réseaux (Mise en place et ouverture de flux réseau basé sur le dossier d'architecture réseau) Il documente les procédures d'exploitation et rédige des rapports synthétisés Il assure du bon fonctionnement des services dans le respect des SLA. Il connait et s'appuie sur les process ITIL (Gestion des incidents, des problèmes et des demandes de changement) pour opérer dans des environnements de production. Il a un bon niveau d'anglais pour converser avec les éditeurs dont Cloudera et les fournisseurs Il automatise les déploiements de fichiers de configurations, gestion des certificats et keystores via Ansible. Il utilise les Outils devops de versionning et de packages : Github, Jenkins Sa maitrise des environnements sous Linux lui permet d'analyser les logs dans le cadre du traitement des incidents. Il est force de proposition pour l'amélioration de l'exploitabilité des solutions et de la supervision des services. Il participe aux réunions d'équipe et rend compte des actions Il participe aux projets et aux différents comités.

En quelques motsCherry Pick est à la recherche d'un "Data Engineer Databricks (H/F) " pour un client dans le secteur du Retail Description🏢 Le Contexte : Passer à l'Échelle la Data Factory Supply ChainAu sein de la filiale informatique d'un groupe majeur de la grande distribution, la Data Factory réunit les équipes IT et les directions métiers pour concevoir, développer et déployer des produits analytiques et Data Science à forte valeur ajoutée. Afin de répondre à une demande croissante, l'organisation s'industrialise et adopte un modèle Agile à l'échelle (Domaines, Tribus, Squads). Vous intégrerez la squad Supply / Logistique, responsable de la création de cas d'usage stratégiques dédiés à l'optimisation des flux, à la gestion des entrepôts et à la performance logistique. Nous recherchons un(e) Data Engineer Confirmé / Senior évoluant sur une plateforme Cloud Azure / Databricks. Ce poste exige une réelle polyvalence : au-delà de la construction des pipelines de données, vous serez le garant de la qualité (QA/Testing) et participerez activement à la restitution décisionnelle. 🎯 Vos Missions : Pipelines, Data Warehouse, QA & RestitutionRattaché(e) à la squad Supply Chain, vos activités couvrent tout le cycle de vie de la donnée : 1. Data Engineering & Cloud Architecture (Majeure) : Concevoir et construire de manière industrielle les pipelines de données (ETL/ELT) pour transformer, enrichir et ingérer les données dans le Data Lake. Développer des notebooks Databricks (Spark / Python) pour assurer des traitements massifs complexes. Mettre en œuvre et optimiser les solutions de Cloud Data Warehousing (tuning de requêtes SQL, modélisation de tables). Assurer la livraison continue des développements dans un environnement DevOps intégrant les processus CI/CD (Azure DevOps). 2. QA, Testing & Qualité de Code : Assurer la QA et le testing des pipelines développés par le second Data Engineer de la squad. Concevoir et exécuter les tests unitaires, d'intégration et de non-régression. Réaliser des revues de code rigoureuses pour garantir le respect des bonnes pratiques et des standards d'ingénierie. 3. Data Analyse & Restitution Decisionnelle : Participer au recueil des besoins métiers et mener les analyses de données en amont. Concevoir et développer les tableaux de bord sous Power BI pour restituer les indicateurs Supply Chain aux opérationnels. Rédiger la documentation technique (Dossiers d'Analyse Technique, release notes).