Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Nous recherchons un expert data capable de concevoir, structurer et optimiser des solutions data modernes pour accompagner la croissance et les enjeux business d’une organisation en pleine transformation numérique. Votre rôle sera central : transformer la donnée en levier stratégique, garantir sa qualité et développer les pipelines, modèles et analyses qui permettront aux équipes métiers de prendre de meilleures décisions. 🎯 Livrables & responsabilités Concevoir et mettre en œuvre des solutions data complètes pour répondre aux besoins business. Analyser, interpréter et valoriser des données complexes pour produire des insights actionnables. Travailler avec des équipes pluridisciplinaires (IT, produit, métier, sécurité…) afin d’identifier et résoudre les problématiques data. Développer et maintenir des pipelines de données , des modèles analytiques et des outils de reporting. Garantir la qualité, l’intégrité et la sécurité des données sur tout leur cycle de vie. Fournir une expertise technique et des recommandations pour soutenir la prise de décision data-driven. 🧩 Expertise requise 5 ans d’expérience minimum en data engineering, data analytics ou poste similaire. Expérience solide dans la livraison de solutions data dans des environnements dynamiques. Maîtrise des architectures et technologies data modernes : plateformes cloud (AWS, Azure, GCP), frameworks Big Data, data warehousing. Excellentes compétences en Python, SQL, Spark . Maîtrise de la modélisation de données , des processus ETL et des pipelines de transformation. Expertise sur les outils de visualisation et de reporting : Power BI, Tableau . Connaissance des bonnes pratiques de gouvernance, sécurité et conformité des données.

CONTEXTE Experience : 5 ans et plus Métiers Fonctions : Architecture technique, Sécurité, Méthode, Expert technique Spécialités technologiques : Cloud, Infrastructure & Cloud, Devops, Gouvernance des données, IAM Compétences Technologies et Outils AWS CI/CD Spark Terraform Python Docker Kinesis Amazon Kubernetes Gitlab Description et livrables de la prestation Le poste d'Architecte Technique Data Expert Technique, également de niveau Expérimenté ou Sénior, a pour mission d'assurer la validité technique et l'alignement des architectures Data avec les standards définis dans le cadre du Programme Vision 2035. En tant que référent technique, vous interviendrez en amont au sein des équipes CAPVISION (méthodologies Capvision, Découverte, Zoom) pour définir les architectures cibles et garantir leur cohérence au sein de l'écosystème SI existant. Vos responsabilités englobent la définition des architectures Cloud (performance, résilience), la mise en œuvre de la gouvernance des données (Dataviz, Datamesh), et la sécurisation des données. Compétences et Technologies (Focus Technique) : Ce rôle requiert une expertise en architecture Data et Cloud (Niveau 4). La maîtrise des outils de gouvernance de la donnée tels que Dataviz et Datamesh est primordiale (Niveau 4). Une expertise est demandée sur la gestion de la sécurité du SI, notamment la gestion des accès (IAM) et les mécanismes de protection des données (Niveau 4). De solides connaissances en intégration et déploiement continus (CI/CD) sont requises (Niveau 4). Techniquement, vous utiliserez Python et Spark. Les services Cloud spécifiques comprennent AWS IAM, Amazon Kinesis, AWS Lake Formation, AWS S3, ainsi que les outils d'industrialisation AWS, Gitlab CI, Docker, Kubernetes et Terraform. Expertise souhaitée Architecte Technique Data Expert Technique

Lead dev python / spark, freelance, 6 mois de contrat initial, paris intramuros Attractives opportunité pour un(e) Lead Developer / Python de rejoindre notre client final basé dans Paris intramuros et qui accompagne quotidiennement des millions de particuliers et de professionnels. Vous interviendrez en tant qu’expert en développement Python / Spark au sein d'une petite équipe sur un projet data innovant. Tâches principales · Lead Dev Python + Spark / PySpark · Fournir des conseils · Intervention sur des opérations exceptionnelles · Faire évoluer la plateforme · Organiser et structurer des mises à jour de versions

Nous recherchons un Consultant / Tech Lead Data expérimenté pour rejoindre notre équipe basée à Clermont-Ferrand . Vous interviendrez en tant que référent technique sur nos projets Data, en particulier autour de l’écosystème Databricks et de la plateforme Microsoft Azure . Piloter techniquement les projets Data et accompagner les équipes dans la montée en compétences. Concevoir, développer et optimiser des pipelines de données sous Databricks . Mettre en œuvre des architectures Data sur Azure (Data Lake, Data Factory, Synapse…). Développer, transformer et industrialiser les traitements Spark .

Mission au Luxembourg. Il est impératif et obligatoire de résider ou être proche frontière LUXEMBOURG Nous recherchons un(e) consultant(e) expérimenté(e) pour administrer et faire évoluer une plateforme Dataiku DSS au sein d’une équipe Data Science & AI. Vous contribuerez également à des projets techniques transverses (OpenShift, DevOps, MLOps, LLMOps). Missions : Administration, maintenance et optimisation de la plateforme Dataiku DSS Automatisation des opérations via Python (monitoring, upgrades, gestion utilisateurs) Support aux utilisateurs (data scientists, analystes, métiers) Collaboration avec les équipes infrastructure (OpenShift / Kubernetes) Développement de composants réutilisables (plugins, recettes, indicateurs) Rédaction et mise à jour de la documentation technique Participation à des projets DevOps, MLOps, LLMOps Profil recherché : Bac+3 à Bac+5 en informatique, data engineering ou équivalent Expérience >6 ans en administration de Dataiku DSS en environnement de production Maîtrise de Python, scripting, CI/CD Connaissances en OpenShift, Kubernetes, Big Data (Hadoop, Spark, Kafka) Autonomie, rigueur, esprit analytique Expérience dans le secteur bancaire appréciée

CONTEXTE : la Direction Technique a besoin d’être accompagnée sur une prestation d’Architecture Data pour l’ensemble de la Data Platform et des dispositifs associés. MISSIONS Au sein des équipes Data composées de product owners, de data engineers, de data scientists et autres profils, la prestation portera sur l’accompagnement des équipes dans les domaines suivants : · Architecture technique : o Garantir le respect des normes et la cohérence de la stack technique entre les différentes équipes o Contribuer et s’assurer de la mise en place de contrats d’interface entre les différentes équipes o Connaître les standards du marché et assurer une veille technologique o Participer aux tests et à l’introduction de nouvelles technologies o Comprendre et auditer l’architecture existante afin de proposer des améliorations · Developer expérience : o Contribuer à l’écriture de nouveaux modules Terraform o Accompagner les équipes dans leur montée en compétence de l’Infrastructure as Code et des nouvelles technologies o Définir les standards concernant les équipes de développement, en particulier sur la CI/CD · FinOps : o Mettre en place un plan de suivi du budget par équipe o Implémenter les outils de monitoring (alertes, seuils, etc.) o Identifier les optimisations et contribuer à leur priorisation Expertises demandées pour la réalisation de la prestation : · Au moins 3 ans d’expérience en tant qu’Architecte Data dans un environnement data · Compétences solides en data : structures de données, code, architecture · Expériences approfondies des meilleures pratiques des architectures en général et data en particulier · Expérience dans la sécurisation d’application dans le Cloud · Expériences dans un environnement du cloud Google (GCP) · Expériences intégrant BigQuery, Cloud Composer (Airflow) et Dataplex Universal Catalog · Expériences intégrant les langages Python et SQL · Expériences intégrant Spark · Expériences intégrant dbt · Expériences intégrant Terraform et Terragrunt

Responsabilités Unificateur de données : Concevoir, assembler, intégrer, nettoyer et harmoniser de grands jeux de données complexes afin de fournir des insights métier et d’alimenter des expériences de produits data. Agent de sécurité des données : Concevoir et construire des infrastructures de données fiables et scalables en utilisant les meilleures pratiques en matière de confidentialité et de sécurité pour protéger les données. Data Ops : Piloter l’ensemble de la chaîne data de bout en bout, incluant la collecte des événements, la gouvernance des données, les intégrations data et la modélisation. Responsable des données (Data Custodian) : Garantir la cohérence et la qualité de l’environnement technique et de la structure des données à travers des métriques, de la documentation, des processus, des tests de données et de la formation. Si vous possédez tout ou partie des compétences suivantes, n’hésitez pas à postuler Bonne connaissance des services de Cloud Data Warehouse. Une expérience sur Google BigQuery, Snowflake, AWS Redshift/Athena, Looker, Azure SQL DWH ou Azure Databricks est fortement appréciée. Bonne maîtrise des architectures relationnelles et Big Data, de l’entrepôt de données, de l’intégration des données, de la modélisation, de l’optimisation et des techniques d’analyse de données. Expérience dans la construction de pipelines de données de bout en bout sur des plateformes data on-premise ou cloud. Expérience concrète dans la livraison de solutions incluant des bases de données, du SQL avancé et du développement logiciel dans des langages tels que Python. Intérêt marqué et bonnes connaissances des technologies Big Data et de l’écosystème Apache (Beam, Spark, Kafka, Airflow), ainsi que des bases de données, de l’intégration, du master data management, de l’assurance qualité, du data wrangling et des technologies de gouvernance des données. Expérience des plateformes cloud publiques et des infrastructures cloud, indispensable pour le poste. Exposition aux outils ETL/ELT et de gouvernance des données. Intérêt pour les technologies et principes de l’IA et du Machine Learning. Capacité à migrer et transformer de grands jeux de données complexes issus de sources, structures et formats variés, modélisés pour supporter l’analyse et fournir des insights exploitables de qualité. Vous êtes un(e) analyste rigoureux(se) et un(e) excellent(e) résolveur(se) de problèmes, doté(e) d’un esprit de leadership intellectuel et d’une bonne compréhension des enjeux business. Vous êtes parfaitement bilingue français / anglais (poste basé à Paris). Avantages Nous nous engageons à faire vivre notre mission au quotidien, en commençant par offrir des avantages permettant à nos collaborateurs de s’épanouir : Vous bénéficierez d’un package compétitif, adapté à votre expérience, avec de réelles opportunités d’évolution. Nous avons à cœur de vous faire grandir et de vous aider à devenir la meilleure version de vous-même au sein d’une équipe de classe mondiale, composée de personnes brillantes et passionnées. Nous investirons fortement dans votre développement à travers des formations continues et un parcours de développement des compétences personnalisé. Nous valorisons l’initiative et soutenons volontiers les activités de team building ou tout type de formation enrichissante. Il n’existe pas de « sachant unique » : même si nos consultants débutent avec une dominante stratégique/business ou technique, ils sont encouragés à développer ou renforcer leur expertise et leur posture de conseil au fil des missions clients. Nos équipes RH et Staffing assurent un suivi individualisé afin d’aider chacun à devenir la meilleure version de lui-même. Inclusion & Diversité La diversité de nos équipes est au cœur de notre capacité à innover, à croître et à concrétiser notre ambition collective : aider chacun à construire son avenir. La curiosité naturelle, le respect des différences et un état d’esprit tourné vers l’apprentissage et la progression sont particulièrement valorisés.

Bonjour, Nous recherchons pour notre client basé en région parisienne un INGENIEUR CLOUD AZURE – Confirmé (4-10 ans) Objectif global : Participer au déploiement des projets data du client Contrainte forte du projet Maitrise de la plateforme Cloud Microsoft Azure Les livrables sont Construire des infrastructures Cloud Public (principalement sur Azure) Industrialiser les architectures cibles et configurer les équipements (CI / CD) Collaborer avec les équipes de développement, sécurité et projets dans la réalisation de la transformation Description détaillée Contexte Au sein de la Direction Digital et Data, vous intégrerez le Data Lab en charge de l’ensemble des projets BI et Data pour les enseignes et les fonctions d’appui du client En tant qu'Ingénieur DevOps, votre mission principale sera de participer au déploiement des projets data du client. La plate-forme utilisée est le Cloud Microsoft Azure. Vous êtes polyvalent et savez communiquer avec les différentes équipes. Afin d'assurer un niveau de sécurité conformes aux exigences du client sur les applications du Datalab, vous savez organiser des ateliers, suivre et rendre compte de l'avancement des sujets de sécurisation liés aux résultats d'audit, et apporter des solutions ou des pistes de réflexion en accords avec votre expertise de sécurité de la plateforme cloud Azure, notamment sur la mise en place d'applications Web et d'API. Vous ferez partie d’une équipe d’une dizaine de collaborateurs et travaillerez dans un environnement Agile. Le contexte vous plaît ? Découvrez votre quotidien au sein de votre future équipe. Vos missions - Construire des infrastructures Cloud Public (principalement sur Azure) - Industrialiser les architectures cibles et configurer les équipements (CI / CD) - Mettre en place des procédures et outils de surveillance permettant de garantir la haute disponibilité des infrastructures. - Participer aux phases de validation technique lors des mises en production ou des évolutions. - Collaborer avec les équipes de développement, sécurité et projets dans la réalisation de la transformation Vos atouts pour réussir De formation supérieure en informatique, vous justifiez d’une expérience de 4-10 ans dans un contexte Data. Vous disposez des connaissances sur les outils et méthodologies suivants : -Cloud Azure -Infrastructure as a code (ARM, YAML) -Intégration et déploiement continu (Git, Azure DevOps) -Services Big Data : Azure DataLake, Azure EventHub, Azure Databricks, Azure Data Factory, Power BI -Services Web : Azure FunctionApp, Azure WebApp -Micro-services/containers (AKS) -Base de données : SQL DB, CosmosDB La connaissance de ces langages de programmation serait un plus : Spark et Scala. Dans le cas où vous êtes intéressé par ce poste, pourriez-vous SVP m'envoyer votre CV au format Word en indiquant votre disponibilité ainsi que vos prétentions salariales ou votre tarification journalière si vous êtes indépendant ?

Nous recherchons un profil technique pour accompagner des projets data stratégiques au sein d’un acteur spécialisé dans la transformation et l’architecture des systèmes d’information. Vos missions Concevoir et faire évoluer des architectures data modernes (cloud, data lake, data warehouse, data mesh… selon les projets). Définir les standards et bonnes pratiques d’ingénierie des données. Concevoir, développer et optimiser des pipelines de données robustes et industrialisés. Participer aux choix technologiques et contribuer à la mise en place d’une gouvernance data efficace. Collaborer avec les équipes projet (data engineers, data analysts, product owners…) pour garantir la qualité et la fiabilité de la donnée. Compétences recherchées Maîtrise d’un ou plusieurs environnements cloud : AWS, Azure ou GCP. Expérience avérée en conception d’architectures data (batch, streaming, event-driven…). Solide pratique des langages et écosystèmes data : Python, SQL, Spark, DBT, Kafka, Airflow… Bonne compréhension des modèles de stockage et de traitement (Delta Lake, BigQuery, Snowflake…). Connaissance des bonnes pratiques de CI/CD, observabilité, sécurité et gouvernance data. Profil 3 à 7 ans d’expérience en data engineering ou en architecture data. Capacité d’analyse, rigueur technique et vision d’ensemble des systèmes de données. Aisance en communication et capacité à travailler en équipe sur des projets multidisciplinaires. Ce que nous offrons Participation à des projets à forte valeur ajoutée. Environnement orienté expertise, innovation et montée en compétences. Culture technique stimulante et possibilités d’évolution.

En quelques mots Cherry Pick est à la recherche d'un "Architecte Data IoT" pour un client dans le secteur du retail. Description La Data est centrale dans notre écosystème IoT : elle alimente la BI, la maintenance prédictive, la détection d'accidents et la conception intelligente de nos futurs produits. 🎯 Votre Mission : Architecturer la Data de l'IoT du Groupe Au sein de l'équipe "Cloud IoT Platform - Data Solution", vous agissez en tant que Data Architect / Lead Engineer . Vous êtes le garant des choix techniques et de l'architecture permettant d'ingérer, stocker et exposer les données venant du Cloud, des "Devices" et du Mobile. Vos responsabilités clés : Architecture & Stratégie : Imaginer et concevoir l'architecture Data pour collecter les données IoT (directement des appareils ou via mobile). Définir la stratégie des stacks techniques et garantir les standards d'architecture. Assurer l'alignement entre la vision technique, les priorités business et les besoins utilisateurs. Engineering & Pipelines : Construire des pipelines de données (structurées et non structurées) robustes et scalables. Maintenir et redesigner les pipelines existants pour servir de nouveaux cas d'usage (Analytics, IA, etc.). Garantir l'industrialisation des processus de transformation et le CI/CD. Qualité & Gouvernance : Assurer la scalabilité, l'élasticité et la fiabilité des infrastructures. Garantir la qualité de la donnée, son accessibilité, ainsi que le respect des normes de Privacy et Data Governance (Lineage). Leadership Technique : Contribuer activement à la communauté des Data Engineers. Assurer une veille technologique constante pour orienter la sélection des nouveaux outils. 🛠 Environnement Technique Langages : Python, Scala, Java. Big Data & Streaming : Kafka, Spark. Cloud & Infrastructure : AWS (Lambda, Redshift, S3), Microservices. Concepts : Systèmes distribués, Data Modeling, Real-time data exchanges.

Bonjour à tous, Je recherche pour le compte d'un de mes clients plusieurs DevOps. Voici les missions : Contribution fonctionnelle & technique Intégrer de nouvelles fonctionnalités issues de composants open-source et assurer la maintenance des fonctionnalités existantes. Collaborer quotidiennement avec les Data Engineers (échanges sur les cas d’usage, tests, besoins utilisateurs finaux). Infrastructure & automatisation Automatiser le déploiement d’infrastructures Cloud à grande échelle sous Azure , en particulier la gestion de clusters Azure au niveau ressource. Travailler dans une infrastructure 100% Terraform (≈45%) : définition, maintenance et optimisation des modules et stacks IaC. Utiliser Terragrunt pour organiser et orchestrer les déploiements multi-environnements. Automatiser et industrialiser le déploiement d’images Docker et de composants applicatifs au sein de clusters Kubernetes. Concevoir, maintenir et optimiser des charts Helm (≈30%) pour les différents services déployés. Maintenir et développer des scripts et utilitaires en bash (≈20%) et ponctuellement en Python (≈5%). Plateforme Data & environnement offline Déployer et intégrer des composants transverses : Ingress, Keycloak, Nexus… Automatiser et opérer les briques techniques liées aux traitements de données : GitLab, Jupyter/JupyterHub (notamment en environnement offline), Spark, PostgreSQL… Travailler dans des environnements sans accès internet , incluant la gestion interne des identités, l’intégration réseau, et la gestion complète du cycle de vie applicatif. CI/CD & qualité Utiliser la suite Azure DevOps (repos, boards, pipelines). Exécuter et superviser des pipelines CI/CD de tests et de déploiements déjà implémentés. Participer activement aux pratiques DevOps : revue de code, bonnes pratiques Git, amélioration continue des workflows. Architecture & sécurité Contribuer à l’évolution de l’architecture de la plateforme en apportant votre expertise Cloud, Kubernetes ou systèmes distribués. Assurer une veille active sur les sujets technologiques et de sécurité. Appliquer et promouvoir les bonnes pratiques en matière de sécurité des données et de la plateforme. Actualiser et structurer la documentation technique.

Introduction & Résumé: Le rôle de Data Scientist est essentiel pour analyser la performance des outils de prévision au sein du département de Recherche Opérationnelle, contribuant ainsi à l'optimisation des revenus de l'entreprise. Le candidat idéal possède une connaissance approfondie de la modélisation mathématique et statistique, ainsi que des compétences en Machine Learning et en Python. Principales Responsabilités: Le Data Scientist Junior aura pour mission de: Analyser la performance d’un moteur de prédiction lié à l’overbooking. Contribuer à d'autres moteurs de prédiction et d'optimisation dans le projet FIT (Freight Intelligence Techniques). Exigences Clés: Connaissance approfondie de la modélisation mathématique et statistique. Compétences en Machine Learning. Maîtrise des bonnes pratiques Python. Expérience avec les outils : Spark, Python, Git, Bash, SQL. Compréhension des environnements Unix/Linux. Bon niveau d’Anglais écrit et oral. Expérience avec GCP (Google Cloud Platform). Doctorat en Mathématiques ou en Physique. (est un plus). Autres détails: Ce poste est basé à Paris et Amsterdam, au sein du département de Recherche Opérationnelle.

Au sein de l’entité Plateforme IT, le Responsable DevOps encadre et anime une équipe DevOps d’environ 20 personnes (internes & prestataires), intervenant sur des produits et plateformes d’infrastructure OnPremise, Cloud et hybrides. L’organisation hiérarchique est décorrélée de l’organisation opérationnelle : le Responsable DevOps travaille en transverse avec : -les Product Owners -le Product Manager -le Responsable SysOps pour assurer le delivery et l’atteinte des objectifs. L’équipe DevOps est responsable du build & run des produits et plateformes d’infrastructure pour les autres entités de la DSI, dans une logique “as a service” (accélérer le delivery, accompagner les équipes métiers vers le DevOps et l’autonomie). Objectifs & responsabilités : 1) Encadrement & animation de l’équipe DevOps -Organiser et gérer la charge de l’équipe selon les besoins opérationnels. -Garantir le delivery, la performance et l’atteinte des objectifs. -Développer les recouvrements de compétences et la polyvalence. -Uniformiser les pratiques entre les différents périmètres (outils / techno / process). -Décliner la vision stratégique de l’entité au niveau de l’équipe. -Favoriser la collaboration, l’engagement et la communication. -Organiser des points de suivi réguliers avec les leads et l’équipe. 2) Suivi des collaborateurs (management hiérarchique) -Gérer les recrutements en lien avec l’entité. -Gérer les aspects RH : congés, administratif, intégration. -Gérer les compétences & les plans de formation. -Veiller au respect du cadre de travail organisationnel. -Réaliser les entretiens annuels. 3) Gestion des relations avec les ESN -Gérer le suivi commercial avec les ESN partenaires. -Gérer les rotations, renforts et nouveaux besoins. 4) Pilotage des KPI, SLA & reporting -Définir et suivre des KPI alignés sur les objectifs DSI. -Mettre en place un reporting organisationnel régulier. -Suivre les SLA et la qualité de service fournie aux autres entités DSI. 5) Gestion budgétaire & suivi des ressources -Construire et suivre le budget (jours, coûts, ressources). -Gérer les demandes d’achat et contrats. -Gérer les relations ESN dans une logique coûts / qualité. -Suivre les imputations d’activités/projets. Le Responsable DevOps s’appuie sur des Lead Dev sur plusieurs domaines : -Traitement des données : Datastage, Spark -Ordonnancement : Dollar Universe, Airflow -CI/CD : Gitlab, Gitlab CI, Artifactory, Nexus, Sonar -Supervision & logs : Centreon, Grafana/Prometheus, Checkly -Sécurité : KeeperSecurity, Vault -Échanges : WSO2, RabbitMQ, Boomi -Test : Squash, Postman -Provisioning d’environnements : bases de données, serveurs d’applications, search, Kubernetes, IaC Profil recherché : -Ingénieur DevOps Senior (> 8 ans d’expérience). -Expérience confirmée en encadrement d’équipes DevOps (internes + prestataires). -Très bonnes connaissances des produits et plateformes techniques (OnPrem / Cloud). -Expérience en gestion budgétaire et pilotage d’activités. -Forte capacité de leadership agile, basé sur la confiance et la responsabilisation des équipes.

Contexte Dans un programme stratégique de convergence Risques / Finance , le client vise à unifier et fiabiliser la production des reportings réglementaires (FINREP, COREP, SURFI…). L’objectif : mettre en place un socle unique pour la collecte, la préparation, le contrôle et la traçabilité des données réglementaires. Le consultant interviendra sur les volets Collecte et/ou Socle Technique , autour du développement de nouvelles fonctionnalités ou de l’amélioration du existant, dans un cadre méthodologique en V au sein d’une équipe fonctionnant en Scrum . Une montée en responsabilités vers un rôle de référent Dataiku est prévue selon la maîtrise des sujets. Missions Développer des fonctionnalités data au sein de Dataiku (recettes, scénarios, pipelines). Améliorer les bonnes pratiques de développement, d’industrialisation et de tests. Participer à la conception avec la Product Team et challenger les solutions proposées. Réaliser les tests , diagnostics et optimisations des pipelines existants. Contribuer au partage de connaissances et à la montée en compétence des développeurs juniors. Participer activement à la vie de l’équipe agile (daily, sprint planning, refinement, reviews). Compétences Techniques Requises Dataiku (recettes avancées, scénarios, API, partitions) – certifications appréciées. Python (manipulation data, librairies standards). Datastage . Spark . Unix / Shell . Bases de données relationnelles : DB2, Oracle… SQL avancé. Compétences appréciées Environnements OpenShift / Kubernetes / Docker . Connaissances en programmation objet (Java, C#…). Culture data dans des environnements Risk/Finance ou réglementaire bancaire. Profil recherché Minimum 5 ans d’expérience en développement Dataiku dans des contextes complexes. Capacité à évoluer en mode produit et à travailler en interaction avec Risques, Finance, IT. Autonomie, rigueur, capacité d’analyse et communication claire. Expérience en environnement bancaire fortement appréciée.

Nous recherchons un expert Data IT pour accompagner la migration des projets vers le Cloud interne et soutenir les équipes de développement dans l’adoption des bonnes pratiques de développement , en intégrant les enjeux de sécurité et de gouvernance des données . Il contribuera à la mise en place d’automatisation et d’industrialisation selon les principes DevSecOps , participera aux chantiers d’amélioration continue et au monitoring transverse, tout en intervenant dans les premières implémentations de solutions Gen AI appliquées à la donnée . Acteur clé de la stratégie Data France , il apportera conseil et expertise auprès des squads, animera des sessions de formation et mènera des études d’optimisation des services de l'équipe Data . Une veille technologique active et la maîtrise de l’environnement Big Data Hadoop ainsi que du développement SPARK SCALA sont indispensables pour ce poste.

Contexte / Objectif : Renfort d’une équipe technique en charge de la migration du DataHub vers sa version 2. L’objectif est d’assurer le développement et l’industrialisation de traitements Big Data dans un environnement distribué à forte volumétrie, depuis la conception jusqu’au maintien en production. Missions principales : Étude et conception technique des batchs et pipelines data. Développement Spark/Scala pour traitements batch et streaming. Récupération, transformation, enrichissement et restitution des données (ETL/ELT). Création et publication de batchs Kafka (topics / événements). Participation à l’industrialisation : CI/CD, tests, déploiement et monitoring. Collaboration étroite avec les Business Analysts pour garantir la qualité et la lisibilité des libellés. Gestion autonome de sujets transverses (reporting, suivi, coordination, support niveau 2/3). Stack technique (obligatoire / souhaité) : Obligatoire : Apache Spark (maîtrise), Scala (langage principal), SQL (avancé). Souhaité : Java (notions confirmées), Kafka (bonnes bases), Apache Airflow (expérience appréciée), HDFS/Hive/YARN (bonnes bases), expérience Cloud (GCP ou AWS valorisée), CI/CD (Jenkins, Gitflow), notions DevOps. Méthodologie & environnement : Travail en mode Agile (backlog, rituels, communication proactive). Interaction régulière avec équipes Data, BI, infra et métiers.