Trouvez votre prochaine mission ou futur job IT.

Contexte Dans le cadre de la modernisation de sa plateforme data, notre client remplace un ETL historique par un socle basé sur Microsoft Fabric et Spark. Les flux concernés alimentent un Data Hub finance/risque (contrats, positions, instruments de couverture, flux futurs, contreparties, notations, données de marché). Pour piloter cette transformation, nous recherchons un Tech Lead Data, référent technique auprès des équipes data, architecture et métiers. Descriptif de la mission Évaluer l’existant (flux batch, modèles pivots, dépendances applicatives) avec l’équipe data Concevoir le framework d’ingestion et de transformation (Spark / PySpark / Python / Notebooks) Définir les standards de développement et conventions de nommage Mettre en place la chaîne CI/CD (Azure DevOps, GitHub Actions ou équivalent) Mettre en œuvre les mécanismes de monitoring, alerting et logging des traitements Accompagner les équipes d’intégration et métiers sur les flux critiques Encadrer techniquement et mentorer une équipe d’environ 3 data engineers Optimiser les performances et garantir la qualité des livrables Contribuer à la documentation et au transfert de connaissances Profil recherché Maîtrise de Spark / PySpark et des optimisations de performance Très bonne connaissance de Microsoft Fabric (Lakehouse, Notebooks, Data Pipelines, OneLake) ou Databricks Excellente pratique de Python pour les traitements de données et frameworks internes Très bon niveau SQL, bonne culture ETL/ELT, Data Hub et ingestion temps réel Pratique de la CI/CD (Azure DevOps, GitHub Actions ou similaire) Connaissance appréciée des Webservices / APIs REST Bonne compréhension des produits financiers (prêt, emprunt, titres, swaps, FX) appréciée Aisance relationnelle avec les équipes Finance et Risques, posture de “référent bienveillant” Expérience en lead technique / pilotage de projets data, autonomie, capacité d’auto-formation Français courant, anglais professionnel

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Client : Entreprise de transport Poste : Architecte technique Senior DSM Expérience : Plus de 8 ans TJM d’achat max : 5 15€ Localisation : Banlieue parisienne Deadline réponse : 09/12 Démarrage : 01/01/2025 Durée : Mission très longue DESCRIPTION DE LA MISSION Objectifs La prestation, objet du présent cahier des charges, est une prestation à temps plein de Data Engineer Senior Scala/Spark. Vous interviendrez en tant que contributeur individuel sur l’étude, le chiffrage, la réalisation et l’exploitation de tâches liées à la constitution de traitements Data complexes. Les projets sont menés en équipe de 2 à 6 Data Engineers, accompagnés d’opérateurs, d’architectes et encadrés par un chef de projet. Description détaillée des tâches qui constituent la mission Dans le cadre de cette prestation, il est notamment demandé de réaliser les livrables décrits ci-dessous. S'agissant d'un projet mené en méthodologie agile, le découpage des livrables est réalisé par sprints. Le contenu de chaque sprint est variable mais toujours constitué sur la base d’US (User Stories). Les livrables liés aux US sont donc variables mais suivent généralement une recette commune liée à la Definition of Done du projet. Ces livrables sont réalisés par l'équipe projet, sans responsabilité de production individuelle. Les sprints s’échelonnent généralement sur 2 semaines. Contenu général des sprints : Développement des US et tests associés ; Documentation du projet, mapping des données, modélisation des pipelines, documents d’exploitation ; Mise en place du CI/CD sur l’usine logicielle ; Mise en place du monitoring ;

QODEXIA est une société de services informatiques implantée en France et en afrique du nord. Partenaire performant, innovant, agile pour aider les entreprises dans leur transforamtion digitale. QODEXIA s'est spécialisée dans le digital, SAP et les nouvelles technologies, accompagne au quotidien les plus grands acteurs de l'industrie, de l'énergie, du Luxe, de la Banque et de l'Assurance sur leurs projets. L’IT est notre passion, les valeurs humaines sont notre capital, c'est de quoi notre ADN est composé. Pour le compte de l'un de nos clients grands comptes du secteur transport, ous sommes à la rercherche d'un Profil Data Engineer Senior Scala/Spark (H/F) Client : Secteur d’activité Transport Poste : Architecte technique DSM Expérience : plus de 8 ans Localisation : Saint-Denis Durée : Mission très longue

Dans le cadre de notre développement, nous recherchons un Expert Big Data pour accompagner un acteur majeur du secteur bancaire sur des projets stratégiques liés à la transformation et à l’optimisation de ses plateformes de données. Le consultant aura un rôle clé dans l’architecture et la mise en œuvre des pipelines Big Data, garantissant performance, scalabilité et conformité aux exigences métier et réglementaires. Objectifs de la mission : Conception et développement de pipelines Big Data Définir et mettre en place des architectures de traitement de données complexes. Développer et optimiser des workflows Spark et Airflow pour des traitements batch et temps réel. Assurer la qualité, la fiabilité et la performance des pipelines. Support stratégique et technique Conseiller les équipes sur les choix technologiques et les bonnes pratiques Big Data. Participer à la définition de la stratégie de données et à la roadmap technique. Collaborer étroitement avec les équipes métier et IT pour anticiper les besoins et prioriser les évolutions. Gouvernance et qualité des données Garantir la conformité des pipelines aux normes de sécurité et réglementaires du secteur bancaire. Mettre en place des mécanismes de supervision, de monitoring et d’alerte. Assurer la documentation technique et fonctionnelle des solutions déployées.

Hanson Regan is looking for a Big data / Scala / Spark engineer for a 6 month renewable contract in remote with some travel to Belgium Advanced Data & Application Lifecycle Data Engineering Principles (Datalake, Lakehouse, SCD Types 1 & 2, PIT, ...), Application design, development, testing & deployment, Requirement Analysis Advanced Data Processing & Programming Language Apache Spark, Scala, SQL Advanced Real-time Processing Streaming Technologies (Apache Spark) or Flink Advanced Data Storage Iceberg, Delta Table, Parquet, Avro, CSV,JSON Cloud Platforms AWS, Snowflake (preferred) or Zure Databricks Intermediate Development Tools GIT CI/CD, DBT, Containers Afin de répondre aux besoins de nos clients, nous n'acceptons que les candidatures de freelances travaillant au sein de leur propre entreprise (SAS, SASU, SARL, EURL, etc.). N'hésitez pas à me contacter si vous souhaitez discuter de ce poste plus en détail.

Dans le cadre d’un programme stratégique de pilotage financier, nous recherchons un Ingénieur Logiciel Data Cloud AWS confirmé (+7 ans d’expérience) pour rejoindre une équipe de développement et d’ingénierie orientée données et services cloud. Vous interviendrez sur la conception, l’implémentation et l’amélioration continue des services AWS nécessaires au traitement, à l’analyse et à la planification financière. Le contexte est exigeant : réglementaire, sécurité, performance, optimisation des coûts et démarche DevOps/DORA. Vous intégrerez une équipe de 9 personnes, dont un pôle cloud/data AWS déjà en place. Vos missions : Concevoir, développer et faire évoluer les services applicatifs AWS (Glue Spark, Lambda, Step Functions, Athena, S3, IAM). Intégrer les services aux différents écosystèmes techniques (plateforme Data, MDM, ZDP, Data Link, Anaplan). Proposer des optimisations, améliorer les architectures existantes, renforcer la robustesse et la performance. Prendre en compte les exigences métiers, réglementaires, sécuritaires et environnementales. Participer à une démarche d’amélioration continue (Lean, DevOps, DORA). Documenter les architectures, formaliser les conceptions, assurer un bon niveau de qualité. Implémenter les bonnes pratiques TDD / BDD. Collaborer en équipe dans un environnement cloud industriel avancé.

Intégré(e) au sein d’une équipe Agile, vous participerez à : La conception et la mise en place de pipelines ETL performants L’ingestion, la transformation et la qualité des données La gestion et l’optimisation des flux Data dans un environnement Azure / Databricks / Spark L’automatisation des traitements et le monitoring des workflows La collaboration avec les équipes métier et Data pour répondre aux enjeux opérationnels La collaboration avec les équipes métier et Data pour répondre aux enjeux opérationnels

En tant que Business Analyst expérimenté, vous êtes responsable du cycle de vie complet de l'intégration des flux de paiement : Coordination et Pilotage des Flux : Animer et coordonner les différentes équipes impliquées : Équipes M3 (ERP), Spark (Middle Office), Équipes de Développement (Front/Back) et le Partenaire PSP. Garantir l'alignement des parties prenantes sur les objectifs du projet et les spécifications techniques et fonctionnelles. Analyse et Spécification Fonctionnelle : Recueillir, analyser et formaliser les besoins métier en lien avec l'outil de paiement (processus de commande, annulation, remboursement, gestion des fraudes, etc.). Rédiger les Spécifications Fonctionnelles Détaillées (SFD) et les user stories claires et exploitables pour les équipes de développement. Suivi et Validation des Développements : Assurer la transmission et l'interprétation des spécifications aux équipes de développement. Réceptionner et valider les livrables techniques en vous assurant de leur conformité avec les spécifications initiales. Tests et Recette (E2E/UAT) : Concevoir et exécuter les tests de bout en bout ( End-to-End Tests ) pour valider l'intégralité de la chaîne de paiement. Coordonner et piloter les tests d'Acceptation Utilisateur ( User Acceptance Tests - UAT ) avec les équipes métier.

Bonjour ☺️ Nous recherchons un DATA ENGINEER orienté sur les technologies SPARK / SCALA / PYTHON/ AWS pour le compte de notre client ! Mission : Maintenir la plateforme en conditions opérationnelles : Garantir la disponibilité des données et des services de la plateforme, Assurer la communication avec les utilisateurs de la plateforme, Répondre aux demandes de données (données ad hoc, analyses d’anomalies), Développer les correctifs et évolutions nécessaires, Contribuer à la qualité des données et à l’industrialisation de leur exploitation. Concevoir et développer des services et pipelines de données fiables et performants : Mettre en place des flux de données (acquisition, transformation, export), Concevoir et modéliser les données, Développer et optimiser les pipelines de transformation, Réaliser les tests unitaires et d’intégration, Garantir la qualité des développements via les revues de code, Ordonnancer et gérer les dépendances entre traitements, Déployer sur l’ensemble des environnements, Enrichir et maintenir la documentation de la plateforme. Profil recherché : Minimum 5 ans d'expériences dans un contexte de grande volumétrie de données, Capacité à collaborer avec une pluralité d'interlocuteurs en même temps, Excellent esprit d’équipe, Capacité d'adaptation, Maitrise impérative de : Spark Scala, Python et SQL, Expérience significative sur AWS. Apprécié : Connaissance de Dataiku, Méthodologie Scrum/Safe, Airflow N'hésitez pas à envoyer votre CV !

· Déploiement et administration avancée des applications Spark, Trino ou Jupyter sur Kubernetes. · Tuning et optimisation des performances : ajustement des configurations, analyse des logs, debugging avancé, optimisation des requêtes SQL (Trino), tuning des jobs Spark. · Gestion du RUN et support applicatif : diagnostic et résolution des incidents, amélioration continue des performances, accompagnement des utilisateurs sur l’optimisation des requêtes. · Mise en place de l’approche GitOps : automatisation complète du déploiement et de la gestion des applications avec Terraform, Ansible, Git, ArgoCD/FluxCD. · Sécurisation et monitoring avancé : implémentation de métriques et alertes sur Prometheus, Grafana, Loki, gestion des accès et des logs applicatifs.

Data Engineer Spark/Scala Paris o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Vous serez en charge du déploiement ainsi que du MCO/MCS de l’écosystème Cloudera (Cloudera Manager, services Cloudera Data Platform : HDFS, Vous interviendrez également sur la gestion d’une architecture Lake house , comprenant : Data Security : Apache Ranger Data gouvernance : Apache Atlas Data processing : Spark, Apache Zeppelin Data ingestion : NiFi Data analytics : Apache Impala Data lake : Hadoop, Apache Kudu Data serving : Hue Responsabilités Documenter les procédures d’exploitation et rédiger des rapports synthétiques Garantir le bon fonctionnement des services dans le respect des SLA Opérer en environnement de production en s’appuyant sur les processus ITIL (gestion des incidents, problèmes, changements) Communiquer en anglais avec les éditeurs (dont Cloudera) et les fournisseurs Automatiser les déploiements (fichiers de configuration, certificats, keystores) via Ansible Utiliser les outils DevOps (GitHub, Jenkins) pour le versionning et les pipelines Exploiter les environnements Linux et analyser les logs dans le cadre du traitement des incidents Être force de proposition concernant l’amélioration de l'exploitabilité, la robustesse et la supervision des services Participer aux réunions d’équipe, aux projets et aux différents comités, et assurer un reporting régulier Livrables attendus Dossier d’ingénierie de la plateforme Lake house Fiches et procédures d’exploitation Dossier de mise en production PV de mise en production

Nous recherchons un Architecte Data GCP senior pour accompagner une grande organisation française dans la structuration et l’évolution de sa Data Platform au sein d’équipes pluridisciplinaires (Data Engineers, Data Scientists, Product Owners, équipes techniques transverses…). Vos missions En tant qu’Architecte Data, vous interviendrez sur un périmètre stratégique incluant : Architecture Data Garantir la cohérence et la standardisation de la stack technique entre les différentes équipes. Auditer l’architecture existante et proposer des améliorations structurantes. Définir les contrats d’interface entre les équipes (data products / data mesh). Participer à l’introduction et aux tests de nouvelles technologies. Veille technologique continue sur les solutions Cloud & Data. Developer Experience Contribuer à la rédaction et à l’industrialisation de modules Terraform / Terragrunt. Accompagner les équipes dans la montée en compétence sur l’Infrastructure as Code. Définir les standards CI/CD applicables à l’ensemble des équipes Data. FinOps Suivi et contrôle du budget Data (multi-équipes). Mise en place d’outils de monitoring, alerting et optimisation des ressources. Identification et priorisation des optimisations de coûts Cloud.

Data Engineer Spark/Scala o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Le Data Engineer est un développeur au sein de l’équipe Engineering Open Big Data du Département Data, qui regroupe l’ensemble des expertises technologiques liées à l’ingénierie de la donnée, de l’automatisation et à l’exploitation des modèles de Machine Learning. Ce déparetement est dédié au service de notre client et de ses équipes (Data office, Tribus data, Business, Transformation Office etc.), afin de fournir, en collaboration avec le Data Office, les plateformes (RPA, BI, Data, …) et les données nécessaires aux équipes chargées de délivrer les cas d’usages, puis les déployer et les maintenir en conditions opérationnelles.