Trouvez votre prochaine mission ou futur job IT.

Contexte Dans le cadre de la modernisation de sa plateforme data, notre client remplace un ETL historique par un socle basé sur Microsoft Fabric et Spark. Les flux concernés alimentent un Data Hub finance/risque (contrats, positions, instruments de couverture, flux futurs, contreparties, notations, données de marché). Pour piloter cette transformation, nous recherchons un Tech Lead Data, référent technique auprès des équipes data, architecture et métiers. Descriptif de la mission Évaluer l’existant (flux batch, modèles pivots, dépendances applicatives) avec l’équipe data Concevoir le framework d’ingestion et de transformation (Spark / PySpark / Python / Notebooks) Définir les standards de développement et conventions de nommage Mettre en place la chaîne CI/CD (Azure DevOps, GitHub Actions ou équivalent) Mettre en œuvre les mécanismes de monitoring, alerting et logging des traitements Accompagner les équipes d’intégration et métiers sur les flux critiques Encadrer techniquement et mentorer une équipe d’environ 3 data engineers Optimiser les performances et garantir la qualité des livrables Contribuer à la documentation et au transfert de connaissances Profil recherché Maîtrise de Spark / PySpark et des optimisations de performance Très bonne connaissance de Microsoft Fabric (Lakehouse, Notebooks, Data Pipelines, OneLake) ou Databricks Excellente pratique de Python pour les traitements de données et frameworks internes Très bon niveau SQL, bonne culture ETL/ELT, Data Hub et ingestion temps réel Pratique de la CI/CD (Azure DevOps, GitHub Actions ou similaire) Connaissance appréciée des Webservices / APIs REST Bonne compréhension des produits financiers (prêt, emprunt, titres, swaps, FX) appréciée Aisance relationnelle avec les équipes Finance et Risques, posture de “référent bienveillant” Expérience en lead technique / pilotage de projets data, autonomie, capacité d’auto-formation Français courant, anglais professionnel

Nous sommes à la recherche d’un Développeur Big Data Java/Scala – Projet Migration DataHub V2 Objectif de la mission : Assurer un service de développement Big Data dans un environnement distribué à forte volumétrie. Accompagnement sur les phases de conception, développement, industrialisation et maintien des traitements. Stack et compétences techniques requises : Apache Spark (maîtrise attendue) Scala (langage principal sur la squad) SQL (avancé) Java (notions de base à confirmées) Kafka (bonnes bases sur les événements, topics) Apache Airflow (idéalement une première expérience) Écosystème Hadoop : HDFS, Hive, Yarn (bonnes bases requises) Cloud (une première expérience Cloud valorisée, idéalement GCP ou AWS) CI/CD : Jenkins, Gitflow, notions de DevOps Méthodologie Agile : backlog, rituels, communication proactive Responsabilités principales : Étude et conception technique des batchs Développement Spark/Scala pour traitement de données volumineuses Récupération, transformation, enrichissement, restitution Création de batchs de publication Kafka Participation à la maintenance de la chaîne CI/CD Collaboration étroite avec les Business Analysts pour garantir qualité et lisibilité des libellés Gestion autonome de certains sujets (reporting, suivi, coordination) Profil recherché : Confirmé (3 à 6 ans d’expérience sur des environnements similaires) Proactif, rigoureux, à l’aise dans les contextes techniques exigeants Capacité à interagir avec des interlocuteurs techniques et fonctionnels Démarrage : ASAP Durée : mission longue (visibilité +12 mois)

Client : Entreprise de transport Poste : Architecte technique Senior DSM Expérience : Plus de 8 ans TJM d’achat max : 5 15€ Localisation : Banlieue parisienne Deadline réponse : 09/12 Démarrage : 01/01/2025 Durée : Mission très longue DESCRIPTION DE LA MISSION Objectifs La prestation, objet du présent cahier des charges, est une prestation à temps plein de Data Engineer Senior Scala/Spark. Vous interviendrez en tant que contributeur individuel sur l’étude, le chiffrage, la réalisation et l’exploitation de tâches liées à la constitution de traitements Data complexes. Les projets sont menés en équipe de 2 à 6 Data Engineers, accompagnés d’opérateurs, d’architectes et encadrés par un chef de projet. Description détaillée des tâches qui constituent la mission Dans le cadre de cette prestation, il est notamment demandé de réaliser les livrables décrits ci-dessous. S'agissant d'un projet mené en méthodologie agile, le découpage des livrables est réalisé par sprints. Le contenu de chaque sprint est variable mais toujours constitué sur la base d’US (User Stories). Les livrables liés aux US sont donc variables mais suivent généralement une recette commune liée à la Definition of Done du projet. Ces livrables sont réalisés par l'équipe projet, sans responsabilité de production individuelle. Les sprints s’échelonnent généralement sur 2 semaines. Contenu général des sprints : Développement des US et tests associés ; Documentation du projet, mapping des données, modélisation des pipelines, documents d’exploitation ; Mise en place du CI/CD sur l’usine logicielle ; Mise en place du monitoring ;

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Hanson Regan is looking for a Big data / Scala / Spark engineer for a 6 month renewable contract in remote with some travel to Belgium Advanced Data & Application Lifecycle Data Engineering Principles (Datalake, Lakehouse, SCD Types 1 & 2, PIT, ...), Application design, development, testing & deployment, Requirement Analysis Advanced Data Processing & Programming Language Apache Spark, Scala, SQL Advanced Real-time Processing Streaming Technologies (Apache Spark) or Flink Advanced Data Storage Iceberg, Delta Table, Parquet, Avro, CSV,JSON Cloud Platforms AWS, Snowflake (preferred) or Zure Databricks Intermediate Development Tools GIT CI/CD, DBT, Containers Afin de répondre aux besoins de nos clients, nous n'acceptons que les candidatures de freelances travaillant au sein de leur propre entreprise (SAS, SASU, SARL, EURL, etc.). N'hésitez pas à me contacter si vous souhaitez discuter de ce poste plus en détail.

Bonjour ☺️ Nous recherchons un DATA ENGINEER orienté sur les technologies SPARK / SCALA / PYTHON/ AWS pour le compte de notre client ! Mission : Maintenir la plateforme en conditions opérationnelles : Garantir la disponibilité des données et des services de la plateforme, Assurer la communication avec les utilisateurs de la plateforme, Répondre aux demandes de données (données ad hoc, analyses d’anomalies), Développer les correctifs et évolutions nécessaires, Contribuer à la qualité des données et à l’industrialisation de leur exploitation. Concevoir et développer des services et pipelines de données fiables et performants : Mettre en place des flux de données (acquisition, transformation, export), Concevoir et modéliser les données, Développer et optimiser les pipelines de transformation, Réaliser les tests unitaires et d’intégration, Garantir la qualité des développements via les revues de code, Ordonnancer et gérer les dépendances entre traitements, Déployer sur l’ensemble des environnements, Enrichir et maintenir la documentation de la plateforme. Profil recherché : Minimum 5 ans d'expériences dans un contexte de grande volumétrie de données, Capacité à collaborer avec une pluralité d'interlocuteurs en même temps, Excellent esprit d’équipe, Capacité d'adaptation, Maitrise impérative de : Spark Scala, Python et SQL, Expérience significative sur AWS. Apprécié : Connaissance de Dataiku, Méthodologie Scrum/Safe, Airflow N'hésitez pas à envoyer votre CV !

QODEXIA est une société de services informatiques implantée en France et en afrique du nord. Partenaire performant, innovant, agile pour aider les entreprises dans leur transforamtion digitale. QODEXIA s'est spécialisée dans le digital, SAP et les nouvelles technologies, accompagne au quotidien les plus grands acteurs de l'industrie, de l'énergie, du Luxe, de la Banque et de l'Assurance sur leurs projets. L’IT est notre passion, les valeurs humaines sont notre capital, c'est de quoi notre ADN est composé. Pour le compte de l'un de nos clients grands comptes du secteur transport, ous sommes à la rercherche d'un Profil Data Engineer Senior Scala/Spark (H/F) Client : Secteur d’activité Transport Poste : Architecte technique DSM Expérience : plus de 8 ans Localisation : Saint-Denis Durée : Mission très longue

Data Engineer Spark/Scala Paris o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Intégré(e) au sein d’une équipe Agile, vous participerez à : La conception et la mise en place de pipelines ETL performants L’ingestion, la transformation et la qualité des données La gestion et l’optimisation des flux Data dans un environnement Azure / Databricks / Spark L’automatisation des traitements et le monitoring des workflows La collaboration avec les équipes métier et Data pour répondre aux enjeux opérationnels La collaboration avec les équipes métier et Data pour répondre aux enjeux opérationnels

Dans le cadre de notre développement, nous recherchons un Expert Big Data pour accompagner un acteur majeur du secteur bancaire sur des projets stratégiques liés à la transformation et à l’optimisation de ses plateformes de données. Le consultant aura un rôle clé dans l’architecture et la mise en œuvre des pipelines Big Data, garantissant performance, scalabilité et conformité aux exigences métier et réglementaires. Objectifs de la mission : Conception et développement de pipelines Big Data Définir et mettre en place des architectures de traitement de données complexes. Développer et optimiser des workflows Spark et Airflow pour des traitements batch et temps réel. Assurer la qualité, la fiabilité et la performance des pipelines. Support stratégique et technique Conseiller les équipes sur les choix technologiques et les bonnes pratiques Big Data. Participer à la définition de la stratégie de données et à la roadmap technique. Collaborer étroitement avec les équipes métier et IT pour anticiper les besoins et prioriser les évolutions. Gouvernance et qualité des données Garantir la conformité des pipelines aux normes de sécurité et réglementaires du secteur bancaire. Mettre en place des mécanismes de supervision, de monitoring et d’alerte. Assurer la documentation technique et fonctionnelle des solutions déployées.

Bonjour 👽, Pour le compte de notre client, nous recherchons un data engineer Spark / Scala / Pyspark / Databricks / Azure. Missions principales : Participer au développement des User Stories (US) et réalisation des tests associés. Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d’exploitation. Mettre en place et maintenir le CI/CD sur l’usine logicielle. Assurer la mise en place du monitoring . Collaborer étroitement avec l’équipe projet ; pas de responsabilité de production individuelle. Travailler dans un environnement agile avec priorisation et gestion multi-projets. Compétences techniques indispensables : Maîtrise de Scala et Spark (batch principalement). Optimisation des jobs Spark et traitement de volumétries importantes / complexes . Bonnes pratiques de développement Scala et build Maven. Expérience en environnement cloud , idéalement Azure . Compétences techniques appréciées : Écosystème Databricks Azure Functions et Azure Data Factory Monitoring sous Datadog Déploiement avec Ansible Compétences transverses : Aisance relationnelle et esprit d’équipe Autonomie, rigueur et esprit d’analyse Capacité de synthèse et force de proposition Sens des priorités et respect des délais Appétence client et compréhension métier / fonctionnelle Mentoring et partage de connaissances

Dans le cadre des travaux à réaliser, nous recherchons un profil Data Engineer confirmé : Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Missions principales Contribuer au développement et à l’industrialisation des traitements Big Data. Intervenir en transverse auprès des différentes équipes (IT et métiers). Challenger les besoins métiers et proposer des solutions techniques pertinentes. Participer à l’amélioration continue des performances et de la qualité des données. Environnement technique Environnement technique : SPARK, CLOUDERA, HADOOP, Java, Hive Profil recherché – Hard & Soft Skills 5 à 8 ans d’expérience en environnement Big Data (Spark / Hadoop / Hive / Java). Solide culture data et environnement distribués (type Cloudera). Excellente capacité de prise de recul et de compréhension des enjeux métiers. Aisance relationnelle et posture transverse : capacité à challenger et à accompagner les équipes métiers. Présence à Vannes 3 jours par semaine - Non négociable

La tribu DATA (DAT) construit et développe des applications sur la base de puissantes plateformes DATA à des fins d’usages variés servant toutes les directions métier du groupe bancaire. Pour répondre à ces usages, DAT est au cœur de la stratégie data-centric du groupe bancaire, et intervient aussi bien au niveau de l’architecture Data, sur les dernières technologies data, Big Data, IA, Teradata, SAS, DMP, Oracle ainsi que sur les solutions analytiques et de datavisualisation. La mission consiste à assurer les fonctions suivantes au sein de la Squad Socles Data de la tribu DAT : Veiller au quotidien à la bonne marche des plateformes Data (Teradata et Big Data) Intervenir au quotidien, sous contraintes de délais, lors des incidents d’exploitation (analyse, diagnostic, résolution). Produire le relevé matinal des exécutions des traitements sur les plateformes « Entrepôt et Usages » et « Big Data ». Analyser les actions correctrices à lancer : – court terme (relance rapide) – moyen terme (consignes pour les pilotes de nuit) – long terme (correctifs d’ordonnancement ou de traitements) Créer les incidents selon le process interne (JIRA). Assurer une communication unique pour les deux environnements DATA Vulgariser la communication technico-fonctionnelle auprès des intervenants (équipes internes et métiers). Mettre en place et diffuser les indicateurs de performance et de délais. Mettre en place des états mensuels des incidents et contribuer aux reportings et comités. Analyser les indicateurs d’assurance qualité de données et communiquer auprès des acteurs concernés. Intégrer des méthodes d’amélioration continue Proposer des améliorations du chemin critique en tenant compte des applications sensibles. Maintenir en condition opérationnelle les moyens, dans le respect des normes et critères de performance. Développer des composants d’amélioration. Définir et mettre en place des outils de normalisation, d’automatisation et de sécurisation de la production. Contribuer à la conception de nouveaux projets et évolutions. Contribuer aux états réguliers de contrôle : habilitations, comptes, connexions… Participer aux projets d’optimisation et d’amélioration de la QDF (Qualité de Fonctionnement)

Vous serez en charge du déploiement ainsi que du MCO/MCS de l’écosystème Cloudera (Cloudera Manager, services Cloudera Data Platform : HDFS, Vous interviendrez également sur la gestion d’une architecture Lake house , comprenant : Data Security : Apache Ranger Data gouvernance : Apache Atlas Data processing : Spark, Apache Zeppelin Data ingestion : NiFi Data analytics : Apache Impala Data lake : Hadoop, Apache Kudu Data serving : Hue Responsabilités Documenter les procédures d’exploitation et rédiger des rapports synthétiques Garantir le bon fonctionnement des services dans le respect des SLA Opérer en environnement de production en s’appuyant sur les processus ITIL (gestion des incidents, problèmes, changements) Communiquer en anglais avec les éditeurs (dont Cloudera) et les fournisseurs Automatiser les déploiements (fichiers de configuration, certificats, keystores) via Ansible Utiliser les outils DevOps (GitHub, Jenkins) pour le versionning et les pipelines Exploiter les environnements Linux et analyser les logs dans le cadre du traitement des incidents Être force de proposition concernant l’amélioration de l'exploitabilité, la robustesse et la supervision des services Participer aux réunions d’équipe, aux projets et aux différents comités, et assurer un reporting régulier Livrables attendus Dossier d’ingénierie de la plateforme Lake house Fiches et procédures d’exploitation Dossier de mise en production PV de mise en production

Data Engineer Spark/Scala o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé