Qui sommes-nous ?Anafi Consulting est un cabinet de conseil spécialisé dans les transformations technologiques et organisationnelles. Nous accompagnons nos clients grands comptes dans leurs projets stratégiques autour de la Finance, de la Data, du Cloud, du DevOps et du développement applicatif, en combinant expertise technique, compréhension métier et qualité du delivery. Votre rôleDans le cadre de projets stratégiques de transformation Data au sein d'un environnement bancaire international, nous recherchons un(e) Data Engineer Senior / Lead spécialisé(e) dans les technologies Apache Spark, Scala et Azure Databricks. Vous interviendrez sur la conception, le développement et l'optimisation de plateformes de traitement de données à grande échelle, notamment autour des données de marché et des reportings financiers réglementaires. Votre rôle couvrira l'ensemble du cycle de vie des traitements Data : ingestion, transformation, contrôle qualité, optimisation des performances, industrialisation et mise en production. Vous contribuerez également aux choix d'architecture et à l'accompagnement technique des équipes. Vos missions principales Data Engineering & Traitement de donnéesConcevoir et développer des pipelines de traitement de données avec Apache Spark et Scala. Collecter, transformer et consolider des données issues de sources multiples. Développer des traitements distribués pour des volumes importants de données financières. Mettre en œuvre des contrôles de qualité et de cohérence des données. Automatiser les traitements de rapprochement et les calculs financiers. Garantir la fiabilité et la traçabilité des données produites. Architecture Data Lake & AzureParticiper à la conception et à l'évolution d'architectures Data Lake sur Microsoft Azure. Mettre en œuvre des solutions Delta Lake selon une architecture médaillon Bronze / Silver / Gold. Développer et maintenir des traitements sur Azure Databricks. Contribuer à l'optimisation du stockage et de l'exploitation des données sur Azure Data Lake Storage Gen2. Participer aux projets de modernisation et de migration des plateformes Data. Performance & Optimisation SparkOptimiser les performances des traitements Spark. Analyser les plans d'exécution et améliorer les stratégies de partitionnement. Réduire les temps de traitement grâce à l'optimisation des opérations de shuffle et des agrégations. Participer aux migrations et montées de version des environnements Spark. Identifier les axes d'amélioration de la performance, de la stabilité et de la maintenabilité des pipelines. Données financières & Reporting réglementaireDévelopper des traitements de calcul et d'agrégation de données financières. Contribuer à la production de reportings réglementaires tels que NSFR et COREP. Participer à la fiabilisation des données de marché et des référentiels financiers. Développer des mécanismes de rapprochement entre différentes sources de données. Garantir la qualité et la non-régression des calculs. Industrialisation & DevOpsIndustrialiser les traitements Data à travers des pipelines CI/CD. Automatiser les tests unitaires et d'intégration. Participer au déploiement des applications sur Kubernetes / AKS. Utiliser Helm pour la gestion des déploiements. Contribuer à l'amélioration continue des pratiques de développement et de livraison. Expertise technique & AccompagnementParticiper aux choix d'architecture et aux orientations techniques. Accompagner les ingénieurs Data dans leur montée en compétence. Réaliser des revues de code et promouvoir les bonnes pratiques de développement. Collaborer avec les équipes métiers, Data Analysts et équipes IT. Animer des ateliers techniques dans le cadre des évolutions et migrations technologiques. Environnement techniqueData Engineering & Big Data Scala Apache Spark Azure Databricks Delta Lake SQL Cloud & Stockage Microsoft Azure Azure Data Lake Storage Gen2 (ADLS) Architecture Data Lake Architecture médaillon Bronze / Silver / Gold Bases de données & Restitution ClickHouse OpenSee DevOps & Industrialisation Jenkins GitHub Kubernetes / Azure AKS Helm Oozie CI/CD Développement Java Spring Boot Angular Qualité & Performance Tests unitaires et d'intégration Optimisation Spark Partitionnement et shuffle Monitoring des traitements Qualité et fiabilité des données
Dans le cadre du développement des projets Data, nous recherchons un Data Engineer / DataOps pou accompagner les différentes entités dans l'utilisation et l'industrialisation de la plateforme. Missions :Administrer, superviser et maintenir les workspaces Définir, documenter et faire évoluer les standards et bonnes pratiques Garantir la qualité, la sécurité et la conformité des services proposés aux différentes entités Industrialiser les environnements et déploiements avec des pratiques DevOps / IaC Tester et évaluer les nouvelles fonctionnalités Databricks puis formuler des recommandations Veiller au respect des politiques et accompagner leur mise en œuvre Contribuer à la conception et réalisation de use cases Data stratégiques portés par les différentes entités Participer à l'amélioration continue de l'écosystème Data et des processus d'exploitation Compétences techniques :Databricks : administration, configuration et exploitation de workspaces. Python / PySpark / Spark. Git et pratiques de gestion de code. AWS et/ou Azure. Infrastructure as Code (IaC) : Terraform, CloudFormation ou équivalent. DevOps / DataOps : CI/CD, automatisation, industrialisation et déploiement. Environnements Agile : Scrum et/ou Kanban.
Objectif de la mission : Dans le cadre de l'accélération de sa stratégie autour de l'Intelligence Artificielle et de l'innovation, un acteur majeur des services financiers souhaite renforcer son dispositif avec un profil senior capable de définir, piloter et déployer une stratégie IA à l'échelle de l'organisation. La mission intervient à la convergence des enjeux technologiques, métiers, data et transformation. L'objectif est de faire passer les initiatives IA de l'expérimentation à une adoption industrialisée, gouvernée et créatrice de valeur pour les différentes activités. 1. Définition de la stratégie IA et Innovation · La mission aura pour responsabilité de définir et piloter la stratégie IA et innovation en cohérence avec les priorités de l'organisation. · Elle devra identifier les opportunités à fort potentiel et structurer leur mise en œuvre en collaboration avec les équipes métiers, IT et Data. 2. Industrialisation des initiatives IA · La mission devra accompagner le passage à l'échelle des solutions IA et structurer leur déploiement auprès des différentes lignes métiers. · Les cas d'usage pourront notamment concerner les activités d'investissement, les opérations, la conformité, la distribution et les services clients. · L'objectif sera de transformer les expérimentations pertinentes en solutions industrialisées produisant une valeur mesurable en matière d'efficacité, de productivité ou de revenus. 3. Gouvernance, conformité et gestion des risques · La mission devra garantir un cadre robuste pour le développement et l'utilisation des solutions IA. · Une attention particulière sera portée à la gouvernance, à la conformité et à la maîtrise des risques associés aux initiatives déployées. 4. Transformation et acculturation IA · La mission participera activement au développement d'une culture d'innovation et d'expérimentation autour de l'IA. · Elle accompagnera les différentes parties prenantes dans l'adoption des nouveaux usages et pilotera les dimensions de conduite du changement et d'acculturation associées. Prestations demandées : Les principales responsabilités seront les suivantes : · Définir et piloter la stratégie IA et Innovation. · Identifier et prioriser les initiatives IA à fort potentiel métier. · Accompagner l'expérimentation puis l'industrialisation des solutions retenues. · Déployer l'adoption de l'IA à l'échelle des différentes activités. · Piloter la création de valeur générée par les initiatives IA en matière d'efficacité, de productivité et de revenus. · Structurer la gouvernance, la conformité et la gestion des risques associés aux solutions IA. · Développer un écosystème favorisant l'innovation et l'expérimentation. · Piloter la conduite du changement et l'acculturation des équipes aux usages de l'IA. · Travailler en coordination étroite avec les équipes métiers, IT et Data. · Interagir avec des parties prenantes de niveau direction.
Participer à la conception des architectures Data et aux choix techniques. Assurer l'orchestration des flux de données et l'industrialisation des traitements. Mettre en œuvre les pratiques CI/CD et les processus de déploiement. Réaliser les tests unitaires, garantir la qualité du code et contribuer aux mises en production. Participer à l'optimisation des performances et à la fiabilisation des traitements. Collaborer avec les équipes techniques et métiers dans un environnement Agile. Contribuer à la résolution des incidents et à l'amélioration continue des pipelines de données. Environnement techniqueCompétences indispensables : Scala Apache Spark Hadoop Databricks Compétences complémentaires : PySpark et Python AWS Apache NiFi Shell Unix Git / GitHub CI/CD et industrialisation des traitements Data
ContexteDans le cadre du renforcement des équipes R&D d'un grand compte, nous recherchons un(e) Data Engineer pour participer à la structuration, l'ingestion et la valorisation des données métiers et scientifiques. Vous rejoindrez une équipe dynamique pour concevoir des pipelines de données performants, développer des outils de recherche de bases de données pour les équipes opérationnelles et connecter l'écosystème aux outils d'analyse (SevenBridges). Début de mission : ASAP Durée : 1 an Localisation : Hybride (Télétravail + Présentiel) MissionsIngestion de données : Mettre en place et maintenir l'ingestion de données publiques et internes (scripts Python sur-mesure, Fivetran, Rclone, etc.). Search Data : Participer au développement d'un outil de recherche et d'exploration de bases de données à destination des équipes métiers. Pipelines de transformation : Concevoir et optimiser les workflows d'orchestration et de transformation de la donnée. Interconnexion d'outils : Assurer la connexion et le flux de données vers les plateformes d'analyse spécialisées (notamment SevenBridges).
Le contexteUn acteur majeur du secteur du voyage et de la distribution lance un nouveau projet stratégique : la construction d'un moteur de recommandation et de personnalisation destiné à proposer en temps réel, à chaque client, les offres et produits les plus pertinents selon son profil. Vous êtes le premier profil technique recruté pour poser les fondations d'une nouvelle équipe Data Engineering qui s'étoffera progressivement. Tout est à construire : l'architecture a été esquissée mais reste entièrement challengeable. Votre rôle : concevoir et bâtir de zéro la plateforme de données en streaming qui alimentera les équipes Data Science et Produit. Vos missionsConcevoir et construire from scratch le pipeline de données en streaming qui alimentera les modèles de recommandation et de personnalisation. Mettre à disposition les données en temps réel pour les équipes Data Science et les produits, avec une contrainte métier forte : un temps de réponse de l'ordre de 3 secondes entre la recherche du client et la recommandation affichée. Définir et challenger les choix d'architecture (event-driven), clarifier la stack par rapport au cadrage initial. Gérer également une partie batch pour enrichir l'historique et les profils clients. Accompagner la montée en puissance de l'équipe et jouer un rôle de référent technique. Compétences techniques requisesStreaming & temps réel (critique) Maîtrise approfondie des concepts de streaming : gestion du fenêtrage (windowing), traitement temps réel, garanties de livraison, au-delà du seul outil Kafka. Expérience solide d'une architecture event-driven. Cloud & traitement Expertise Google Cloud Platform (BigQuery notamment). Python comme langage principal. Aisance sur les pipelines batch pour l'enrichissement de données historiques. Pratiques d'ingénierie Infrastructure as Code (Terraform), CI/CD, bonnes pratiques de qualité et de documentation.
Dans le cadre de plusieurs projets stratégiques de mise en œuvre d'assiettes communes pour les usages Finance et Risques, nous sommes à la recherche d'un(e) Data Engineer confirmé(e). Vos missions : Architecture & Conception : Contribuer activement aux choix d'architecture et de conception technique en étroite collaboration avec les architectes, Tech Leads et développeurs. Développement & Implémentation : Mettre en œuvre et développer les solutions techniques Big Data retenues pour fiabiliser et industrialiser les flux de données. Industrialisation & Qualité : Assurer l'industrialisation des développements et des tests en s'appuyant sur des solutions Open Source et l'ordonnancement des flux (UC4). Collaboration Internationale : Travailler au sein d'un environnement anglophone dynamique en appliquant rigoureusement les méthodologies Agile.
Nous sommes à la recherche d'un(e) Analytics Engineer pour renforcer l'équipe People Report et piloter la migration vers le Cloud. Vos missions : Migration & Reverse Engineering : Analyser le legacy (SAP Hana) et assurer la transition des flux de données et du corpus de reporting Power BI vers l'écosystème cible Google Cloud Platform (GCP). Cadrage & Nouveaux Usages : Recueillir et cadrer les besoins de la direction RH pour concevoir de nouveaux indicateurs et tableaux de bord décisionnels (effectifs, masse salariale, recrutements, etc.). Expertise BI & Modélisation : Concevoir les modèles de données optimisés, rédiger des mesures complexes en DAX, garantir la sécurité (RLS) et optimiser les performances end-to-end sous Power BI. Industrialisation & Collaboration : Développer les pipelines de transformation (BigQuery, Dataform), appliquer les standards de versioning (Git) et faire le pont entre les équipes techniques (IT) et les métiers RH.
Prendre en charge la responsabilité des produits data de pilotage et de suivi des services GenIA déployés. • Être l'interlocuteur des métiers pour recueillir et formaliser leurs besoins : catalogue d'indicateurs, reportings attendus, définition des KPI • Concevoir, industrialiser et fiabiliser les indicateurs de pilotage. • Structurer, modéliser et documenter les données nécessaires au pilotage. • Construire et maintenir les dashboards de suivi. • Mettre en œuvre et fiabiliser les pipelines de données associés (collecte, transformation, contrôle qualité) • Contribuer à la montée en maturité data de l'équipe. Catalogue d'indicateurs de pilotage des services GenIA, validé avec les métiers • Dashboards de suivi opérationnels • Pipelines de données documentés et industrialisés • Documentation de la donnée (sources, modèle, flux)
Contexte Dans le cadre du renforcement d'une équipe Data agile, nous recherchons un Data Engineer / Développeur Big Data Senior pour intervenir sur une plateforme de données à fort volume. Vous participerez à la conception, au développement et à l'amélioration continue de solutions permettant de valoriser et exploiter des données en temps réel et en batch. Vos missions Développer et maintenir de nouvelles fonctionnalités au sein d'une équipe agile. Concevoir et faire évoluer les architectures de traitement de données. Participer aux choix techniques et accompagner les autres membres de l'équipe. Garantir la qualité, la performance et la maintenabilité du code. Mettre en place et améliorer les processus d'automatisation des tests. Contribuer à l'amélioration continue des pratiques de développement et d'exploitation Environnement technique Big Data : Spark (batch & streaming), Kafka Langages : Scala, Java API : Conception et développement d'API Data Platform : Hadoop, HDFS, Hive, HBase, Phoenix DevOps & CI/CD : GitLab CI/CD, Jenkins, Artifactory Qualité & Monitoring : SonarQube, ELK, Grafana Tests : JUnit, Xray, automatisation des tests Profil recherché Expérience solide en développement Big Data et architectures distribuées. Maîtrise de Spark, Kafka et de l'écosystème Hadoop. Bonne culture DevOps et intégration continue. Expérience des environnements Agile/Scrum. Esprit d'équipe, capacité à challenger les besoins et à être force de proposition. Sens de la qualité, de l'automatisation et de l'amélioration continue. Atouts Expérience sur des projets de traitement de données à forte volumétrie. Sensibilité aux problématiques de performance, scalabilité et fiabilité des plateformes Data. Mission idéale pour un profil souhaitant intervenir sur un environnement Big Data moderne, au sein d'une équipe agile mature et orientée qualité.
Data Engineer Snowflake. TJM Max Confirmé (4ans+) = 430€ TJM Max Senior(7ans+) = 480€ Client : Transport Localisation : Issy les Moulineaux (3j sur site, 2j en TT) Démarrage : ASAP Durée : 3 mois renouvelable Dans le cadre de l'évolution du DataHub vers une architecture Data Lakehouse, le client engage une bascule progressive depuis une architecture BI classique (ETL Talend, DWH centralisé) vers un modèle cible de type Lakehouse. Cette trajectoire inclut la migration des flux existants, la mise en place de nouvelles zones data (Landing Zone, Data Lake, Datamarts, Data Products) et le décommissionnement de Talend. Le/la Data Engineer intervient sous la responsabilité du Responsable de l'équipe technique et en appui du Techlead sur le projet de bascule Lakehouse. Son périmètre couvre à la fois la contribution au projet de décommissionnement Talend et de nouvelle architecture Snowflake, la réalisation de projets et demandes évolutives sur le périmètre data existant, ainsi que le traitement des incidents et le support au Run. Compétences obligatoires : Snowflake : connaissance solide de l'environnement, langages et outils associés : SQL, Snowpipe, Snowpark, RBAC, supervision, Python, SQL avancé … etc Terraform : expérience confirmée Talend : connaissance de l'outil ou à défaut un ETL équivalent dans le cadre de la bascule de l'ETL vers l'ELT ou la gestion de la maintenance évolutive et corrective en parallèle Compétences appréciées : Power BI Expérience Data Lakehouse / Data Mesh AWS (Lambda, services serverless) Livrables attendus Inventaire et documentation des jobs Talend repris Pipelines Snowflake industrialisés issus de la migration Talend Modèles Lakehouse documentés Contribution à la stratégie de migration et de décommissionnement Talend Développements réalisés sur les projets et demandes évolutives traités Suivi et documentation des incidents traités (analyse de cause racine, correctifs)
Dans le cadre de l'évolution du DataHub vers une architecture Data Lakehouse, le client engage une bascule progressive depuis une architecture BI classique (ETL Talend, DWH centralisé) vers un modèle cible de type Lakehouse. Cette trajectoire inclut la migration des flux existants, la mise en place de nouvelles zones data (Landing Zone, Data Lake, Datamarts, Data Products) et le décommissionnement de Talend. Le/la Data Engineer intervient sous la responsabilité du Responsable de l'équipe technique et en appui du Techlead sur le projet de bascule Lakehouse. Son périmètre couvre à la fois la contribution au projet de décommissionnement Talend et de nouvelle architecture Snowflake, la réalisation de projets et demandes évolutives sur le périmètre data existant, ainsi que le traitement des incidents et le support au Run. Livrables attendus : - Inventaire et documentation des jobs Talend repris - Pipelines Snowflake industrialisés issus de la migration Talend - Modèles Lakehouse documentés - Contribution à la stratégie de migration et de décommissionnement Talend - Développements réalisés sur les projets et demandes évolutives traités - Suivi et documentation des incidents traités (analyse de cause racine, correctifs)
Contexte de la missionNous cherchons un candidat capable de s'adapter à l'environnement technique du département Service & Données et aux pratiques de l'équipe qu'il va rejoindre : • Qui saura travailler de manière autonome • Disposant d'un bon sens de l'organisation et de la rigueur • Qui saura synthétiser ses travaux pour communiquer efficacement à ses commanditaires Objectifs et livrablesActivité principale A ce titre, le profil sera amené à assurer les activités suivantes : • Participation à des ateliers avec des experts métiers pour collecter le besoin et comprendre les données • Conception et développement de traitements de données • Réalisation d'études statistiques • Présentation de résultats sous la forme de rapports d'étude ou de tableaux de bord • Diffusion et vulgarisation des résultats d'études Le consultant sera également attendu sur les compétences suivantes : • Lien entre la partie métier et la partie data science • Conception fonctionnelle du besoin métier au sein d'un SI • Préparer et participer aux ateliers avec le métier et ses représentants utilisateurs Activité secondaire o Veille technologique sur les outils utilisés au sein du projet o Partage et formation sur les guides de bonnes conduites
Missions : Être la référence technique Data Engineering : définir les standards d'architecture, challenger les choix techniques, industrialiser les pipelines, garantir performance/qualité/sécurité et accompagner les équipes. Profils recherchés : Senior / Expert – Lead Data Engineer / Data Architect / Data Engineering Design Authority Compétences : Architecture Data, batch/streaming, Kafka, Spark, Airflow, Databricks, Snowflake, Cloud, DataOps, gouvernance/sécurité. Anglais B2+
Hanson Regan is seeking a GCP Data engineer for a 6 month renewable contract based in Brussels starting asap we search for a versatile Senior GCP Data Engineer with deep expertise in DevOps would you like to know more? An experienced and versatile Senior GCP Data Engineer with deep expertise in DevOps, CI/CD, Containerization, and advanced data engineering on Google Cloud Platform. The ideal candidate combines strong technical acumen with business engagement skills — capable of translating business requirements into scalable, production-grade technical solutions. - Design, build, and optimize data pipelines and ingestion frameworks using GCP services such as Dataflow, Pub/Sub, BigQuery, Cloud Storage, Cloudrun, and No-SQL. - Architect and implement end-to-end CI/CD pipelines for data workloads using templates, GitLab CI, ensuring automation and compliance with DevOps standards. - Develop and manage containerized applications for scalable and resilient data services.- Implement data quality, monitoring, and observability frameworks across pipelines. - Translate complex business requirements into technical architecture, ensuring alignment with enterprise data strategy and governance. - Ensure adherence to security, compliance, and cost optimization best practices in all GCP solutions. Hybrid work arrangement with 2 days per week in Brussels.
Je recherche un Lead Data & AI Engineer pour un poste en CDI au sein d'un groupe industriel énergétique international. Rattaché au Responsable de l'équipe IA de la DSI, vous êtes garant d'un socle de données fiable, gouverné et exploitable par l'IA : vous construisez les fondations data (ingestion, modélisation, qualité, gouvernance) sur Snowflake et les transformez en cas d'usage à forte valeur. Vos missions sont les suivantes : Data engineering & plateforme Concevoir et faire évoluer la plateforme data sur Snowflake : modélisation, transformations, couches métier exploitables, performance et coûts. Développer et opérer les pipelines de données (batch et temps réel) alimentant les usages analytiques et IA. Construire le modèle sémantique de référence, exploitable par les usages IA (RAG, agents, analytics). Exploiter les capacités IA de Snowflake (Cortex : fonctions LLM, AI SQL, recherche vectorielle) et préparer les données pour le RAG et les agents. Qualité & gouvernance Mettre en place la qualité et la gouvernance : règles de qualité mesurées, lignage, documentation, catalogue, gestion des accès (RGPD). Assurer la traçabilité des pipelines et des modèles de données. Diffuser les bonnes pratiques data et contribuer à l'acculturation data / IA. Cas d'usage data & valeur Développer, en lien étroit avec les métiers, les cas d'usage à valeur : détection de fraude, prévision, scoring, optimisation. Industrialiser et suivre les modèles en production (MLOps : déploiement, monitoring, ré-entraînement). Mesurer la valeur générée et en assurer le reporting. Fonctionnement en socle & rayonnement Groupe Fournir au socle et aux IA champions des données fiables et exposées, intégrées au SI (ERP, applications, sources documentaires). Diffuser un modèle sémantique et des standards data communs, d'abord au sein de la DSI puis dans tout le Groupe.
