Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Dans le cadre du renforcement d'une équipe Data au sein d'une Direction Technique Informatique, nous recherchons un Ingénieur Expert Big Data Hadoop Cloudera (CDP) chargé d'assurer le maintien en conditions opérationnelles de plateformes Hadoop Cloudera en environnement Hors-Prod et Production. La mission couvre l'administration et l'exploitation des socles (supervision, gestion des incidents, optimisation des performances, capacity planning), la maintenance proactive (correctifs, mises à jour), ainsi que la rédaction de procédures et de dossiers d'architecture. Le profil interviendra également en support expertise auprès des équipes études et exploitation, et participera aux projets d'évolution des architectures techniques (logicielles, matérielles, sécurité). L'environnement technique s'articule autour de la distribution Cloudera CDP (HDFS, YARN, Hive, Impala, Spark, Ranger, Knox, Zookeeper, Iceberg), avec des langages Shell, Python et Spark, un OS Linux RedHat, et un écosystème élargi incluant Kafka, PostgreSQL, Kubernetes, Ansible et des outils de supervision Prometheus/Grafana. Ce poste requiert une forte autonomie, un bon esprit d'équipe et la capacité à intervenir ponctuellement en dehors des heures ouvrées.

Dans le cadre de l'évolution et de la modernisation d'un écosystème Data au sein d'une Direction Technique Informatique d'un grand acteur de la protection sociale, nous recherchons un Architecte Expert Big Data Hadoop Cloudera (CDP) pour concevoir, faire évoluer et maintenir des plateformes Big Data en environnement Hors-Prod et Production. La mission s'articule autour de trois axes majeurs : la participation aux projets d'évolution du socle Hadoop existant (évolutions logicielles et matérielles, sécurité, définition d'architecture, rédaction de dossiers), le maintien en conditions opérationnelles de la plateforme (administration, supervision, gestion des incidents, support aux équipes études et exploitation), et la contribution à un projet stratégique de nouvelle Plateforme DATA (étude d'impact, préconisation des choix techniques, définition des standards et normes, mise en œuvre et transfert de connaissances aux équipes exploitation). L'environnement technique s'appuie sur la distribution Cloudera CDP (HDFS, YARN, Hive, Impala, Spark, Ranger, Knox, Zookeeper, Iceberg), avec des langages Shell, Python et Spark, un OS Linux RedHat, et un écosystème complémentaire incluant Kafka, PostgreSQL, Kubernetes et Ansible. Ce poste requiert une forte autonomie, une capacité à travailler en équipe pluridisciplinaire et une disponibilité pour des interventions ponctuelles en dehors des heures ouvrées.

Dans le cadre d'un programme stratégique de modernisation de la plateforme Data, intervention en tant que Data Engineer Expert PySpark pour accompagner la migration des traitements de données d'une architecture On-Premise vers Google Cloud Platform (GCP). La mission vise à industrialiser les pipelines de données, optimiser les performances des traitements Big Data et mettre en place une architecture cloud scalable, sécurisée et résiliente. Principales responsabilitésParticiper à la définition de l'architecture cible Data sur GCP. Analyser les flux et traitements existants sur l'environnement On-Premise. Concevoir et développer des pipelines de données distribués avec PySpark. Migrer les traitements ETL/ELT vers les services GCP. Optimiser les performances des jobs Spark et réduire les temps de traitement. Industrialiser les workflows de traitement et d'intégration des données. Mettre en œuvre les bonnes pratiques de développement, de monitoring et de sécurité. Assurer la qualité, la fiabilité et la traçabilité des données. Participer aux phases de tests, validation et mise en production. Accompagner les équipes Data dans l'adoption des nouvelles solutions Cloud.

Le Data Engineer supervise et intègre des données de natures diverses provenant de sources multiples ; il vérifie la qualité des données entrant dans le Data Lake, en effectuant notamment des tests, la déduplication et les activités d'assurance qualité associées. Les principales responsabilités incluent : Qualification et gestion des données : - Collecte de données structurées et non structurées produites par différentes applications ou provenant de sources externes à l'entité - Intégration des éléments - Structuration des données (sémantique, etc.) - Cartographie des éléments disponibles - Nettoyage des données (élimination des doublons, etc.) - Validation des données - Création éventuelle du référentiel de données La plateforme de données permet à tous les domaines producteurs de données de mettre à disposition des données brutes ou retravaillées dans un Data Lake. Cette plateforme gère notamment les fonctionnalités et les données relevant du périmètre métier « Relation Réseau ». Elle permet : - L'intégration et l'assurance qualité des données brutes reçues des distributeurs - La mise à disposition de données GRD exploitables pour tous les besoins du segment et de l'organisation (qu'il s'agisse de besoins opérationnels ou analytiques issus de tous les domaines métiers) Principales missions : - Maîtrise des outils Databricks (création de jobs, clusters, notebooks) et capacité à effectuer des requêtes SQL efficaces - Maintien en conditions opérationnelles de la plateforme de production (analyse et correction d'incidents et d'anomalies) - Développement de jobs d'ingestion et de transformation de données en Python avec Spark pour traiter de grands volumes de données - Apport d'une vision à long terme, tant sur le plan opérationnel que stratégique pour la plateforme de données - Soutien et promotion des meilleures pratiques - Participation aux ateliers de conception technique et fonctionnelle - Rédaction et mise à jour de la documentation technique

Notre client, acteur majeur du retail, recherche son futur Data Scientist (H/F) à Paris, pour développer les modèles d'IA exploitant ses données consolidées dans Microsoft Fabric au service de la performance de son réseau d'agence Vos missions : * Intégré à l'équipe data, vous développez des modèles au service de la performance commerciale et logistique, en lien étroit avec le Data Engineer. * Construire des modèles prédictifs : prévision des ventes, optimisation des stocks, recommandation produits * Exploiter les notebooks Fabric (Python, Spark) pour l'entraînement et le test * Passer des POC à l'industrialisation des modèles dans l'écosystème Microsoft * Collaborer avec le Data Engineer pour la mise en production * Tester, suivre et améliorer la performance des modèles (précision, ROI) * Documenter et fiabiliser les modèles déployés Les compétences techniques : * Python (pandas, scikit-learn, PySpark) * Microsoft Fabric (Data Science) * Machine learning * Forecasting * Azure ML * SQL

Vous rejoignez CGI, leader mondial du conseil et des services numériques à Lyon et accompagnez nos clients. A Lyon, nos équipes accompagnent nos clients grands comptes dans la mise en œuvre de leurs projets stratégiques. Nos services couvrent l'ensemble du cycle de production logiciel, de l'amont des projets à la maintenance de solutions dans des domaines variés comme l'énergie, le transport, la pharma, le secteur public, la finance ou les télécommunications. Notre agence abrite également le centre mondial d'excellence de CGI dédié à la digitalisation de la supply chain, offrant ainsi de multiples perspectives d'évolution de carrière Fonctions et responsabilités Nous recherchons un(e) Développeur/euse Big Data Confirmé(e) pour intervenir sur la migration de traitements legacy vers des architectures modernes et participer à la refonte complète dans le cloud. Travail en Agile Migration de traitements existants (Informatica, PL-SQL) vers Spark Java Conception et développement de pipelines de données robustes et performants Maintenance corrective et évolutive des traitements SQL/PL-SQL existants Participation au projet de migration cloud sur Databricks Garantie de la performance, de la robustesse et de la qualité des données Participation active au RUN et à l'amélioration continue Contribution aux bonnes pratiques de développement Mise à jour du référentiel documentaire et partage de connaissances au sein de l'équipe Stack technique Spark / Java / SQL / PL-SQL / Databricks / Oracle / Informatica / Jenkins / Terraform / Git / Maven / Control-M Qualités requises pour réussir dans ce rôle Maîtrise de Spark (indispensable) Maîtrise de SQL / PL-SQL (indispensable) Programmation orientée objet Java ou Python Expérience sur des systèmes existants et culture du RUN en production

Bonjour, Nous recherchons pour notre client basé en région parisienne un Responsable d'Application Data confirmé (4-10 ans d'expérience). Objectif global - Piloter et sécuriser les évènements de production Les livrables sont Analyser des incidents pour en comprendre la cause afin de déterminer la solution à appliquer Avoir une bonne capacité d'analyse afin de pouvoir comprendre des sujets métiers divers et variés Compétences techniques Méthode ITIL - Expert - Impératif méthode Agile - Confirmé - Impératif Azure Datafactory - Confirmé - Important Databricks - Confirmé – Important Description détaillée Responsable d'application au Datalab : Assure et coordonne les activités de maintenance corrective et évolutive des applications dont il est responsable. * Il est responsable de la qualité de service délivrée dans le respect des contrats (support, qualité, sécurité, …) vis-à-vis des entités métiers en s'appuyant sur les équipes transverses. * Il est aussi le garant du maintien des connaissances fonctionnelles et techniques nécessaires à la pérennité de l'application. * Il est en interface avec le métier et répond aux demandes d'évolution ou des projets en lien avec le Responsable SI Métier et le Chef de Projet. (*) On entend par « applications » : les programmes, les données, les paramétrages, les services exposés (API), les infrastructures techniques et les interfaces/flux inter applicatifs. Compétences requises : * Faire preuve de rigueur et être force de proposition * Savoir travailler en équipe et avoir de bonnes qualités relationnelles * Excellentes compétences techniques : Connaissance et application de la méthode ITIL (Gestion des incidents, problèmes, etc..) Connaissance et application de la méthode Agile Connaissance Azure Datafactory Connaissance Databricks (Spark SQL, Scala) Connaissance d'outils ITSM (Service Now ou équivalent) Date de démarrage 03/08/2026 Lieu de réalisation Chatillon 92 ou Bondoufle 91 Déplacement à prévoir non Le projet nécessite des astreintes Oui Nombre de jours souhaitables sur site 3 jours par semaine La sous-traitance (freelance, ESN ou autre) sur ce projet est Autorisée Dans le cas où vous êtes intéressé par ce poste, pourriez-vous SVP m'envoyer votre CV au format Word en indiquant votre disponibilité ainsi que vos prétentions salariales ou votre tarification journalière si vous êtes indépendant ?

Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l'humain et la responsabilité sociétale au cœur de ses valeurs. C'est votre future équipe Les équipes de ConsortIA, sont des acteurs de référence de la Data, du Développement Digital et de l'Ingénierie Média. En combinant ces expertises, nous concevons des systèmes d'information augmentés, intégrés, agiles et sécurisés, au service de la performance et de la transformation numérique de nos clients. Développeur Python H/F C'est votre mission Vous êtes passionné·e par le développement de solutions data à grande échelle et les environnements Big Data ? Ce poste est fait pour vous. En tant que Développeur Python, vous êtes responsable du développement et de la maintenance de notre écosystème : Côté build : Concevoir et développer des applications et pipelines de traitement de données en Python et PySpark Développer des traitements distribués performants sur des environnements Spark Participer à la conception technique et à l'évolution des architectures Data Mettre en œuvre les bonnes pratiques de développement (qualité de code, tests, documentation) Participer aux revues de code et aux choix techniques de l'équipe Contribuer à l'automatisation des processus de déploiement et d'intégration continue Collaborer avec les équipes Data Engineering, DevOps et métiers dans un contexte Agile Côté run : Assurer le maintien en conditions opérationnelles des traitements de données Analyser et résoudre les incidents de production Optimiser les performances des jobs Spark et des applications Python Superviser les flux de données et garantir leur fiabilité Participer aux actions d'amélioration continue et à la réduction de la dette technique Assurer le support technique de niveau avancé auprès des équipes projet C'est votre parcours Vous avez au moins 5 ans d'expérience. Vous aimez relever des défis techniques autour de la performance, de la scalabilité et de la qualité logicielle, sans jamais cesser d'innover. Vous cherchez un cadre où vos idées comptent et où la technique va de pair avec la collaboration. C'est votre expertise : Python, PySpark, Apache Spark, SQL Environnements Linux, Git, CI/CD (GitLab CI, Jenkins ou équivalent) Méthodologies Agile / Scrum Connaissance des environnements Cloud (AWS, Azure ou GCP) Outils de conteneurisation et d'orchestration (Docker, Kubernetes) Anglais professionnel à l'écrit comme à l'oral C'est votre manière de faire équipe : Esprit d'analyse et capacité à résoudre des problématiques complexes Excellentes capacités de communication et de collaboration Autonomie et sens des responsabilités Curiosité technique et force de proposition Capacité d'adaptation dans des environnements en constante évolution C'est notre engagement Chez Consort Group, vous êtes un·e expert·e qu'on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain Une vraie proximité managériale Des formations accessibles en continu Des engagements concrets : inclusion, égalité, solidarité Un package RH complet : mutuelle, carte TR, CSE, prévoyance Une culture du feedback et des projets qui font sens C'est clair Le process de recrutement : Un premier échange téléphonique avec notre team recrutement Un entretien RH ainsi qu'un échange métier avec un.e ingénieur.e d'affaires Un test ou un échange technique avec un.e de nos expert.es Un dernier point avec votre futur.e manager ou responsable de mission Et si on se reconnaît : on démarre ensemble C'est bon à savoir Lieu : Paris Contrat : CDI Télétravail : Hybride Salaire : De 55 K€ à 62 K€ (selon expérience) brut annuel Famille métier : Data Engineering / Développement Python / Big Data Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c'est le vôtre.

Nous recherchons un(e) Consultant(e) Data Platform / DataOps Senior pour intervenir au sein d'un groupe international engagé dans une transformation ambitieuse de son écosystème Data & Analytics. Au sein d'une équipe Data transverse, vous participerez à la conception, l'évolution et l'industrialisation d'une plateforme Data Cloud moderne, destinée à centraliser et valoriser les données provenant de multiples systèmes métiers. Vous contribuerez à la mise en place de solutions robustes, scalables et sécurisées permettant de répondre aux enjeux de gouvernance, d'intégration et d'exploitation de la donnée. Vos principales responsabilités seront les suivantes : Participer à l'architecture et à l'évolution de la plateforme Data ; Concevoir et industrialiser les pipelines de traitement et d'intégration de données ; Développer et optimiser les traitements de données à grande échelle sur Spark ; Mettre en œuvre les bonnes pratiques DataOps (CI/CD, automatisation, monitoring, qualité des données) ; Contribuer à l'intégration des applications et des flux de données au sein du SI ; Collaborer avec les équipes Data Engineering, Architecture, BI et Métiers ; Participer à l'amélioration continue de la performance, de la fiabilité et de la sécurité de la plateforme. Environnement technique : Azure, Databricks, Spark/PySpark, Azure Data Factory, Azure DevOps, Data Lake, CI/CD, API & intégration de données. Nous recherchons un profil disposant d'au moins 6 ans d'expérience sur des environnements Data Cloud, avec une solide expertise Azure et Spark. Une expérience des sujets d'intégration de données et des plateformes iPaaS constitue un véritable atout. Une connaissance de MuleSoft serait particulièrement appréciée. Le poste nécessite une forte capacité à évoluer dans des environnements internationaux, à dialoguer avec des interlocuteurs techniques et fonctionnels, ainsi qu'une bonne autonomie sur les problématiques de plateforme Data et d'industrialisation.

Dans le cadre de l'accélération de ses projets Data, notre client recherche un Analytics Engineer Senior capable d'intervenir sur l'ensemble de la chaîne de traitement de la donnée, de l'ingestion jusqu'à la restitution analytique. Vous rejoindrez un environnement industriel exigeant où la qualité, la fiabilité et la valorisation des données constituent des enjeux stratégiques. Possibilité de recrutement en CDI à l'issue de la mission. Vos missions Au sein de l'équipe Data, vous serez responsable de : Data Engineering Concevoir et maintenir les pipelines d'ingestion de données ; Développer et optimiser les flux de traitement de données ; Participer à l'alimentation et à la structuration du Data Lake. Modélisation & Transformation Concevoir des modèles de données adaptés aux besoins métiers ; Développer les transformations et traitements nécessaires à l'exploitation des données ; Garantir la cohérence et la qualité des données tout au long de leur cycle de vie. Qualité & Gouvernance Mettre en œuvre les contrôles de qualité de données ; Identifier et corriger les anomalies ; Participer à l'amélioration continue des processus Data. Analytics & Restitution Développer des solutions analytiques et dashboards ; Construire des applications Dataiku et des restitutions Power BI ; Accompagner les métiers dans l'exploitation de la donnée. Environnement technique Compétences impératives Dataiku DSS (expert) Python SQL avancé Talend Compétences appréciées Azure Spark Power BI Data Modeling Data Quality

Contexte Dans le cadre de notre croissance, nous recrutons un Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d'ingestion, de transformation et de fiabilité des données. Missions Développement et ingestion de données • Concevoir et développer des pipelines de données en Python et Spark sur Databricks • Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake) • Optimiser les traitements et les performances Orchestration et qualité des données • Orchestrer les workflows avec AWS Airflow • Mettre en place des contrôles qualité et des mécanismes de validation • Développer des outils de monitoring et de gestion des anomalies Maintien en condition opérationnelle • Assurer la disponibilité et la performance des pipelines • Diagnostiquer et corriger les incidents • Participer à l'amélioration continue des traitements Contribution • Participer aux ateliers techniques et aux échanges avec les équipes • Documenter les pipelines, architectures et processus • Contribuer aux bonnes pratiques Data et Big Data

Notre client dans le secteur Aérospatial et défense recherche un/une Data Scientist Fonctionnel – Outil de prévision de trafic aérien H/F Description de la mission : La mission consiste à intervenir sur une période d'environ deux mois afin de finaliser le développement d'un outil interne destiné à prévoir le potentiel de trafic d'une nouvelle ligne aérienne lancée par une compagnie aérienne. Le besoin s'inscrit dans un contexte d'analyse de données de marché et de projection des potentiels de trafic passagers et cargo afin de contribuer à l'élaboration de business cases à destination de prospects compagnies aériennes. Le consultant interviendra dans la continuité de précédents développeurs pour compléter un outil de prévision de trafic partiellement développé et assurer son intégration dans l'environnement data de l'entreprise afin de faciliter son utilisation par les équipes internes. Description de l'outil L'outil se compose de trois parties principales : • Partie 1 : stimulation de la demande basée sur des modèles de régressions/corrélations entre l'augmentation de l'offre et l'induction de trafic après l'ouverture d'une nouvelle ligne • Partie 2 : modélisation de l'indice de qualité de service (QSI) afin de calculer la part de marché d'une compagnie aérienne lançant une nouvelle liaison, à partir de coefficients de pondération affinés par un modèle mathématique, pour le trafic point à point et le trafic en correspondance • Partie 3 : synthèse des résultats présentant de manière claire et concise l'ensemble des résultats obtenus Missions principales / contenu détaillé de la prestation L'intervention portera sur : • La finalisation du module de modélisation du QSI sur le trafic en correspondance • L'identification des correspondances possibles à partir des programmes de vols • L'application des coefficients de pondération sur les itinéraires en correspondance identifiés • L'amélioration des fonctionnalités de l'outil et la correction de bugs identifiés • Le déplacement de l'ensemble des hypothèses du projet sur la première page de l'outil « Hypothèses » • L'activation d'une fonction de sauvegarde/chargement • La séparation des résultats de la stimulation et du QSI par saison aéronautique • L'ajout d'une page de synthèse et la conservation d'un historique des résultats intermédiaires de QSI et de stimulation • L'activation de différentes hypothèses de circuité de part et d'autre de la route considérée pour le QSI correspondance • L'optimisation du code et l'amélioration des modèles de simulation • Le test et le déploiement de l'outil dans l'environnement data de l'entreprise afin de le rendre robuste et accessible aux utilisateurs internes Attentes pour la prestation Accompagné par les équipes métier, le consultant aura pour missions de : • Piloter les besoins fonctionnels • Construire le pipeline de données pour automatiser la mise à jour de l'outil, à partir de données DiioMi et de données serveur Tableau • Coder un outil de prévision de la performance d'une route aérienne (QSI) en utilisant Python et du webscraping, avec reprise et compréhension du codage précédent • Améliorer l'outil en lisant, comprenant, corrigeant, modifiant et simplifiant les codes existants • Identifier les opportunités d'amélioration des processus et des modèles de simulation • Finaliser l'outil, déjà achevé à 80 %, les 20 % restants portant principalement sur le QSI appliqué au trafic en correspondance et l'optimisation de certaines fonctionnalités • Intégrer l'outil et garantir son bon fonctionnement dans l'environnement de l'entreprise • Travailler en collaboration avec l'équipe digitale du département pour déployer l'outil Profil recherché Compétences techniques requises : • Forte maîtrise en programmation Python, SQL, SparkSQL, PySpark, Streamlit, pandas, numpy, matplotlib, seaborn, scikit-learn, statsmodels, openpyxl, pyarrow, fastparquet, streamlit-aggrid, timezonefinder • Bonne logique algorithmique en programmation • Expérience dans l'automatisation, le CI/CD et MLflow • Expérience en programmation avec Selenium, Spyder, Matlab • Capacité à lire les codes VBA/Python existants et à identifier les opportunités d'amélioration du code • Capacité à comprendre les méthodes et analyses relatives au domaine de l'industrie aéronautique • Anglais courant Compétences projet requises : • Fort esprit analytique et business • Capacité à qualifier des besoins métier et à les traduire en démarches analytiques • Capacité à accompagner, conseiller et proposer des solutions analytiques et de nouvelles orientations si besoin • Expérience en agilité • Autonomie, proactivité et efficacité Contraintes et environnement • Prestation réalisée sur site et à distance • Environnement technique : Azure Cloud, Databricks, SQL, Power BI, Spark, Scala, Docker, Spyder, Python 3.11.9, Streamlit 1.32.0, pandas 2.1.3, numpy 1.26.3, matplotlib 3.8.2, seaborn 0.13.0, scikit-learn 1.3.2, statsmodels 0.14.0, openpyxl 3.1.2, pyarrow 14.0.1, fastparquet 2023.10.1, streamlit-aggrid 0.3.4, timezonefinder 8.2.1 • Signature d'un contrat de confidentialité relatif à la protection et à la sécurité des données • Interlocuteurs multiples Livrables attendus • Cahiers des charges, documentations, comptes rendus, présentations, analyses, observations, réflexions, propositions, programmes et réalisations relatifs à l'activité • Éléments de suivi des avancements, du planning, plans d'action, difficultés et risques • Activités d'accompagnement, coordination, planification, optimisation, priorisation, animation et gestion • Conseils, propositions, pilotage et gestion • Études analytiques/statistiques/IA • Programmes et automatisation • Algorithmes de gestion de données • Cahiers des charges et comptes rendus • Présentation, documentation et suivi • Outil entièrement fonctionnel dans l'environnement de l'entreprise • Manuel utilisateur expliquant comment utiliser l'outil sous tous ses aspects Compétences / Qualités indispensables : Python, SQL / PySpark / SparkSQL, Databricks / Azure Cloud, Modélisation QSI et simulation de données, Automatisation / CI/CD / MLflow, Anglais courant Informations concernant le télétravail : Prestation sur site et à distance, avec site à CDG, 1 rue de France, 93 290 Tremblay-en-France.

Contexte : migration de On premise vers GCP En tant que Data Engineer, vous serez au cœur de notre stratégie data. Vous concevrez et mettrez en œuvre des solutions innovantes pour collecter, transformer et stocker nos données massives. Votre expertise technique sera essentielle pour les projets et offrir des insights précieux à nos équipes métiers. Vos missions : Conception et développement: Définir et mettre en œuvre des architectures de données robustes (data lakes, data warehouses). Concevoir et développer des pipelines de données automatisés (ETL). Optimiser les performances des traitements de données. Technologies: Maîtrise des langages de programmation : Python, Scala, SQL. Expérience avec les outils de traitement de données : Spark, Hadoop, Kafka. Connaissance des bases de données relationnelles et NoSQL. Expérience avec les clouds (GCP) Collaboration: Travailler en étroite collaboration avec les équipes métiers. Participer à la définition de la roadmap data.

Notre client dans le secteur Énergie et ressources naturelles recherche un/une Lead Data Engineer (H/F) H/F Description de la mission : Fiche de poste — Lead Data Engineer (H/F) Contexte et objectif de la mission Dans le cadre d'un programme de replatforming B2C, une organisation internationale construit une Data Platform centralisée à l'échelle mondiale, aujourd'hui fragmentée. L'objectif est de mettre en place une plateforme cloud-native, data-centric et scalable, au service des équipes data de plusieurs géographies, notamment la France, la Belgique et l'Australie. Le Core Model du programme repose sur un modèle de données unifié couvrant notamment les données clients, contrats et facturation. Le Lead Data Engineer intervient comme référent technique de la data platform, avec une responsabilité complète sur l'architecture, le delivery et la qualité des données. Stack technique • Data Platform : Databricks (lakehouse), Amazon S3, Amazon Managed Apache Flink • Gouvernance des données : Unity Catalogue, Collibra • Visualisation : Power BI • Cloud : AWS • Streaming : Confluent Kafka • Langages : Python, SQL • IA & coding : GitHub Copilot, Claude Code, outils LLM • Collaboration : Jira, Confluence, SonarQube Missions principales Stratégie & Architecture Data • Définir l'architecture de la data platform greenfield (lakehouse, zones bronze/silver/gold, data contracts) • Co-construire le Core Data Model commun aux différentes géographies tout en intégrant les spécificités locales • Mettre en place la gouvernance des données, la qualité et l'observabilité • Répondre aux besoins analytiques et fonctionnels des équipes métier via une approche de type catalogue as a service Leadership & Delivery • Être le référent technique data du programme • Choisir les partenaires et structurer une feature team de 5 à 6 personnes • Assurer la responsabilité end-to-end des pipelines, de l'ingestion à la restitution • Gérer le monitoring, la performance et l'optimisation FinOps des workloads data • Mettre en place les pratiques DataOps : automatisation des tests, CI/CD data, infrastructure as code IA & Vélocité • Exploiter GitHub Copilot, Claude Code ou équivalents pour accélérer le développement des pipelines et modèles • Intégrer des cas d'usage IA/ML dans la data platform, incluant data science, feature store et jeux de données prêts pour les LLM • Automatiser la génération de code, les tests de qualité des données et la documentation • Conserver la maîtrise technique tout en augmentant la vélocité grâce à l'IA Spécificités de l'équipe Le périmètre comprend un chantier amont de migration de l'ensemble des données France vers l'écosystème Kaluza, dans le cadre d'un programme de replatforming B2C. Cette migration implique deux modules en amont : • Module d'éligibilité : définir les paramètres business pour les parcours clients/agents • Module ETL : récupérer et transformer les données provenant de nombreux systèmes d'information avant injection dans Kaluza Complexité forte de l'ETL : • Orchestration multi-sources • Micro-batch quotidien pendant plusieurs mois • Gestion d'un service managé AWS (Glue, Step Functions, S3, Lambda…) • Connexions API pour orchestrer les flux Profil recherché Compétences indispensables • Services managés AWS (Glue, Step Functions, API Gateway, S3…) • Orchestration API • Expertise avancée Databricks, incluant Delta Lake, Unity Catalogue, Spark et workflows • Solide expérience AWS en environnement data, incluant S3, Glue, Kinesis ou Flink, IAM et sécurité cloud • Mindset IA natif avec usage actif de GitHub Copilot ou équivalent comme outil principal de développement • Maîtrise experte de Python, notamment PySpark, pandas et APIs • Expérience de conception d'une data platform from scratch • Culture DataOps : tests automatisés, CI/CD data, observabilité des pipelines • Approche lean et responsabilité end-to-end • Leadership et capacité à embarquer et structurer une équipe data Compétences appréciées • Expérience Unity Catalogue et gouvernance des données à l'échelle • Connaissance de Confluent Kafka et du streaming • Familiarité avec Collibra ou équivalent • Expérience en data modelling dans un contexte B2C • Déploiements IA/ML en production, incluant MLflow, feature engineering et pipelines LLM • Expérience de contextes multi-pays ou de data platform cross-entités Conditions • Type de contrat : Freelance (indépendant) • Démarrage : ASAP • Durée prévisionnelle : 3 ans minimum • Localisation : Colombes • Télétravail : environ 3 jours par semaine, flexible selon l'autonomie • TJM : à préciser selon profil Compétences / Qualités indispensables : Databricks et architecture lakehouse, AWS data managé (Glue, Step Functions, S3), Python / PySpark / SQL, DataOps et CI/CD data, Leadership technique et delivery end-to-end, Usage d'outils IA de développement (GitHub Copilot) Compétences / Qualités qui seraient un + : Unity Catalogue et gouvernance des données à l'échelle, Confluent Kafka et streaming, Collibra, data modelling B2C, déploiements IA/ML en production, contextes multi-pays ou cross-entitésInformations concernant le télétravail : Environ 3 jours par semaine, flexible selon l'autonomie

Mission principale Assurer la conception, l'industrialisation et l'exploitation des plateformes data et applicatives en combinant les compétences d'un Data Engineer (construction de pipelines, gestion des données, optimisation des traitements) et celles d'un Ingénieur DevOps (automatisation, CI/CD, infrastructure scalable, observabilité). Ce rôle garantit la fiabilité, la performance et la scalabilité de l'ensemble de la chaîne de valeur data, depuis l'ingestion jusqu'au déploiement en production. Responsabilités clés 1. Architecture & Ingestion de données Concevoir et maintenir des pipelines d'ingestion scalables et sécurisés. Intégrer des données provenant de multiples sources (API, bases SQL/NoSQL, streaming, fichiers). Structurer les données dans des environnements cloud ou on?premise (Data Lake, Data Warehouse, Lakehouse). 2. Traitement & Transformation Développer des workflows ETL/ELT performants. Optimiser les traitements batch et streaming (Spark, Flink, Kafka, etc.). Garantir la qualité, la gouvernance et la traçabilité des données. 3. Infrastructure & Automatisation DevOps Construire et maintenir des environnements d'exécution via Infrastructure as Code (Terraform, Ansible, CloudFormation). Mettre en place et gérer des pipelines CI/CD pour les projets data et applicatifs. Automatiser les déploiements, tests, monitoring et rollback.

Depuis 2012, nous mettons notre expertise au service des secteurs de l'IT et l'Ingénierie pour accompagner nos clients dans des projets ambitieux et innovants. Notre force ? Un management de proximité qui valorise vos aspirations, des opportunités de carrière concrètes et un engagement sincère pour le bien-être et l'épanouissement de nos collaborateurs. Rejoignez-nous sur des projets à fort impact au sein d'une entreprise où chaque talent compte ! Avanista recrute ! Toujours en recherche de nouveaux talents, nous souhaiterions intégrer un Data Engineer Senior (H/F) au sein de nos équipes pour l'un de nos clients du secteur bancaire. Le contexte ? La transformation des SI de nos Clients vers des architectures modulaires, type micro-services, l'essor de nos infrastructures et l'évolution des technologies associées, ou encore l'automatisation accrue sur nos socles et applications, génèrent une quantité massive de données devenues très hétérogènes, dispersées et silotées (équipes applicatives et socles multiples et dispersées). Prenant en compte ce cadre, vos missions seront plus spécifiquement : Maîtriser l'ensemble des techniques et technologies composant la Data Platform Accompagner les besoins et projets sur la collecte, transformation, stockage et mise à disposition des données, provenant de sources diverses en adéquation avec la Data Platform Concevoir et mettre à disposition les outils et processus (CI/CD) permettant d'automatiser les pipelines d'ingestion de données prenant en compte les besoins de fréquences (batch, temps réel, …) Développer et déployer des mécanismes de contrôle qualité ainsi que des routines de vérification pour garantir l'intégrité et la fiabilité des données Vos missions ? Participer à la conception des solutions techniques et fonctionnelles Être en relation avec les équipes opérationnelles de l'entreprise pour prise en compte des flux de données Assurer le support technique et fonctionnel, notamment analyse et résolution des incidents ou problèmes Mettre en œuvre en mode DevOps (CI/CD) Automatiser les installations des socles techniques Rédiger les documents fonctionnels et techniques, d'exploitation, en veillant au respect des normes existantes Gérer les données de l'entreprise (flux : collecte, traitement, stockage et leur cycle de vie) L'environnement technique ? Base de données de type Sql/NoSql Kafka Dataiku Scripting Python/SQL/Java Suite Elastic Suite de type Data Lakehouse (Spark, MinIO, Stockage s3, Iceberg, Trino)