Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

Nous recherchons un Data Engineer expérimenté afin de contribuer à la fiabilité, l’automatisation et la scalabilité d’un Lakehouse data. Vous interviendrez sur la conception et l’orchestration de pipelines, l’optimisation des traitements et l’évolution de l’architecture data dans un environnement moderne basé sur AWS. Vos missions : Conception & orchestration Concevoir, développer et maintenir des pipelines Airflow pour l’ingestion et la transformation des données Mettre en place des frameworks et mécanismes d’automatisation Garantir la robustesse, la modularité et la résilience des workflows Traitement & gestion des flux Développer des composants pour le traitement de fichiers plats (CSV, JSON, Parquet…) et leur exposition via API Consommer et transformer des flux Kafka avec Spark Optimiser la performance et le partitionnement des traitements sur de gros volumes Collaboration analytique Collaborer avec les Data Analysts pour concevoir des agrégats métiers Créer et maintenir des vues Athena utilisées dans Tableau Garantir la cohérence, la fraîcheur et la traçabilité des données Évolution du Lakehouse Participer à la conception et à l’amélioration continue de l’architecture Créer et maintenir des tables de référentiel (clients, contacts, événements, interactions…) Implémenter ces référentiels avec Iceberg / Hudi Supervision & DataOps Assurer la supervision quotidienne des pipelines Mettre en place alerting et monitoring Produire et maintenir la documentation technique

Teksystems recherche pour un de ses client grand compte un Tech Lead Databricks ( H/F) . Missions principales1. Ingestion & Traitement de Données Concevoir et mettre en œuvre des pipelines d’ingestion de données en temps réel via Kafka . Assurer le traitement, la préparation, la qualité et la structuration des données sur la plateforme Databricks Data Intelligence Platform . Développer et optimiser les jobs de transformation avec Spark (Scala, PySpark si nécessaire). 2. Modélisation & Architecture Concevoir et maintenir des modèles de données robustes , scalables et alignés avec les besoins métiers. Définir une architecture technique viable, performante et pérenne , en lien avec les standards Data de l’entreprise. Encadrer les choix technologiques et identifier les solutions les plus adaptées aux cas d’usage. 3. Leadership Technique & Coordination Animer les ateliers techniques avec l’équipe Data (squad, data engineers, data analysts…). Assurer la gestion des risques techniques , anticiper les points de blocage et sécuriser la roadmap. Fournir un guidage technologique basé sur une expertise éprouvée des projets DATA. Accompagner la squad dans les bonnes pratiques de développement, de CI/CD et de gouvernance Data. 4. Méthodologie & Qualité Travailler dans un cadre Agile (Scrum / Kanban), avec participation active à la planification, aux revues et aux rétrospectives. Garantir la qualité des livrables : documentation, code propre, tests, performance.

Nous recherchons un Data Engineer Senior pour intervenir au sein d’une plateforme Data stratégique dans un environnement numérique à forte volumétrie. Vous intégrerez une équipe composée d’un Product Owner, d’un Data Steward et de Data Engineers, au cœur d’une architecture cloud moderne orientée scalabilité, gouvernance et performance. Vos missions : Participer aux phases de conception et de planification des développements data Concevoir et maintenir des pipelines data robustes et scalables Collecter et centraliser des sources de données hétérogènes Structurer et optimiser le stockage des données Mettre en place des infrastructures scalables sur Google Cloud Platform Construire et maintenir les workflows CI/CD Garantir la sécurité, la conformité et la stabilité des environnements Contribuer aux initiatives de gouvernance des données Documenter les développements et partager les bonnes pratiques Accompagner les équipes internes dans l’exploitation des données Environnement technique : Google Cloud Platform (BigQuery, Dataproc, PubSub, Cloud Storage) Dataplex Universal Catalog Python SQL Spark Airflow Delta Lake Terraform / Terragrunt Gitlab / Gitlab CI/CD Méthodologies Agile (Scrum ou Kanban) Mission en environnement structuré avec forte exigence de qualité, de performance et de conformité réglementaire.

Je recherche pour un de mes clients un Data Engineer GCP : Prestations attendues : Déployer les datasets normés sur un ou plusieurs des data domain suivants : Utilisateurs, Comportements et Référentiels Accompagner les utilisateurs dans leurs usages Mettre en place le contrôle qualité sur ces datasets En interaction avec les membres de l’équipe, Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe Construire et maintenir des pipelines data robustes et scalables Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données Organiser et structurer le stockage des données Mettre en place et maintenir des infrastructures scalables capables de répondre aux besoins et à l’accroissement rapide du volume de données Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité Construire et maintenir les workflows de la CI/CD Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur Assurer l’évolutivité, la sécurité, la stabilité des environnements Participer aux différentes instances des data ingénieurs Contribuer et veiller à la mise à jour de la documentation Faire de la veille technologique active dans le domaine Expertises demandées pour la réalisation de la prestation Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data Compétences solides en data : structures de données, code, architecture France Expériences dans la conception et la réalisation de pipelines data Expériences dans un environnement du cloud Google (GCP) Expériences intégrant BigQuery et Dataplex Universal Catalog Expériences intégrant les langages Python et SQL Expériences intégrant Spark Expériences intégrant dbt Expériences intégrant Terraform et Terragrunt Expériences intégrant Gitlab et Gitlab CI/CD Expériences intégrant les méthodologies Agile : Scrum ou Kanban Capacité à vulgariser et à communiquer sur des aspects purement techniques

Sécurité et conformité réglementaire : Garantir la conformité des données aux normes internes et externes, notamment en matière de RGPD et de législation en vigueur. Gestion des rôles et animation de la communauté Data : Identifier et mobiliser les relais de la gouvernance Data dans un contexte de responsabilités fédérées. Animer des séminaires, assurer la communication et favoriser l’engagement des acteurs concernés. Gestion des habilitations : Définir la granularité des habilitations pour les rôles et utilisateurs afin d’assurer une sécurité optimale et une gestion fine des accès. Accompagnement à la montée en compétence : Soutenir le développement des compétences des membres de l'équipe sur les sujets fondamentaux indispensables à la réalisation des missions liées à la gouvernance des données. LIVRABLES ATTENDUS ET ENVIRONNEMENT TECHNIQUE Exemples de livrables : Chapitres thématiques de la politique de gouvernance des données : Rôles et responsabilités Gestion du Glossaire et du Dictionnaire des données Gestion du Data Lineage Sécurité et droits d’accès, conformité juridique Suivi de la qualité des données Processus d’évolution de la plateforme Data Environnement technique : La sélection du fournisseur pour la plateforme Data d’entreprise est en cours. La solution cible intégrera notamment : Couche de stockage : Teradata, Hadoop Cloudera, PostgreSQL Transformation des données : DataStage, Spark Business Intelligence : Power BI, SAS Sécurité : 2 jours de télétravail possible par semaine à Paris 12, avec un démarrage prévu à la mi-mars 2026. La mission se clôturera en janvier 2027, avec une option jusqu’en janvier 2028. La date limite de réponse est fixée au 19/02/2026. Type de contrat : salarié ou freelance. TJM cible : 450 € .

"Contexte du besoin Dans le cadre de ses missions de définition des politiques de gestion des données et du suivi de leur mise en œuvre, l'activité Gouvernance de la Donnée souhaite renforcer son équipe d'un profil confirmé en la matière. Un accompagnement assorti d'un regard éclairé dans l'exécution des différents pans des missions est demandé MISSIONS · définition des politiques de gestion des données (rôles et responsabilités; · mise en place/alimentation d'un Glossaire métier et d'un Dictionnaire des données; · modalités de suivi de la qualité des données; · modalités permettant d'assurer la sécurité et la conformité réglementaire de l'accès aux données; · articulation avec les capacités de la plate-forme Data choisie par l'entreprise); · mise en oeuvre et suivi de ces politiques, en lien avec les contributeurs nécessaires; acculturation des différentes populations de l'entreprise aux exigences et apports en lien avec la gouvernance des données; · etc.... • Participation le cas échéant au choix des outils de gouvernance des données (rencontres fournisseurs initiées; échanges en cours) • Catalogage / connaissance des données : Définir les standards et bonnes pratiques et en vérifier la bonne application en mobilisant les acteurs requis (SI, métier), assurer l’acculturation nécessaire; • Cartographie des Données : Approfondir la cartographie des données qui aura été initiée (avec les acteurs métier, SI, urbanistes) et être capable de la présenter, la faire adopter et de l’utiliser à des fins de gouvernance des données… • Conformité règlementaire : Garantir que toutes les données respectent les normes internes et externes, en particulier en matière de RGPD et de conformité légale. • Gestion des rôles et animation de la communauté Data : Identifier les relais de la gouvernance dans un contexte de responsabilités fédérées. Mobiliser les acteurs (animation de séminaires, communication…). • Gestion des habilitations : Définir la granularité des habilitations des rôles et utilisateurs identifiés. • Accompagnement de la montée en compétence des autres membres de l'équipe sur des sujets structurants devant être maîtrisés pour mener à bien les missions de l'activité" Livrables attendus "Chapitres thématiques de la politique de Gouvernance des données (rôles et responsabilités; gestion Glossaire/Dictionnaire ; gestion du Data Lineage; sécurité et droits d'accès, dont conformité juridique; Suivi de la qualité des données; process permettant l'évolution de la plate-forme Data" Environnement technique - technologique • couche stockage : TERADATA; HADOOP Cloudera; Postgre • Transformation : DataStage / Spark • BI : Power BI; SAS"

MISSION Garant des directives architecturales : Assurer le respect des standards définis. Conception des solutions de données : Responsable du design technique des solutions data. Lien technologique externe : Assurer la coordination avec les équipes data extérieures. Animation technique : Fédérer et animer la communauté technique interne. IMPLICATION ET RATTACHEMENT Disponibilité : 100 % (Temps plein). Ligne hiérarchique : Lead Data Architect. Objectifs clés : Maintenir l'architecture du paysage Data. Garantir la valeur technologique des solutions. Assurer le suivi de la dette technique sur l'ensemble du périmètre Data. COMPÉTENCES REQUISES Expertise Technique Expérience : Au moins 5 ans d'expérience en architecture de données. Big Data : Maîtrise indispensable des environnements Big Data (EMR, Spark, etc.). Plateformes Cloud : Expérience impérative sur GCP (BigQuery) ou AWS (Redshift/Athena/S3). Design d'Architecture : Solide expérience dans la conception et la mise en œuvre de briques technologiques (Collecte, Stockage, Traitement, Visualisation). Certifications : Bonne connaissance des architectures Cloud, idéalement certifié sur un ou plusieurs environnements (GCP, Azure, AWS). DevOps : Maîtrise des processus et outils de développement modernes (Git, CI/CD, etc.). Atout : Une expérience sur l'approche Data Mesh est un vrai plus. Soft Skills (Savoir-être) Rigueur, proactivité et sens de l'organisation. Capacité de synthèse et aptitude à vulgariser des sujets complexes. Empathie et fortes capacités de coopération (profil "intégrateur"). Anglais : Courant (indispensable). RESPONSABILITÉS CLÉS Garant des directives architecturales Soutenir la stratégie de données définie par la Data Team. Piloter et porter la roadmap technique de la plateforme Data. Apporter son expertise pour aider les parties prenantes à suivre la stratégie Data globale. Évaluer et optimiser les architectures de données existantes. Concevoir et déployer les briques technologiques (Collecte, Stockage, Processing, Visualisation). Veiller au respect des principes d'architecture, de sécurité et de confidentialité des données établis au niveau du groupe. Suivre et soutenir la stratégie NFR (Exigences Non-Fonctionnelles) en lien avec les Tech Leads de chaque équipe produit. Documenter l'architecture de manière exhaustive. Garantir la cohérence technique transverse (domaines et régions). Animation de la communauté technique Faciliter et animer les ateliers (workshops) communautaires. Garantir la cohérence des choix internes avec les technologies du marché. Lien technologique avec les équipes externes Assurer une veille technologique constante sur le marché. Être propriétaire de la cartographie technologique. Fournir des benchmarks et des recommandations technologiques. Assurer le relais des politiques d'Architecture, Sécurité et Confidentialité du Groupe. Apporter une vision globale et contextuelle de l'écosystème de l'entreprise.

Je recherche pour un de mes clients un Consultant Data Gouvernance sur Paris 12 CONTEXTE DE LA MISSION Dans le cadre de ses missions de définition des politiques de gestion des données et du suivi de leur mise en œuvre, l'activité Gouvernance de la Donnée du client (3 salariés à ce jour) souhaite renforcer son équipe d'un profil confirmé en la matière. Le client recherche donc à apporter à l'équipe Gouvernance de la donnée un accompagnement assorti d'un regard éclairé dans l'exécution des différents pans de ses missions : définition des politiques de gestion des données (rôles et responsabilités; mise en place/alimentation d'un Glossaire métier et d'un Dictionnaire des données; modalités de suivi de la qualité des données; modalités permettant d'assurer la sécurité et la conformité réglementaire de l'accès aux données; articulation avec les capacités de la plate-forme Data choisie par l'entreprise); mise en oeuvre et suivi de ces politiques, en lien avec les contributeurs nécessaires; acculturation des différentes populations de l'entreprise aux exigences et apports en lien avec la gouvernance des données; etc..... DESCRIPTION DE LA MISSION Les missions principales au sein de l'activité Gouvernance de la donnée seront les suivantes : - Participation le cas échéant au choix des outils de gouvernance des données (rencontres fournisseurs initiées ; échanges en cours) - Catalogage / connaissance des données : Définir les standards et bonnes pratiques et en vérifier la bonne application en mobilisant les acteurs requis (SI, métier), assurer l’acculturation nécessaire ; - Cartographie des Données : Approfondir la cartographie des données qui aura été initiée (avec les acteurs métier, SI, urbanistes) et être capable de la présenter, la faire adopter et de l’utiliser à des fins de gouvernance des données… - Conformité règlementaire : Garantir que toutes les données respectent les normes internes et externes, en particulier en matière de RGPD et de conformité légale. - Gestion des rôles et animation de la communauté Data : Identifier les relais de la gouvernance dans un contexte de responsabilités fédérées. Mobiliser les acteurs (animation de séminaires, communication…). - Gestion des habilitations : Définir la granularité des habilitations des rôles et utilisateurs identifiés. - Accompagnement de la montée en compétence des autres membres de l'équipe sur des sujets structurants devant être maîtrisés pour mener à bien les missions de l'activité LIVRABLES ATTENDUS ET ENVIRONNEMENT TECHNIQUE Exemples de livrables attendus : Chapitres thématiques de la politique de Gouvernance des données : - rôles et responsabilités ; - gestion Glossaire/Dictionnaire ; - gestion du Data Lineage ; - sécurité et droits d'accès, dont conformité juridique ; - Suivi de la qualité des données ; - process permettant l'évolution de la plate-forme Data Environnement technique : Sélection en cours du fournisseur pour une plateforme Data d’entreprise cible Couche stockage : - Teradata - Hadoopa Cloudera - Postgre Transformation : - Data stage - Spark BI : - Power BI - SAS Expériences attendues : - Expérience au sein d'un Data Office en charge de la Gouvernance des données (au moins 2 expériences significatives) - Utilisation des outils de Gouvernance des données (gestion des méta données, dont Glossaire / Dictionnaire, Catalogage, Création/Exposition de Data Product, Data Quality, Lineage) - Compréhension des grands modèles d'Architecture Data (Extraction/Chargement, Transformation/Nettoyage, Mise à disposition, Suivi des usages) - Pratique d'une solution Plate-Forme Data

a mission s'inscrit au sein du département Architecture d'un organisme majeur de la protection sociale. Nous recherchons un Architecte Technique Senior (15-25 ans d'expérience) pour rejoindre le pôle Accompagnement et Conformité. Le consultant aura pour responsabilité de faire évoluer l'architecture du SI pour répondre aux besoins utilisateurs tout en assurant l'interopérabilité des nouvelles solutions avec l'environnement existant. Il travaillera en étroite collaboration avec l'Architecture d'Entreprise (Urbanistes) et les équipes d'experts techniques (socles, systèmes, réseaux). Objectifs et livrables Objectifs principaux : La mission consiste principalement à accompagner les projets dans la définition de leur architecture technique en cohérence avec les politiques techniques de l'organisme. Détail des activités : Support aux projets (70% de l'activité) : Accompagner l'élaboration des Dossiers d'Architecture Technique (DAT), contribuer à l'instruction et aux revues d'architecture, et réaliser des études d'impact pour les nouvelles technologies. Démarche d'architecture et conformité : Définir des solutions techniques conformes aux standards et assurer la cohérence avec les briques de production (Gateway, Kubernetes, Middleware...). Collaboration et expertise : Valider les solutions avec les experts techniques et suivre les évolutions des socles. Transformation SI : Accompagner les transformations vers le Cloud et les projets BI / Big Data. Environnement technique : Socle applicatif : JAVA (JEE, Spring, Hibernate), API/SOA (REST, SOAP) Infrastructure & Cloud : Kubernetes, Openshift, Ansible, VMWare, Architecture Microservices. Data (Atout) : Big Data, Spark, Kafka, ELK. Bases de données : PostgreSQL, Oracle, Cassandra. Livrables attendus : Dossiers d'Architecture Technique (DAT). Schémas d'architecture (modélisation Archimate). Architecture Decision Records (ADR) pour la traçabilité des choix. Comptes rendus des comités d'architecture. Analyses de marché et supports de veille technologique.

Au sein de la DSI Corporate d’un grand groupe bancaire, le département Développements Tactiques de la direction Fast Delivery Solutions recrute un Expert Leader Data & IA . Cette direction a pour but de mettre en place des solutions rapides au service de l'ensemble des directions métiers et des fonctions supports, en réponse à des besoins ponctuels ou pérennes. En lien avec les DSI métiers, elle en assure la maintenance et participe à leur éventuelle intégration dans le SI. Pour ce faire, elle met au service des filières métiers une équipe de proximité multi solutions afin de les aider dans leurs travaux ponctuels, la réalisation de POC (Proof Of Concept), de reportings ou bien encore l’automatisation de tâches récurrentes. La mission se situe au sein du département Développements Tactiques qui a pour mission de : Développer des outils en mode commando et en proximité directe avec le métier. Mettre en œuvre des solutions faisant appel à de l’IA générative pour répondre à des besoins métier. Accompagner l’industrialisation de ces solutions dans le parc applicatif des DSI filières. Étudier la possibilité de mise en œuvre de solutions innovantes, au travers d’une veille technologique et d’études d’opportunités. Participer à des évènements et animations de démo ou d’ateliers autour de l’IA ou de la data. L’équipe, actuellement constituée de 19 membres (Data Engineers, Data Scientists et Développeurs FullStack), fonctionne entièrement en mode agile et en proximité avec les métiers. Jeune, dynamique, motivée et très proactive, l’équipe valorise l’entraide et la bonne ambiance. Le candidat devra donc avoir la personnalité permettant de conserver cette dynamique intacte. Les soft skills sont donc autant essentielles que les compétences techniques : bon communiquant, motivé, force de proposition et sociable. Compétences techniques déjà présentes dans l’équipe : Développement autour de l’IA Générative. Développement Python / Pycharm. Développement Front Angular. Développement de cas d’usage IA générative à destination du business. Développement PySpark / Spark / Scala. Connaissance des plateformes Cloud. Mise en œuvre de workflows sous Alteryx. La mission : L’équipe se voit confier un nouveau programme visant à mettre en œuvre un ensemble de Use Cases faisant appel à de l’IA générative ou consistant à automatiser des traitements. Pour faire face à ce nouveau programme, nous souhaitons renforcer nos compétences avec un AI Engineer confirmé Data & IA . Principales missions : Innovation et réalisation de POCs : assurer la faisabilité technique des cas d’usage, développer des POCs autour de projets IA générative, proposer des solutions innovantes (LLM, prompts, RAG, traitement de données complexes). Industrialisation : en collaboration avec la production applicative et les contributeurs DSI, industrialiser les sujets dont les POCs s’avèrent concluants. Expertise Data & IA Générative : leader techniquement les projets, en s’appuyant sur les technologies internes (plateforme cloud, outils IA, modèles de langage type Gemini). Force de proposition : identifier des axes d’amélioration et proposer des solutions innovantes. Partage de connaissances : contribuer à la montée en compétences collective au sein de l’équipe. Suivi des sujets : assurer une communication claire et synthétique au responsable de l’équipe et aux Product Owners.