Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Votre mission Dans le cadre du développement de notre plateforme Data, nous recherchons un Data Engineer pour concevoir, développer et maintenir des pipelines de données performants dans un environnement Cloud AWS. Vous participerez notamment à : Développer et optimiser les traitements d'ingestion et de transformation de données avec Python, Spark et Databricks. Mettre en place les flux de données entre différentes sources et le Data Lake. Orchestrer et superviser les traitements avec Airflow. Garantir la qualité, la disponibilité et les performances des pipelines. Assurer le support, la correction des anomalies et l'amélioration continue de la plateforme. Participer aux choix techniques, aux ateliers projet et à la documentation.

Votre missionDans le cadre du développement de notre plateforme Data, nous recherchons un(e) Senior Data Engineer / Tech Lead Databricks pour piloter les développements, garantir la qualité des solutions mises en œuvre et accompagner les équipes sur les sujets techniques. Vous serez notamment amené(e) à : Concevoir et faire évoluer l'architecture des pipelines de données sur Databricks. Développer et optimiser les traitements d'ingestion et de transformation en Python, Spark et SQL. Piloter l'orchestration et la supervision des traitements sur AWS. Garantir la performance, la fiabilité et la qualité des pipelines de données. Définir les bonnes pratiques de développement, participer aux revues de code et accompagner les membres de l'équipe. Assurer le support technique, la résolution des incidents complexes et l'amélioration continue de la plateforme. Participer aux ateliers d'architecture, aux échanges avec les équipes métiers et contribuer aux choix techniques.

Vous rejoindrez le secteur bancaire/assurance, au sein de l'équipe « Data4Ops » rattachée au domaine d'expertise Automatisation et Observabilité. Cette équipe pilote la structuration des données opérationnelles en lien avec la stratégie Data Mesh. Votre rôle : concevoir, intégrer et industrialiser des solutions pour la collecte, la transformation, le stockage et la mise à disposition des données dans un contexte fortement hétérogène et distribué. Vous interviendrez sur : Conception et mise en œuvre des solutions techniques et fonctionnelles de la Data Platform. Développement et automatisation des pipelines d'ingestion (batch et temps réel). Mise en place de mécanismes de contrôle qualité, intégrité et fiabilité des données. Documentation technique et normes. Support technique et fonctionnel sur les solutions déployées. Le contexte technique inclut : bases SQL/NoSQL, Kafka, Dataiku, Elastic, scripting (Python/SQL/Java), Data Lakehouse (Spark, MinIO, Stockage S3, Iceberg, Trino). Environnement Agile / DevOps avec intégration continue (CI/CD).

Votre mission Dans le cadre du développement de notre plateforme Data, nous recherchons un(e) Senior Data Engineer / Tech Lead Databricks pour piloter les développements, garantir la qualité des solutions mises en œuvre et accompagner les équipes sur les sujets techniques. Vous serez notamment amené(e) à : Concevoir et faire évoluer l'architecture des pipelines de données sur Databricks. Développer et optimiser les traitements d'ingestion et de transformation en Python, Spark et SQL. Piloter l'orchestration et la supervision des traitements sur AWS. Garantir la performance, la fiabilité et la qualité des pipelines de données. Définir les bonnes pratiques de développement, participer aux revues de code et accompagner les membres de l'équipe. Assurer le support technique, la résolution des incidents complexes et l'amélioration continue de la plateforme. Participer aux ateliers d'architecture, aux échanges avec les équipes métiers et contribuer aux choix techniques.

Contexte L'équipe est Agile, composée de 14 personnes dont 2 Data Scientists, et intégrée à un Train SAFe synchronisé avec d'autres Trains et équipes Data. Missions Mettre en œuvre des algorithmes de prévision de consommation ou de rebouchage de données Entraîner et industrialiser des modèles de machine learning et optimiser leur performance Mener des analyses pour interpréter les comportements de consommation des clients et soutenir des prises de décision au développement de nouvelles fonctionnalités Conduire des transformations et mises en qualité de données Outils & Environnement Python, SQL Spark / PySpark Databricks AWS Git et gestion du versioning Livrables Développements informatiques (correctif, évolutif, adaptatif) Mise en œuvre des algorithmes de prévision de consommation ou de rebouchage de données Entraînement et industrialisation des modèles de machine learning Analyses comportementales des clients pour soutenir le développement fonctionnel Transformations et mises en qualité de données Compétences à évaluer Expertise en Data Science, Machine Learning et Deep Learning Maîtrise de Python, SQL et des bibliothèques d'analyse de données (Scikit-Learn, PyTorch Forecasting, Darts, PySpark, MLflow) Séries temporelles et prévision de consommation Industrialisation des modèles & MLOps IA générative et Large Language Models (LLM) – un plus Frameworks IA : LangChain et LangGraph – un plus

Contexte : Dans le cadre de l'évolution d'une plateforme Data Groupe d'un acteur majeur du secteur des transports, nous recherchons un Architecte Solution / Tech Lead Databricks. Vous interviendrez au sein de l'équipe en charge de la plateforme Data afin d'accompagner plusieurs squads métiers dans la conception, l'industrialisation et la mise en production de leurs cas d'usage Data. Vous jouerez un rôle clé de référent technique, en accompagnant les équipes sur les choix d'architecture, les bonnes pratiques et la gouvernance de la plateforme. Vos missions : Participer au cadrage des projets Data et Big Data. Définir et valider les architectures techniques. Accompagner les Tech Leads et les équipes de développement. Concevoir des solutions basées sur Databricks. Participer aux revues d'architecture et aux arbitrages techniques. Rédiger la documentation d'architecture (DAT, HLD, DEX, dossiers techniques…). Accompagner les mises en production et les passages en exploitation. Participer à l'amélioration continue de la plateforme Data. Promouvoir les bonnes pratiques de développement, de sécurité, de gouvernance et de FinOps. Intervenir ponctuellement en support expert (N3). Former et accompagner les équipes projets. Environnement technique : Cloud : AWS Data Platform : Databricks Big Data : Spark, Scala, Python Data Lake / Lakehouse Power BI CI/CD : GitLab CI Infrastructure as Code : Terraform Conteneurisation : Docker, Kubernetes Sécurité & IAM Agile Scrum

Envie d'un nouveau challenge... CELAD vous attend ! Nous poursuivons notre développement et recherchons actuellement un(e) Ingénieur Data H/F pour intervenir chez un de nos clients. Contexte : Vous rejoignez une équipe Data intervenant sur des projets stratégiques de valorisation de la donnée. Vous évoluez au sein d'un environnement Big Data moderne, en collaboration étroite avec les équipes métiers, les Product Owners, Business Analysts et développeurs. Votre rôle sera de concevoir et développer des solutions de traitement de données performantes tout en participant aux réflexions d'architecture et à l'amélioration continue des pratiques de développement. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Participer à la définition de l'architecture Data en collaboration avec les architectes et les équipes projet. - Concevoir, développer et maintenir des pipelines de données batch et temps réel. - Développer les traitements d'intégration et de transformation de données à l'aide de Spark et des outils ETL. - Automatiser l'ingestion de données provenant de multiples sources et assurer leur mise à disposition pour les usages métiers. - Mettre en œuvre les tests unitaires et automatisés, assurer les déploiements et garantir la qualité des développements. - Assurer le maintien en conditions opérationnelles des solutions Data (monitoring, gestion des incidents, optimisation des performances) et contribuer à l'amélioration continue des pratiques de développement.

RésuméLe poste de Data Engineer est axé sur le développement et la maintenance de l'infrastructure Big Data , avec un accent sur l'expertise Hadoop pour assurer la gestion, l'optimisation et la disponibilité de la plateforme Hadoop. Responsabilités :Participer aux task forces pour résoudre des problématiques techniques complexes. Évoluer l'infrastructure et déployer de nouvelles fonctionnalités à forte valeur ajoutée. Gérer les montées de versions majeures des composants Hadoop. Mettre en place et maintenir la documentation technique destinée aux entités internes et utilisateurs. Gérer la collaboration avec l'éditeur Cloudera et les entités internes. Suivre le planning global de production. Must Haves :Expertise en Ansible. Expérience avec Apache NiFi. Compétence en Hadoop (Big Data). Maîtrise de Kafka. Connaissances en Scripting (GitHub, Ansible, AWX, shell, VBA). Compétence en Spark. Nice to Have :Certifications Cloud spécifiques (par exemple, Cloudera Certified Professional). Connaissances en Terraform et Terragrunt. Autres Détails :Catégorie: Environnement technique. Détails: Ingestion avec Kafka et Nifi, moteur : CDP 7.1.9, automatisation avec Ansible. Livrables attendus : installation et maintenance des clusters Hadoop, sécurité et performances de la plateforme. Type de prestation : Data Engineering Level 8.4.

📍 Contexte Société Générale recherche un Data Engineer / Expert Hadoop pour assurer l'administration, la maintenance et l'évolution de sa plateforme Big Data Cloudera CDP. La mission porte sur la fiabilité, la performance, les montées de version et l'automatisation de l'infrastructure Big Data. 🎯 Missions principales Administrer et maintenir les clusters Hadoop Cloudera CDP. Participer aux montées de version des composants Hadoop. Résoudre les incidents techniques complexes et intervenir en task force. Automatiser les déploiements, le patching et l'exploitation avec Ansible et Terraform/Terragrunt. Garantir la disponibilité, la performance et la sécurité de la plateforme. Gérer les changements (tests, rollback, mise en production). Collaborer avec Cloudera et les équipes internes. Rédiger la documentation technique. 🛠 Stack technique Big Data : Hadoop, Cloudera CDP 7.1.9, Spark Ingestion : Kafka, Apache NiFi Automatisation : Ansible, Terraform, Terragrunt, AWX Versioning / Scripting : Shell, Git, GitHub

Envie d'un nouveau challenge... CELAD vous attend ! Nous poursuivons notre développement et recherchons actuellement un(e) Ingénieur Data H/F pour intervenir chez un de nos clients. Contexte : Vous rejoignez une équipe Data intervenant sur des projets stratégiques de valorisation de la donnée. Vous évoluez au sein d'un environnement Big Data moderne, en collaboration étroite avec les équipes métiers, les Product Owners, Business Analysts et développeurs. Votre rôle sera de concevoir et développer des solutions de traitement de données performantes tout en participant aux réflexions d'architecture et à l'amélioration continue des pratiques de développement. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Participer à la définition de l'architecture Data en collaboration avec les architectes et les équipes projet. - Concevoir, développer et maintenir des pipelines de données batch et temps réel. - Développer les traitements d'intégration et de transformation de données à l'aide de Spark et des outils ETL. - Automatiser l'ingestion de données provenant de multiples sources et assurer leur mise à disposition pour les usages métiers. - Mettre en œuvre les tests unitaires et automatisés, assurer les déploiements et garantir la qualité des développements. - Assurer le maintien en conditions opérationnelles des solutions Data (monitoring, gestion des incidents, optimisation des performances) et contribuer à l'amélioration continue des pratiques de développement.

Dans le cadre du développement de ses initiatives autour de l'Intelligence Artificielle, du Data Engineering et du développement Python, notre client, grand groupe bancaire, recherche un(e) Lead Architecte IA, Data & Python. Référent(e) technique sur ces sujets, vous accompagnerez les équipes projets dès les phases de cadrage et de conception, concevrez les architectures IA et Data, et définirez les standards et patterns de référence (Machine Learning, RAG, Agents IA, IA Générative, MLOps/LLMOps, APIs IA). Vous réaliserez les études d'architecture et les choix technologiques, garantirez l'intégration des solutions IA dans le système d'information, et veillerez à la gouvernance et à la conformité des projets (RGPD, AI Act, sécurité). Sur le volet Python, vous définirez les standards de développement, accompagnerez les équipes sur Python avancé, FastAPI, Flask, Django, PySpark et Pandas, réaliserez des POC et prototypes, et mettrez en place les bonnes pratiques de qualité de code, tests, sécurité, performance et CI/CD. Sur le volet Data Engineering, vous concevrez les pipelines de traitement des données, définirez les architectures d'échange et d'intégration, garantirez la qualité des données et superviserez la mise en œuvre des plateformes Data, en vous appuyant notamment sur Spark, Kafka, Airflow, DuckDB et Trino. Enfin, vous contribuerez à la gouvernance et à l'innovation en construisant le catalogue de patterns IA et Data, en assurant une veille technologique permanente et en animant les communautés Data et IA.

Nous recherchons un·e Directeur·trice de Projets IA. Vous interviendrez sur des environnements critiques, fortement régulés et à forts enjeux métiers, au cœur des initiatives d'intelligence artificielle et d'innovation. Vous piloterez des projets IA de bout en bout, depuis les phases de cadrage et d'idéation jusqu'à la mise en production à l'échelle, en assurant la coordination transverse entre équipes techniques, métiers et fonctions de gouvernance. Voici un aperçu détaillé de vos missions : 🎯 Piloter des programmes IA de bout en bout : cadrage, POC, industrialisation et mise en production de solutions (LLM, RAG, assistants métiers) Définir la stratégie IA & roadmap : alignement business/IT, suivi des KPI et reporting CODIR Structurer la gouvernance IA : gestion des risques, conformité (EU AI Act, DORA, NIS2), documentation réglementaire Coordonner les équipes : interface transverse Data/IA, DevOps, Risk, Compliance et métiers Conseiller & innover : benchmark des solutions IA, accompagnement du top management, diffusion de la culture IA Environnement technique : 🧑‍💻 IA & Data : LLM (OpenAI, Mistral, LLaMA…), RAG, NLP, Cloud / Infra : GCP, Kubernetes, Docker Data stack : Python, Spark, SQL/NoSQL, pipelines ETL/ELT DevOps : CI/CD, MLOps, monitoring Sécurité & conformité : ISO 27001, RGPD, EU AI Act, DORA, NIS2

En tant que Data Engineer (F/H), vous jouez un rôle central dans la construction, la maintenance et l'optimisation de l'architecture data de l'entreprise. Vos principales responsabilités : Concevoir des pipelines ETL pour le traitement de données. Optimiser les bases de données et les flux de données. Faire transiter et intégrer les données dans le Cloud (AWS, Azure, GCP). Gérer la qualité et la sécurité des données (gouvernance). Collaboration avec les équipes transverses : Participer aux projets en interagissant avec les experts métiers, les architectes techniques et les chefs de projet. Stack technique : Solide expérience en conception et développement de pipelines ETL/ELT. Maîtrise de langages tels que Python, SQL, Spark… Bonne connaissance des environnements cloud (AWS, Azure ou GCP) et services associés (ex : Glue, BigQuery, Data Factory…). Maîtrise d'outils de traitement de données distribuées (Spark, Databricks, etc.). Connaissance des bases de données relationnelles et NoSQL (PostgreSQL, MongoDB…). Pratique des outils de versioning (Git) et d'intégration continue (CI/CD). Compréhension des problématiques de sécurité, de qualité et de gouvernance des données.

Dans le cadre de l'évolution d'une plateforme Data Cloud stratégique, nous recherchons un Data Engineer Azure confirmé à expert, capable d'intervenir sur les enjeux de gouvernance, de partage et d'industrialisation de la donnée dans un environnement Azure Databricks. MissionsFaire évoluer une plateforme Data Lake existante sur Azure. Participer à l'intégration et au déploiement du Unity Catalog Databricks. Définir et mettre en œuvre les modèles de gouvernance et de gestion des accès aux données. Industrialiser les mécanismes de partage de données. Mettre à disposition les données sous forme de tables Delta Lake / Iceberg. Contribuer aux études techniques et aux Proofs of Concept (POC). Accompagner le déploiement d'un Data Lake gouverné. Compétences requisesIndispensables : Azure Databricks Unity Catalog Spark Data Engineering Azure GitHub Azure DevOps Gouvernance des données Architecture Data Lake Appréciées : Java JavaScript / TypeScript Formats Delta Lake et Iceberg Profil recherchéConsultant senior à expert Forte autonomie technique. Expérience significative sur des plateformes Data Cloud à grande échelle. Capacité à intervenir aussi bien sur les sujets d'architecture que de mise en œuvre opérationnelle. Excellentes capacités de communication et de collaboration avec les équipes Data et Infrastructure.

Nous recherchons un·e Directeur·trice de Projets IA. Vous interviendrez sur des environnements critiques, fortement régulés et à forts enjeux métiers, au cœur des initiatives d'intelligence artificielle et d'innovation. Vous piloterez des projets IA de bout en bout, depuis les phases de cadrage et d'idéation jusqu'à la mise en production à l'échelle, en assurant la coordination transverse entre équipes techniques, métiers et fonctions de gouvernance. Voici un aperçu détaillé de vos missions : 🎯 Piloter des programmes IA de bout en bout : cadrage, POC, industrialisation et mise en production de solutions (LLM, RAG, assistants métiers) Définir la stratégie IA & roadmap : alignement business/IT, suivi des KPI et reporting CODIR Structurer la gouvernance IA : gestion des risques, conformité (EU AI Act, DORA, NIS2), documentation réglementaire Coordonner les équipes : interface transverse Data/IA, DevOps, Risk, Compliance et métiers Conseiller & innover : benchmark des solutions IA, accompagnement du top management, diffusion de la culture IA Environnement technique : 🧑‍💻 IA & Data : LLM (OpenAI, Mistral, LLaMA…), RAG, NLP, Cloud / Infra : GCP, Kubernetes, Docker Data stack : Python, Spark, SQL/NoSQL, pipelines ETL/ELT DevOps : CI/CD, MLOps, monitoring Sécurité & conformité : ISO 27001, RGPD, EU AI Act, DORA, NIS2

Nous recherchons pour un de nos clients un Data Engineer Microsoft FabricCompétences obligatoiresMicrosoft Fabric (2 ans d'expérience minimum) PySpark Lakehouse / OneLake Notebooks Fabric Spark dans Fabric Fabric Endpoints Data Engineering sous Fabric Power BI (intégration avec Fabric) Modélisation de données Compétences fonctionnellesGouvernance des données Data Products Data Mesh Architecture Médaillon (Bronze / Silver / Gold) Expérience recherchéeMise en œuvre complète de la chaîne Microsoft Fabric : Ingestion des données Transformation Modélisation Industrialisation Exposition vers Power BI Construction de pipelines de transformation avant restitution dans Power BI. Expérience sur des plateformes Data modernes. Compétences appréciées (plus)Expérience avec dbt (Data Build Tool) pour la transformation et la modélisation des données. Connaissance des bonnes pratiques d'industrialisation et de versionning des modèles de données. Expérience sur Azure Data Platform (Synapse, Data Factory, Databricks) dans un contexte Microsoft Fabric. Le candidat devra maîtriserOneLake Lakehouse Notebooks PySpark Data Engineering Fabric Data Factory / Pipelines Fabric Endpoints Semantic Models Power BI Ce qui est attenduLe consultant devra être capable d'intervenir immédiatement sur une plateforme Microsoft Fabric en production et maîtriser l'ensemble de la chaîne Data, de l'ingestion à la transformation des données, jusqu'à leur exposition dans Power BI. Le besoin porte sur un profil très opérationnel, autonome et rapidement productif. Une expérience avec dbt (Data Build Tool) constituera un atout supplémentaire.