Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

ContexteDans le cadre du renforcement de son équipe Data, notre client recherche un Data Architect / Tech Lead spécialisé sur les technologies Snowflake et DBT. Le consultant interviendra sur des sujets d'architecture Data, Data Engineering et Cloud, avec pour objectif de concevoir et faire évoluer des solutions Data robustes, évolutives et industrialisées. Il sera également amené à jouer un rôle de référent technique auprès des équipes Data et à accompagner les choix d'architecture et les bonnes pratiques de développement. Missions principalesConcevoir et faire évoluer l'architecture Data autour de Snowflake. Participer à la conception de plateformes et solutions Data Cloud. Définir les architectures adaptées aux besoins des projets Data. Concevoir, développer et faire évoluer des pipelines de données ETL/ELT. Mettre en œuvre les transformations de données avec DBT. Accompagner les équipes dans l'utilisation de Snowflake et DBT. Définir et promouvoir les bonnes pratiques d'architecture, de développement et d'industrialisation Data. Intervenir sur des problématiques de Data Engineering et Cloud. Participer à l'intégration et à la transformation des données provenant de différentes sources. Optimiser les traitements et les flux de données. Garantir la qualité, la fiabilité et la disponibilité des données. Participer à la mise en place de solutions Data évolutives et performantes. Assurer un rôle de Tech Lead auprès des équipes techniques. Accompagner les Data Engineers dans leurs choix techniques. Participer aux revues de code et aux revues d'architecture. Identifier les axes d'amélioration et contribuer à l'industrialisation des processus Data. Collaborer avec les équipes Data, Cloud, Analytics et les équipes métier. Participer à la documentation des architectures et des solutions mises en œuvre. Compétences techniques — indispensablesSnowflake — expertise Certification Snowflake — Must Have DBT — expérience concrète Data Architecture Tech Lead / leadership technique Data Engineering ETL / ELT SQL Cloud Data Platform Environnement techniqueData Warehouse / Data Cloud Snowflake DBT SQL Data Engineering / Big Data Apache Spark PySpark Python Pandas Hadoop Impala Cloud / Azure Microsoft Azure Azure Databricks Azure Data Factory Azure Data Lake Storage / ADLS Data Integration / Orchestration Azure Data Factory Informatica Stonebranch Power Automate Analytics / BI Power BI DevOps / Collaboration GitHub Databricks Repo Jira Confluence Méthodologie Agile

Delivery data engineering en proximité métier Concevoir, développer et maintenir des pipelines de données batch, event-driven ou streaming selon les besoins des produits data. Traduire les exigences fonctionnelles et contraintes techniques en solutions data simples, robustes, scalables et maintenables. Contribuer aux cérémonies de delivery, au chiffrage, à la planification, à la gestion des dépendances et à la sécurisation des engagements des squads. Assurer une collaboration fluide avec les Delivery Managers pour rendre visibles les risques, dépendances, arbitrages et points de blocage. Industrialisation, qualité et fiabilité Mettre en œuvre les « quality gates » : tests unitaires et d'intégration, tests de données, contrôle de schéma, idempotence, stratégies de reprise et validation de la qualité. Appliquer les standards de développement Python, PySpark et SQL, ainsi que les bonnes pratiques Git, CI/CD, revue de code et documentation. Contribuer à l'observabilité des flux : logs, métriques, alerting, lineage, suivi des SLA/SLO et analyse des incidents de run. Participer au diagnostic et à la résolution des incidents ou problèmes de production en lien avec les équipes plateformes, CloudOps et SecOps. Architecture data, Lakehouse et performance Implémenter les patterns d'architecture validés : ingestion, modélisation Lakehouse, architecture médaillon, data products, APIs de données et intégrations réutilisables. Optimiser les traitements Spark/Databricks, les requêtes SQL, les stratégies de stockage et l'utilisation du compute afin d'améliorer performance et coûts. Documenter les choix techniques structurants et contribuer aux ADR lorsque les décisions impactent les standards ou la trajectoire cible. Veiller à la cohérence des solutions avec l'architecture One B2C, les standards Data Engineering & Platforms et les exigences entreprise. Sécurité, gouvernance et conformité Intégrer les exigences de sécurité by design : gestion des secrets, IAM, droits d'accès, chiffrement, durcissement, scans et séparation des environnements. Appliquer les règles de protection des données, d'anonymisation, de minimisation, de traçabilité et de conformité RGPD. Contribuer à la gouvernance opérationnelle des datasets, métadonnées, contrats de données, contrôles d'accès et règles de qualité. Travailler avec les équipes Cybersecurity, Infrastructure, Data Office et Architecture pour garantir l'alignement avec les standards ENGIE. AI-assisted engineering et amélioration continue Utiliser de manière responsable les outils d'ingénierie assistée par IA, tels que Copilot, agents, génération de code, SQL, tests, documentation et aide au debugging. Identifier et proposer des opportunités d'automatisation pour accélérer le delivery, réduire les erreurs et standardiser les pratiques d'ingénierie.

La mission s'inscrit dans le cadre d'un programme de transformation réglementaire lié aux évolutions de Bâle et vise à accompagner la conception, le développement et l'optimisation de moteurs de calcul de risques bancaires RWA et ECL. Le consultant interviendra sur des environnements Java, Spark et Hadoop afin de faire évoluer l'architecture existante pour traiter des volumétries de données plus importantes, mettre en place des simulateurs RWA/ECL au niveau Groupe et automatiser les processus de benchmark et de simulation. Il participera également à la clarification des besoins, aux choix des solutions techniques, à la conception et à l'implémentation des solutions applicatives, aux migrations techniques notamment vers le Cloud, ainsi qu'au support technique auprès des utilisateurs, dans le respect des normes et standards du système d'information.

Contexte Dans le cadre d'un programme stratégique associant Data et intelligence artificielle générative, nous recherchons un Data Engineer AWS pour participer au développement et à l'évolution d'une Data Platform destinée à alimenter des solutions métiers et des cas d'usage IA. La plateforme est déjà en production sur AWS. La mission consiste à renforcer son architecture, développer de nouveaux pipelines et industrialiser la gestion des données selon une approche moderne de type Data Lakehouse. Missions Participer à la définition et à l'évolution de l'architecture de la Data Platform et du Lakehouse. Concevoir, développer et optimiser des pipelines d'ingestion et de transformation de données. Développer des jobs Data avec AWS Glue, Spark et PySpark. Intégrer les services AWS dédiés au Data Management. Développer et maintenir des API en Java 17/21 avec Spring Boot. Traiter des données internes et provenant de fournisseurs externes. Traduire les besoins fonctionnels en solutions techniques fiables et évolutives. Participer à la mise en place d'un environnement Data Lab. Industrialiser les développements et les déploiements avec des pipelines CI/CD. Mettre en place les tests automatisés et les contrôles de qualité du code. Garantir la sécurité, la performance et la maintenabilité des solutions. Participer aux mises en production. Assurer le support de production en cas d'incident majeur. Produire et maintenir la documentation technique. Compétences techniquesAWS : S3, Glue et services Data associés Data Engineering : Spark, PySpark et Hadoop Lakehouse : Apache Iceberg et Trino Développement : Java 17/21 et Spring Boot Bases de données : PostgreSQL et Oracle Tests : JUnit 5 et Mockito CI/CD : GitLab CI Qualité et gestion des dépendances : SonarQube, Maven et Artifactory Conteneurisation : Docker et Kubernetes GitOps et déploiement : Argo CD Formats : JSON, YAML et XML Outils : GitHub, GitHub Copilot, IntelliJ IDEA, Jira et SharePoint

Je recherche un Ingénieur Big Data Hadoop / Cloudera CDP pour intervenir sur la construction, l'administration et l'évolution de plateformes Hadoop dans un contexte Agile et DevOps. Votre missionVous souhaitez évoluer au sein d'un environnement Big Data de grande envergure et contribuer à l'évolution de plateformes stratégiques ? Vous participerez également à l'amélioration des Data Services et serez force de proposition sur les évolutions techniques et les bonnes pratiques. Vos principales responsabilitésDéployer et installer des clusters Hadoop Cloudera CDP. Administrer et maintenir les plateformes Big Data en production. Installer, configurer et faire évoluer les composants Hadoop. Réaliser les montées de version des distributions et composants. Assurer le monitoring, la supervision et l'optimisation des clusters. Gérer la sécurité des plateformes (Kerberos, Ranger/Sentry, gestion des accès). Mettre en place les environnements de développement, recette et test. Assurer le support technique de niveau N2/N3. Automatiser les déploiements via Ansible, Jenkins et les outils CI/CD. Participer à l'amélioration continue des plateformes et aux projets d'évolution. Environnement techniqueBig Data Cloudera Data Platform (CDP) Hadoop HDFS Spark Hive Kafka ZooKeeper Hue Anaconda Administration & Sécurité Cloudera Manager Ambari Kerberos Ranger / Sentry Linux (RedHat, CentOS) DevOps Jenkins Ansible Git CI/CD Méthodologies Agile Scrum SAFe Kanban DevOps Profil recherchéVous justifiez d'une expérience significative dans l'administration de plateformes Big Data et maîtrisez les environnements Hadoop. Vous possédez notamment : Une solide expérience sur Cloudera CDP. Une bonne maîtrise de l'administration de clusters Hadoop. Une expérience des installations, upgrades et migrations de plateformes. Une bonne connaissance des problématiques de sécurité (Kerberos, Ranger/Sentry). Une expérience des outils d'automatisation et de CI/CD. Une excellente maîtrise des environnements Linux. Les qualités qui feront la différenceEsprit d'analyse et de synthèse. Autonomie et sens des responsabilités. Curiosité technique et veille technologique. Force de proposition. Excellent relationnel et goût du travail en équipe. Anglais professionnel. Pourquoi rejoindre mon client ?Des projets Big Data à forte valeur ajoutée. Un environnement technique stimulant. Des technologies de pointe. Une équipe experte et collaborative. Une culture orientée innovation et amélioration continue. Vous souhaitez relever ce défi ? Envoyez-nous votre CV et échangeons sur votre prochain projet !

Nous recherchons un ML Engineer pour accompagner le déploiement de modèles de machine learning robustes, performants et évolutifs en production. Vous intervenez dans une équipe dont le rôle stratégique est de valoriser la data. Au sein d'un environnement Data structuré, vous interviendrez sur des projets transverses mêlant data science, data engineering et MLOps. Vos principales responsabilités seront les suivantes : Optimiser la collecte et la préparation des données : data processing, feature engineering, industrialisation des pipelines. Améliorer l'exposition des modèles en production : API, endpoints, performance et scalabilité. Collaborer avec les data engineers pour intégrer les modèles dans la Data Platform. Travailler avec les data scientists afin de déployer les meilleures versions des modèles. Mettre en place des pratiques MLOps : qualité des données, suivi du data drift, monitoring, réentraînement. Assurer le suivi du cycle de vie des modèles en production. Documenter les processus, modèles et systèmes déployés.

RECHERCHE – DATA ENGINEER SENIOR Je recherche 2 Data Engineers Senior pour intervenir sur un projet Data ambitieux en Île-de-France. 🔹 Expérience : 8 ans minimum en Data Engineering 🔹 Localisation : IDF 🔹 Télétravail : 3 jours/semaine 🔹 Démarrage : ASAP 🔹 Mission longue durée 🛠️ Compétences indispensables : • Python • Spark • AWS (Glue, EMR, S3…) • Big Data • DBT • Architecture Lakehouse • Modélisation et collecte de données • Terraform • Airflow ⭐ Une expérience sur Iceberg et Starburst/Trino est fortement appréciée. Le poste implique également des sujets de pipelines Data à grande échelle, batch/streaming, industrialisation, qualité et observabilité des données. 📩 Vous êtes disponible ou connaissez un profil correspondant ? N'hésitez pas à me contacter en MP ou à m'envoyer votre CV.

Informations clés Localisation : Lyon (50 % de télétravail) TJM max : 370 € Démarrage : 23/09/2026 Durée : Jusqu'au 28/02/2027 (reductible / renouvelable) Contexte de la missionAu sein du pôle SI, l'équipe réalise des études et développe des produits data innovants autour de la maintenance prédictive, de la mobilité électrique et de l'analyse des charges du réseau. Dans ce cadre, nous recherchons un Lead Tech Java/Angular Senior disposant d'une solide expérience en développement Full Stack, en leadership technique et d'une sensibilité en Data Engineering. Missions principalesDéveloppement & Architecture : Concevoir, développer et maintenir des applications web distribuées (Java Spring Boot / Angular) et contribuer aux choix d'architectures scalables en collaboration avec les équipes Data. Leadership & Accompagnement : Assurer le cadrage technique, guider les équipes projets et les Product Owners, et animer techniquement l'équipe au quotidien dans un contexte Agile. Qualité & Industrialisation : Garantir l'excellence logicielle (Clean Code, principes SOLID, revues de code, tests) et intervenir sur l'ensemble du cycle de vie des produits, du POC jusqu'à la mise en production. Veille & Innovation : Réaliser une veille technologique continue pour faire évoluer les stacks et les pratiques d'ingénierie.

Cartographier et documenter les sources de données Assurer la maintenance des différentes applications données (Data) déployées en production et des infrastructures Concevoir les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité Structurer le data lake Contribuer à la gestion des référentiels de données Intégration des données : · Capter et stocker, en toute sécurité, les données (structurées ou non) produites dans les différentes applications ou venant de l'extérieur de l'entreprise · Assurer la supervision et l'intégration des données de diverses nature qui proviennent de sources multiples · Vérifier la qualité des données qui entrent dans le Data Lake et s'assure de leur sécurité · Nettoyer la donnée (élimination des doublons…) et la valider pour une utilisation aval Animation des communautés : · Animer une communauté technique qui met en œuvre les dispositifs prévus ou nécessaires à l'application de la politique de la donnée Veille technologique : · Assurer une veille sur les technologies liées au traitement de la manipulation de la donnée et identifier les solutions utilisables · Mettre en œuvre des POC le cas échéant · Propose des évolutions pour les infrastructures et solutions de données en place Entrants · Normes et standards d'architecture d'entreprise · Plan d'occupation des sols (POS) et cartographies SI · Exigences métiers Principaux livrables · Dossier d'architecture (ou cadre technique) des solutions (plateformes) de traitement des données · Data lake adapté aux besoins actuels et futurs · Cartographie des données · Eléments permettant de garantir la qualité de la donnée · Rapport d'études de veille technologique, POC · Comptes rendus, plan d'actions animation communautés

Dans le cadre d'un projet stratégique en Banque / Finance, nous recherchons 2 Tech Leads Big Data / Data Engineering expérimentés pour rejoindre une équipe intervenant sur des sujets à fort enjeu autour des environnements BFI et Risk. 🎯 Profil recherchéExpérience confirmée en Big Data / Data Engineering Bonne connaissance des environnements Banque de Financement et d'Investissement (BFI) et des problématiques Risk Capacité à évoluer dans des environnements techniques complexes et à accompagner les équipes 💻 Compétences techniques indispensablesSpark / PySpark / Scala Python Hive / SQL Elasticsearch / Kibana Jenkins Ansible Oozie Méthodologie Agile 🚀 Vos missionsConcevoir et développer des solutions Big Data performantes Accompagner les équipes sur les choix techniques et les bonnes pratiques Participer à l'industrialisation des traitements et à l'optimisation des performances Intervenir sur des projets stratégiques à fort impact dans le secteur bancaire 📍 2 postes à pourvoir immédiatement 👉 Vous êtes intéressé(e) ou connaissez un profil correspondant ? N'hésitez pas à me contacter en message privé.

Contexte de la mission Dans le cadre du renforcement d'une équipe Data au sein d'un grand groupe, nous recherchons un Data Engineer expérimenté pour intervenir sur des projets stratégiques de collecte, transformation et valorisation de la donnée dans un environnement Big Data. Le consultant évoluera au sein d'une equipe agile en collaboration avec les équipes métiers, PO/BA, architectes et développeurs. Vos missions Participer à la définition de l'architecture Data en lien avec les architectes et l'équipe projet. Analyser les besoins métiers avec les PO/BA et proposer des solutions adaptées. Concevoir et développer des pipelines Data et des traitements ETL. Développer des solutions d'ingestion, de stockage et de transformation de données provenant de multiples sources. Automatiser et orchestrer les flux de données batch et streaming. Mettre en place les tests unitaires et automatisés. Déployer les solutions sur les différents environnements. Assurer le support de production, le suivi des incidents et l'amélioration continue des performances. Contribuer à l'amélioration des bonnes pratiques de développement et de qualité de code. Environnement technique Big Data : Hadoop Cloudera Traitement de données : Spark (Batch et Streaming) Langages : SQL, xDI Bases de données SQL : Teradata, Hive, Phoenix Bases NoSQL : HBase, MongoDB DevOps & CI/CD : Git, Jenkins, Artifactory, XL Release Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Méthodologie : Agile / Scrum

Contexte : Le bénéficiaire souhaite une prestation d'accompagnement dans l'objectif de couvrir les évolutions réglementaires du dispositif big data de stress tests. Missions : Développement des moteurs de calculs réglementaires (Capital interne, IFRS9, Bâle IV, Climat...) Clarification et qualification du besoin Implémentation de la solution en Java / Spark dans l'environnement CDP, et au besoin en Java / Angular en cohérence avec l'IHM Conception et choix de la solution technique en fonction des différentes contraintes (budget, temps, performance…) Support auprès de la MOA et des utilisateurs finaux Vision de bout en bout de la prise en compte du besoin à la livraison

🚀 Opportunité – Expert Data Engineer Azure / Databricks – Level 4 Dans le cadre de l'évolution d'une Data Platform Azure au sein d'un grand groupe, nous recherchons un(e) Data Engineer Senior / Expert Azure & Databricks. 🎯 Missions : Faire évoluer un Data Lake sur Azure Concevoir et déployer un Data Lake gouverné Intégrer et mettre en œuvre Databricks Unity Catalog Définir les modèles d'accès, de gouvernance et de partage des données Mettre à disposition les données sous forme de tables Delta / Iceberg Participer à la réalisation de POC et à l'industrialisation de la plateforme 🛠 Compétences recherchées : Azure Databricks / Unity Catalog Spark Azure DevOps GitHub Java JavaScript / TypeScript Data Lake / Data Platform Gouvernance et partage de données Delta / Iceberg 👤 Profil : Data Engineer Senior / Expert – Level 4 Forte expérience sur des plateformes Data Azure Expertise Databricks et gouvernance de données Autonomie et capacité à intervenir sur des sujets d'architecture et d'industrialisation 📍 Île-de-France – Présentiel ⏳ Mission longue

🚀 Opportunité – Expert Hadoop / Cloudera CDP / Ansible (H/F)Dans le cadre du renforcement d'une plateforme Big Data stratégique d'un grand groupe bancaire, nous recherchons un Expert Hadoop / Cloudera CDP pour intervenir sur des projets d'évolution, d'industrialisation et de maintien en conditions opérationnelles d'une infrastructure critique. Vos missionsAdministrer, maintenir et optimiser des clusters Hadoop (Cloudera CDP). Assurer la disponibilité, la performance et la sécurité de la plateforme Big Data. Automatiser les déploiements, patchs et configurations avec Ansible et Terraform. Participer aux montées de version des composants Hadoop. Intervenir sur des incidents complexes et contribuer aux task forces techniques. Déployer de nouvelles fonctionnalités d'infrastructure. Collaborer avec l'éditeur et les équipes techniques internes. Produire et maintenir la documentation technique. Environnement techniqueHadoop / Cloudera CDP 7.1.x Apache Kafka Apache NiFi Spark Ansible Terraform / Terragrunt Shell scripting GitHub / AWX Profil recherchéSolide expérience d'administration de plateformes Hadoop / Cloudera. Très bonne maîtrise d'Ansible et de l'automatisation d'infrastructure. Expérience sur Kafka, NiFi et Spark. Bonne connaissance des environnements Linux et des pratiques DevOps. Capacité à intervenir sur des problématiques techniques complexes et à accompagner les évolutions d'une plateforme Big Data. Informations complémentaires📍 Localisation : Île-de-France 🏢 Mission en présentiel 📅 Démarrage : ASAP ⏳ Mission longue durée (12 mois renouvelables) 📩 Si cette opportunité vous intéresse, n'hésitez pas à me contacter en message privé ou à envoyer votre CV.

Bonjour, Nous recherchons pour notre client grand compte un Data Analyst confirmé : tests et data quality (text matching) Nous étudions - prioritairement - les candidatures qui nous sont adressées à freelance à insyco . fr avec les informations suivantes : Argumentaire écrit répondant de façon ciblée au besoin ci-dessous CV à jour en français Date de prochaine disponibilité Tarif journalier Merci d'indiquer la référence MDE/DATA/5530 dans l'objet de votre message Contexte de la prestation L'organisme de gestion collective distribue la majorité de ses droits d'auteur musicaux en fonction de la diffusion réelle des œuvres sur les plateformes de diffusion en ligne. Pour cela, il s'appuie sur un système développé en interne permettant de faire correspondre les données de déclarations d'exploitation transmises par les diffuseurs avec son référentiel d'œuvres. Ce rapprochement combine des codes internationaux de l'industrie musicale et des techniques de rapprochement texte à texte (titres, participants), dans un objectif constant d'amélioration du taux d'identification et de réduction de la marge d'erreur. L'équipe est composée d'un lead dev, de deux développeurs et d'un data analyst. Une expérience significative en analyse de données est attendue, avec l'aisance nécessaire pour appliquer des méthodologies de tests sur une application aux résultats par nature incertains. Activités principales Mesurer l'apport qualitatif des nouveaux développements Réaliser des campagnes de tests comparant deux versions du moteur d'identification et effectuer des analyses quantitatives et qualitatives des différences Analyser les remontées utilisateurs pour nourrir la roadmap produit En collaboration avec les experts métiers, comprendre leurs remontées et les analyser pour construire avec le Product Owner les évolutions de règles à opérer pour améliorer la performance Outiller les analyses Automatiser le travail d'analyse Enrichir les analyses avec des données provenant de sources internes ou externes ou via des algorithmes Liste des tâches Établir un protocole de tests permettant de mesurer l'impact des règles de rapprochement développées par l'équipe Piloter les campagnes de tests et produire une analyse quantitative des écarts permettant d'ajuster au mieux les critères de rapprochement Participer activement à l'automatisation des analyses de données pour accélérer le time to deliver Analyser les anomalies et remontées utilisateurs en collaboration avec les experts métiers Participer à la validation et à la non-régression des développements en lien avec le Product Owner et les développeurs Dans une démarche "shift-left", intervenir dès le cadrage pour aider à la rédaction des user stories à travers les critères d'acceptance et la stratégie de recette