Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark
Votre recherche renvoie 129 résultats.
Mission freelance
Data Architect ETL, Spark, Kafka; BI, dashboards; SQL/NoSQL, Data Lake, Data Warehouse, BPMN
Inventiv IT
Publiée le
Apache Kafka
Apache Spark
Business Process Model and Notation (BPMN)
6 mois
550-630 €
Lyon, Auvergne-Rhône-Alpes
Data Architect ETL, Spark, Kafka; BI, dashboards; SQL/NoSQL, Data Lake, Data Warehouse, BPMN - Maîtrise des formalismes de modélisation (BPMN, modèles conceptuels et logiques de données) - Réalise les études de cadrage pour l’architecture Data en s’appuyant sur une expertise des technologies clés - Stockage (SQL/NoSQL, Data Lake, Data Warehouse) - Traitement (ETL, Spark, Kafka) - Restitution (BI, dashboards) - Exploration et référentiels (catalogues, gouvernance) Télétravail : 3 jours max par semaine
Mission freelance
Architecte Data - Lyon
Cherry Pick
Publiée le
Apache Kafka
Apache Spark
Architecture
6 mois
700-870 €
Lyon, Auvergne-Rhône-Alpes
Architecte Data / Cloud Senior (Expert)🎯 Contexte & Enjeux Dans le cadre de la transformation de notre client (Secteur d' Assurance) vers un Système d’Information Data Centric , nous recherchons un(e) Architecte Data / Cloud Senior capable d’accompagner la modernisation de notre infrastructure Data On-Premise et Cloud. Cette transformation stratégique vise à bâtir un SI : Agile Évolutif Résilient Orienté données Aligné avec nos enjeux long terme L’expert(e) interviendra en transverse auprès des équipes MOA, Techlead, Développeurs et DBA afin de garantir une intégration fluide des architectures Data modernes. 🎯 Objectifs de la mission Évaluer l’architecture existante et recommander les meilleures pratiques Data / Cloud Concevoir et mettre en œuvre une architecture Data Centric robuste et scalable Définir et implémenter les patterns Data (Batch, Streaming, Event-driven, Microservices data, etc.) Assurer l’intégration cohérente des environnements On-Premise et Cloud Accompagner les équipes internes (MOA, Tech, DBA) Garantir la sécurité, la gouvernance et la performance des données Assurer le transfert de compétences Produire une documentation complète (HLD, LLD, DAT, schémas d’architecture) 📦 Livrables attendus Dossier d’architecture cible (HLD/LLD) Schémas d’urbanisation Data Blueprint Data/Cloud (multi-cloud / hybrid) Recommandations techniques formalisées Plan de migration On-Premise → Cloud Documentation des pipelines Data Guide de bonnes pratiques Support aux équipes techniques Plan de gouvernance et sécurité des données 🛠 Responsabilités principales Définir l’architecture Data (Batch & Streaming) Mettre en œuvre des pipelines temps réel (Kafka, Spark Streaming, Beam) Concevoir des architectures multi-cloud (AWS, GCP, Azure, Oracle Cloud) Intégrer les solutions NoSQL (CouchDB, MongoDB) Concevoir des architectures sécurisées (Keycloak, IAM, RBAC) Superviser les choix techniques liés aux bases Oracle Accompagner l’industrialisation sous OpenShift Garantir la performance, la scalabilité et la résilience 👤 PROFIL RECHERCHÉ🎓 Formation Bac+5 (Ingénieur / Master en Informatique / Data / Cloud) Minimum 8 à 10 ans d’expérience dont plusieurs années en architecture Data
Offre d'emploi
Architecte Technique Senior - Accompagnement Projets & Transformation SI
R&S TELECOM
Publiée le
ArchiMate
Big Data
CI/CD
12 mois
40k-48k €
400-480 €
Île-de-France, France
Contexte de la mission La mission s'inscrit au sein du département Architecture d'un organisme majeur de la protection sociale. Nous recherchons un Architecte Technique Senior (15-25 ans d'expérience) pour rejoindre le pôle Accompagnement et Conformité. Le consultant aura pour responsabilité de faire évoluer l'architecture du SI pour répondre aux besoins utilisateurs tout en assurant l'interopérabilité des nouvelles solutions avec l'environnement existant. Il travaillera en étroite collaboration avec l'Architecture d'Entreprise (Urbanistes) et les équipes d'experts techniques (socles, systèmes, réseaux). Objectifs et livrables Objectifs principaux : La mission consiste principalement à accompagner les projets dans la définition de leur architecture technique en cohérence avec les politiques techniques de l'organisme. Détail des activités : Support aux projets (70% de l'activité) : Accompagner l'élaboration des Dossiers d'Architecture Technique (DAT), contribuer à l'instruction et aux revues d'architecture, et réaliser des études d'impact pour les nouvelles technologies. Démarche d'architecture et conformité : Définir des solutions techniques conformes aux standards et assurer la cohérence avec les briques de production (Gateway, Kubernetes, Middleware...). Collaboration et expertise : Valider les solutions avec les experts techniques et suivre les évolutions des socles. Transformation SI : Accompagner les transformations vers le Cloud et les projets BI / Big Data. Environnement technique : Socle applicatif : JAVA (JEE, Spring, Hibernate), API/SOA (REST, SOAP) Infrastructure & Cloud : Kubernetes, Openshift, Ansible, VMWare, Architecture Microservices. Data (Atout) : Big Data, Spark, Kafka, ELK. Bases de données : PostgreSQL, Oracle, Cassandra.
Mission freelance
Architecte IT en Banque - Finance
Mon Consultant Indépendant
Publiée le
Gestion de projet
6 mois
540-600 €
Paris, France
Pour l'un de nos clients du secteur bancaire, nous recherchons un architecte IT end-to-end (data, backend, frontend). Objectifs de la mission : Apporter de l’expertise architecture tout en étant pédagogue (vulgarisation, acculturation des équipes). IT : architecte end to end, maitrise Google Cloud Platform, Data compute (Apache spark, gestion de gros volumes de données), langages : Java et/ou .NET, conteneurisation : OpenShift / Kubernetes et outil agentique. (MANDATORY : SANS CES COMPETENCES, INUTILE DE POSTULER)
Mission freelance
Ingénieur Infrastructure Data – Cloudera / Hadoop
Deodis
Publiée le
Red Hat
1 an
450 €
Île-de-France, France
Au sein de l’équipe Data & IA, l’Ingénieur Infrastructure Data est responsable de l’administration, de l’évolution et du maintien en conditions opérationnelles des plateformes Big Data basées sur l’écosystème Cloudera CDP et des technologies Open Source. Il conçoit et met en œuvre des solutions d’ingestion, de stockage et de traitement de données (Hadoop, Ozone, Hive, Kafka, Spark, etc.), automatise les pipelines de données et veille à la qualité, la sécurité et la conformité des données, notamment au regard du RGPD. Il participe également à l’industrialisation et au déploiement de modèles de data science et de machine learning, tout en assurant le support technique aux équipes applicatives et métiers. Enfin, il contribue aux projets d’évolution des plateformes, à la migration des clusters Hadoop et à l’amélioration continue des infrastructures, en collaboration avec les équipes infrastructures, production et internationales.
Mission freelance
Data Ingineer Databriks
Nicholson SAS
Publiée le
Databricks
PySpark
Python
9 mois
Paris, France
Bonjour, Dans le cadre d’un programme stratégique autour de la data, nous recherchons plusieurs Data Engineers Databricks pour intervenir sur une plateforme à fort enjeu. 📍 Localisation : France – 100% Remote 📅 Démarrage : ASAP 📆 Fin de mission : 31/12/2026 💰 TJM (selon séniorité et localisation) Paris : Séniorité 3 : 580 € Séniorité 4 : 660 € Séniorité 5 : 740 € Province : Séniorité 3 : 520 € Séniorité 4 : 590 € Séniorité 5 : 670 € 🚀 Contexte & Missions Dans le cadre du développement d’une usine data (plateforme Databricks) , vous interviendrez pour accélérer la mise en œuvre de cas d’usage data à forte valeur ajoutée. L’objectif est de renforcer les équipes avec 6 Data Engineers (confirmés à seniors). À ce titre, vos missions seront : Développer et industrialiser des pipelines de données sur Databricks Participer à la mise en œuvre de cas d’usage data Optimiser les traitements et la performance des workflows data Contribuer à l’architecture et à l’évolution de la plateforme data Garantir la qualité, la fiabilité et la traçabilité des données 🛠️ Environnement technique Databricks (Data Intelligence Platform) Azure Databricks Apache Spark Python SQL 🎯 Profil recherché Data Engineer Databricks Expérience : à partir de 3 ans (profils confirmés à seniors) Bonne maîtrise des environnements data modernes et distribués Capacité à travailler en autonomie dans un contexte agile ✅ Compétences clés Développement de pipelines data sur Databricks Maîtrise de Spark (PySpark) Solide niveau en Python & SQL Bonne compréhension des architectures data (batch / streaming) 💡 Mission long terme avec forte visibilité.
Mission freelance
INGÉNIEUR DATA – DATABRICKS & AWS - DEMARRAGE LUNDI
LINKWAY
Publiée le
Amazon S3
AWS Cloudwatch
AWS Glue
9 mois
450-550 €
Paris, France
MISSION GLOBALE : Rattaché à la direction Data/Analytics, vous concevez, industrialisez et opérez des pipelines à l’échelle sur Databricks intégrés à l’écosystème AWS pour accélérer les cas d’usage data du secteur de l’énergie. Vous mettez en œuvre des traitements batch et streaming avec Spark , Delta Lake et Delta Live Tables , structurez des zones Bronze/Silver/Gold et garantissez qualité, sécurité et gouvernance via Unity Catalog, IAM et Lake Formation . Vous orchestrez l’ingestion depuis S3 , bases et API/IoT, optimisez coûts et performances ( FinOps ) et mettez en place CI/CD , tests et observabilité . En étroite collaboration avec les Data Scientists/Analysts, vous industrialisez des modèles et fonctionnalités MLOps avec MLflow pour des usages tels que prévision consommation/production , optimisation réseau , maintenance prédictive IoT et reporting quasi-temps réel . Vous contribuez aux standards d’ingénierie, à la documentation, au mentoring et à la fiabilité opérationnelle de la plateforme. TÂCHES ET RESPONSABILITÉS PRINCIPALES : • Concevoir, développer et opérer des pipelines sur Databricks (batch et streaming) • Modéliser les données Delta Lake et structurer les zones Bronze/Silver/Gold • Intégrer l’écosystème AWS : S3, Glue, EMR, Lambda, Step Functions, Lake Formation • Assurer qualité, sécurité et gouvernance avec Unity Catalog et IAM • Mettre en place CI/CD, tests et observabilité : optimiser coûts et performances • Orchestrer les workflows (Databricks Workflows, Airflow, Step Functions/ADF) • Industrialiser MLOps avec MLflow en lien avec les Data Scientists • Optimiser les jobs Spark (partitionnement, Z-Ordering, AQE, caching) • Gérer environnements, secrets, artefacts et conformité sécurité • Collaborer avec métiers et data teams pour cadrer et livrer les use cases énergie LIVRABLES CLÉS : • Pipelines Databricks prêts production : traitements batch/streaming robustes et monitorés • Modèle de données Delta Lake : zones Bronze/Silver/Gold documentées et versionnées • Intégrations AWS opérationnelles : S3, Glue Catalog, EMR/Lambda, Lake Formation/IAM • Cadre CI/CD et tests : pipelines de déploiement, validations data et qualité automatisées • Observabilité et FinOps : métriques, alerting, SLO et optimisation des coûts • Chaînes d’orchestration fiables : Databricks Workflows/Airflow/Step Functions prêtes • Capacités MLOps avec MLflow : traçabilité, registry modèles et déploiements contrôlés • Documentation et standards : runbooks, guides d’architecture et bonnes pratiques
Mission freelance
Data engineer GCP Google cloud platform 500 e par jour
BI SOLUTIONS
Publiée le
Docker
Google Cloud Platform (GCP)
2 ans
400-500 €
Île-de-France, France
Data engineer GCP Google cloud platform 500 e par jour Mise en œuvre de la chaîne : o d’ingestion de données, o de validation de données, o de croisement de données, o de déversement dans le datalake des données enrichies • Développer dans le respect des règles d’architecture définies • Développer et documenter les user stories avec l’assistance du Product Owner et des chefs de projets • Produire les scripts de déploiement • Prioriser les corrections des anomalies • Assister les équipes d’exploitation • Participer à la mise en œuvre de la chaîne de delivery continue • Automatiser les tests fonctionnels Connaissances techniques : • Plateforme et environnement GCP (indispensable) • Environnement GKE • Stockage : HDFS / GCS • Traitement: Maitrise de l’écosystème Spark / Kafka / Scala • Planification : Airflow / Composer • Méthodologies : Scrum, Kanban, Git • DWH : SQL, BigQuery, BigTable • Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build 500 e par jour
Mission freelance
Data Engineer GCP H/F
LOMEGARD
Publiée le
Ansible
Apache Airflow
Google Cloud Platform (GCP)
6 mois
400-480 €
Île-de-France, France
Dans le cadre d’un accroissement d’activité et afin de renforcer l’équipe Data d’un grand acteur bancaire, notre client recherche un Data Engineer GCP expérimenté. La mission s’inscrit dans un environnement Big Data / Cloud GCP en pleine transformation, avec des enjeux forts autour de l’industrialisation des pipelines, de la qualité de données et de la mise à disposition de datasets fiables pour les équipes métiers et analytiques. La mission est basée en Île-de-France (IDF) avec 2 jours de TT par semaine. Votre rôle consiste à: Mettre en place les chaînes d’ingestion, validation, croisement et enrichissement des données. Alimenter et exploiter le Data Lake GCP (GCS) et produire des agrégats (J/H/M). Développer des pipelines batch & streaming (Spark, Kafka, Scala). Industrialiser les traitements via Airflow / Composer et CI/CD. Mettre à disposition les données (API, fichiers, dashboards). Participer à la mise en production de modèles statistiques. Documenter, corriger les anomalies, assister les équipes d’exploitation. Travailler en mode Agile (Scrum/Kanban) .
Mission freelance
247533/Ingénieur DataOps Ordonnanceur (Control M) Niort
WorldWide People
Publiée le
Control-M
6 mois
320-330 €
Niort, Nouvelle-Aquitaine
Ingénieur DataOps Niort Ordonnanceur (Control M) Confirmé (***) Monitoring (Dynatrace) Élémentaire (*) ETL Powercenter / ELT DBT Élémentaire (*) SQL (Oracle, MySQL, PostgreSQL) Élémentaire (*) Hadoop (HDFS, Spark) Élémentaire (*) Google Cloud Platform (Big Query) Avancé (**) Déploiement continu (Gitlab, Openshift, CICD, Terraform) Avancé (**) Scripts (shell, ksh) Élémentaire (*) Python Élémentaire (*) Certification Agile / DevOps Avancé (**) Jira, Confluence, Easyvista, Google Workspace Élémentaire (*) Certification ITIL Élémentaire (*) Légende : Élémentaire (*), Avancé (**), Confirmé (***), Expert (****) Le Data Office de mon client définit les orientations stratégiques dans le domaine de la donnée et assure l'homogénéité et la performance de l'écosystème Data. L'équipe Data OPS de Services Delivery Data est responsable de l'unification des pratiques d'exploitation, du déploiement continu (Gitlab Cloud & On-Prem) et de l'industrialisation des usages. Des compétences d'autonomie, de force de proposition tout en ayant une bonne connaissance des contraintes de production sont indispensables. Le candidat doit avoir une posture d'amélioration continue. Le poste d'Ingénieur DataOps a pour objectif de garantir la disponibilité, la stabilité et la fiabilité des environnements de la plateforme data. Son rôle se concentre sur l'exploitabilité, l'industrialisation et l'automatisation des services. Les missions principales consistent à : ● Assurer la disponibilité et la stabilité des environnements (Test, Prod). ● Exécuter et superviser l’installation (déploiement, bon démarrage). ● Automatiser les déploiements et les pipelines (CI/CD) dans un but de fluidifier et de fiabiliser la réalisation. ● Collaborer à la mise en place de la supervision incluant la documentation des dépendances. ● Analyser, résoudre les incidents et suivre les plans de remédiation. ● Participer à la définition des Exigences Non Fonctionnelles (sécurité, performance, scalabilité) et s'assurer de leur implémentation en projet et en production. ● Garantir la conformité et la qualité des livrables (tests, documentation) et anticiper les risques. Compétence Niveau Souhaité Ordonnanceur (Control M) Confirmé (***) Monitoring (Dynatrace) Élémentaire (*) ETL Powercenter / ELT DBT Élémentaire (*) SQL (Oracle, MySQL, PostgreSQL) Élémentaire (*) Hadoop (HDFS, Spark) Élémentaire (*) Google Cloud Platform (Big Query) Avancé (**) Déploiement continu (Gitlab, Openshift, CICD, Terraform) Avancé (**) Scripts (shell, ksh) Élémentaire (*) Python Élémentaire (*) Certification Agile / DevOps Avancé (**) Jira, Confluence, Easyvista, Google Workspace Élémentaire (*) Certification ITIL Élémentaire (*) Légende : Élémentaire (*), Avancé (**), Confirmé (***), Expert (****
Offre d'emploi
Techlead Data Engineer | AWS | Databricks | Big Data
Hexateam
Publiée le
AWS Cloud
Databricks
Python
36 mois
Île-de-France, France
Contexte Dans le cadre de la mise en place et de l’évolution d’une plateforme DATA centralisée, nous renforcons son équipe avec un Data Ingénieur confirmé. Cette plateforme permet l’intégration, la mise en qualité et la mise à disposition de données brutes ou retravaillées issues de différents producteurs, afin de répondre à des besoins métiers opérationnels et analytiques à grande échelle. Rôle et responsabilités Développement et ingestion de données Concevoir, développer et optimiser des jobs d’ingestion et de transformation de données en Python et Spark sur Databricks , avec gestion de gros volumes. Mettre en place et maintenir des flux de données entre sources externes (ex. bases Oracle) et Delta Lake sur AWS S3 . Orchestration et supervision Créer et orchestrer des workflows avec AWS Airflow et automatiser les traitements. Mettre en place des mécanismes de contrôle qualité et de validation des données pour garantir cohérence et fiabilité. Développer des jobs de monitoring pour détecter et corriger automatiquement les anomalies. Maintien en condition opérationnelle Assurer la disponibilité et la performance des jobs en production. Analyser et corriger les incidents et anomalies détectées. Contribution stratégique Participer aux ateliers de conception technique et fonctionnelle. Promouvoir les bonnes pratiques de développement et d’optimisation Big Data. Documenter les processus, architectures et scripts. Compétences techniques requises MUST : Python Spark Databricks SQL SHOULD : AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM) COULD : Big Data (gestion et traitement de très gros volumes de données) WOULD : Git Méthodologies et outils : CI/CD avec GitLab JIRA / Confluence Méthodologie agile Scrum
Offre d'emploi
Ingénieur Infrastructure H/F
Le Groupe SYD
Publiée le
Ansible
Bash
ClickHouse
45k-55k €
Paris, France
🌟 Quel sera ton poste ? 🌟 💼 Poste : Ingénieur Infrastructure H/F 📍 Lieu : Paris (75) 🏠 Télétravail : 3 jours sur site par semaine 📝 Contrat : CDI 👉 Contexte client : Tu rejoins un acteur majeur du secteur financier , engagé dans la modernisation, la sécurisation et l’industrialisation de ses plateformes Data à grande échelle. En tant qu’ Ingénieur Infrastructure tu interviens sur le maintien en conditions opérationnelles, l’évolution technologique et la performance d’environnements Data complexes (CDP 7.1.x, Hadoop, stockage distribué, ingestion API…). 🎯 Tu auras pour missions de : Tu auras pour missions de : Recueillir les besoins métiers. Développer l’ingestion (API) et concevoir les stockages (Ozone, Hadoop…). Automatiser les traitements (batchs/pipelines). Nettoyer, transformer et structurer les données. Documenter les bases et garantir la conformité RGPD. Assurer la maintenance corrective/évolutive. Déployer et industrialiser les modèles ML. Assurer validation, monitoring et robustesse. Participer au design, à l’installation et à la qualification des plateformes. Contribuer à l’industrialisation continue. Support aux équipes métiers/applicatives/infra. Communication régulière au chef de projet. Astreintes + interventions HNO. Amplitude équipe : 8h–19h. 🧰 Stack technique : Cloudera CDP 7.1.x : HBase, Hive, Kafka, Solr, Knox, Spark, Ranger, Zookeeper, Kerberos, LDAP Systèmes : RedHat 8, RedHat 9 Langages & DevOps : Python, Bash, Java, Maven, Gradle, Ansible, DevOps Stockage & Data : Ozone, Hadoop, Druid, Clickhouse Traitement & orchestration : Airflow, Flink, Trino, Starburst Containers : Openshift, Kubernetes (K8s), Cloudera Data Services Autres : écosystème Apache, automatisation, migration clusters Hadoop
Mission freelance
Développeur Infrastructure / DevOps – Plateforme Data (H/F)
Pickmeup
Publiée le
Azure
Kubernetes
Terraform
2 ans
500-600 €
75015, Paris, Île-de-France
🏢 Contexte Au sein d’une organisation publique innovante spécialisée dans la gestion et la valorisation de données à grande échelle , vous rejoignez la direction technique en charge de la conception, de l’implémentation et de la maintenance d’une plateforme Data sécurisée. Vous intégrerez une équipe technique dédiée à l’infrastructure, évoluant dans un environnement agile et collaboratif, en interaction avec des profils Data, Produit et Ops. La plateforme repose sur des technologies cloud modernes et des pratiques d’ Infrastructure as Code dans un contexte exigeant en matière de sécurité. 🚀 Missions En tant que Développeur Infrastructure / DevOps, vous interviendrez sur : 🔧 Développement & automatisation Développement et maintenance de l’infrastructure as code Automatisation des déploiements cloud à grande échelle Intégration de composants techniques au sein d’environnements Kubernetes ⚙️ Plateforme & performance Déploiement et maintenance de composants applicatifs et techniques Contribution à la stabilité, performance et évolutivité de la plateforme Collaboration avec les équipes Data pour répondre aux besoins métiers 🔐 Sécurité & bonnes pratiques Application des standards de sécurité et conformité Participation aux évolutions d’architecture Veille technologique et amélioration continue 📚 Documentation & collaboration Rédaction et mise à jour de la documentation technique Participation aux échanges techniques et partage de bonnes pratiques 🛠️ Environnement technique Cloud : Azure Infrastructure as Code : Terraform, Terragrunt, Packer, Ansible Conteneurisation : Kubernetes, Docker, Helm Scripting : Bash, Python Outils : Git, CI/CD, GitLab Data tools : Jupyter, Spark, PostgreSQL
Mission freelance
POT9036 - Un Data ingénieur sur Massy
Almatek
Publiée le
SQL
6 mois
360-470 €
Île-de-France, France
Almatek recherche pour l'un de ses clients ,Un Data ingénieur sur Massy. Taches: Participation à la définition des solutions applicatives Développement, Intégration et Recette technique Surveiller et améliorer l'efficacité des processus Tenir à jour la documentation des systèmes et des processus. Contexte : Nous recherchons un/une Data Engineer expérimenté(e) pour contribuer à la réalisation des projets de la Squad Usages Data Avancé & IA: Conception et Maintenance de l'applicative Amélioration continue des produits / solutions de la squad Construction nouveaux usages Attendu: Construire et maintenir des pipelines ETL/ELT pour données structurées et non-structurées Mettre en oeuvre des chaines d'intégration, de déploiement et de suivi des solutions en production (DataOps). Préparer des datasets utilisés pour de l'exploration de données Développer et favorise l’industrialisation de modèles statistiques ou de machine learning Versionner données/modèles/code et monitorer performance/coûts Collaborer avec les équipiers de la squad et documenter vos travaux Compétences Humaines: Une bonne autonomie et capacité d'adaptation à des projets innovants et rythmés Sens du travail en équipe bonne communication et accompagnement utilisateurs Compétences Techniques: Langages : Python (FastAPI, Pyspark), SQL Qualité de code : Pytest, SonarQube MLOps/CI-CD : Docker, Kubernetes, GitHub/GitLab Actions Data & DB : PostgreSQL, Teradata, MySQL Observabilité : Stack ELK, Prometheus/Grafana, MLflow Plus si compétence en Big Data/Streaming : Spark, Kafka Experience 4 à 7 ans. Date de debut souhaitée :30 Mars 2026, mission longue
Offre d'emploi
Data Engineer Banque(F/H)
CELAD
Publiée le
45k-50k €
Paris, France
Contexte Dans le cadre du développement d’une Squad Usages Data Avancés & IA , nous recherchons un(e) Data Engineer confirmé(e) pour contribuer à la conception, l’industrialisation et l’amélioration continue de solutions data à forte valeur ajoutée. Vous évoluerez dans un environnement orienté DataOps , MLOps et industrialisation de solutions analytiques, au sein d’une équipe pluridisciplinaire (Data Scientists, DevOps, Product Owner…). La squad intervient sur : La conception et la maintenance d’applications data L’amélioration continue des produits existants La construction de nouveaux usages Data & IA Vos missions Conception & Architecture Participer à la définition des solutions applicatives data Contribuer aux choix d’architecture (batch, streaming, microservices data) Concevoir des pipelines robustes, scalables et performants Développement & Intégration Construire et maintenir des pipelines ETL / ELT (données structurées et non structurées) Développer des traitements en Python (PySpark, FastAPI) et SQL Intégrer des flux temps réel via Kafka / Spark Réaliser les phases d’intégration et de recette technique Industrialisation – DataOps / MLOps Mettre en œuvre des chaînes CI/CD et de déploiement (Docker, Kubernetes, GitHub/GitLab Actions) Industrialiser des modèles statistiques ou de Machine Learning Versionner données, modèles et code Monitorer la performance, la qualité et les coûts des traitements Assurer l’observabilité des solutions (ELK, Prometheus/Grafana, MLflow) Qualité & Amélioration Continue Mettre en place des tests automatisés (Pytest) Maintenir un haut niveau de qualité de code (SonarQube) Améliorer l’efficacité des processus Maintenir une documentation claire et à jour Collaboration Travailler en étroite collaboration avec les membres de la squad Préparer des datasets pour l’exploration et l’analyse Accompagner les utilisateurs dans la prise en main des solutions Docker Kubernetes GitHub Actions ou GitLab CI Compétences techniques requises Langages & Frameworks: Python (PySpark, FastAPI), SQL Big Data & Streaming: Apache Spark, Apache Kafka Bases de données: PostgreSQL, Teradata, MySQL MLOps / CI-CD / Conteneurisation: Docker, Kubernetes, GitHub Actions ou GitLab CI Qualité & Observabilité: Pytest, SonarQube, Stack ELK, Prometheus / Grafana, MLflow
Mission freelance
Senior Data Engineer AWS
Celexio
Publiée le
PySpark
Python
Terraform
3 mois
400-550 €
Paris, France
Nous recherchons un Lead Data Engineer chevronné pour rejoindre un acteur majeur de la Tech Parisienne. Au sein d'une équipe dynamique, votre mission sera de piloter l'acquisition de données à grande échelle et d'orchestrer une migration technologique stratégique. Votre Mission En tant que garant technique de l'acquisition de données, vous intervenez sur l'ensemble de la chaîne de valeur, du cleaning à l'enrichissement. Vos responsabilités principales incluent : Architecture & Design : Concevoir et refondre des pipelines de données robustes dans le cadre d'une migration majeure de GCP vers AWS. Ingestion Massive : Gérer l'ingestion de types de données variés (Listing, etc.) et assurer leur qualité. Optimisation : Assurer le nettoyage et l'enrichissement des données pour les rendre exploitables par les équipes consommatrices. Snowflake : Exposer les données de manière optimale. Compétences Techniques Requises Cloud : Maîtrise avancée de l'écosystème AWS (tous services) et idéalement une expérience de migration depuis GCP. Data Processing : Expertise sur Spark / PySpark pour le traitement de données volumineuses. Infrastructure : Solides compétences en Terraform (IaC). Langages : Maîtrise de Python. Data : Connaissance de Snowflake pour la partie consommation.
Déposez votre CV
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Derniers posts sur le forum
129 résultats
Contrats
Lieu
Télétravail
Taux Journalier Moyen min.
150 €
1300 € et +
Salaire brut annuel min.
20k €
250k €
Durée
0
mois
48
mois