Trouvez votre prochaine offre d’emploi ou de mission freelance Data Engineering

Une opportunité idéale pour mettre votre expertise Data Engineering au service de projets stratégiques dans un environnement bancaire exigeant et innovant. Poste : Data Engineer Lieu : Villejuif Type de contrat : CDI uniquement – Poste non ouvert aux freelances, au portage salarial ni à la sous-traitance Télétravail : 2 à 3 jours de télétravail par semaine Expérience : Expérimenté Salaire : À partir de 60K selon profil Contexte : Dans le cadre du renforcement des équipes Data d’un grand compte du secteur bancaire, nous recherchons un(e) Data Engineer expérimenté(e) afin d’intervenir sur des projets à forte volumétrie de données et à forts enjeux métier. Vous participerez à la conception, au développement et à l’optimisation des traitements data au sein d’environnements techniques complexes et distribués, en lien avec les équipes métiers et techniques. Missions : Concevoir, développer et maintenir des pipelines de traitement de données. Participer à l’industrialisation et à l’optimisation des flux de données. Développer et maintenir des traitements Big Data dans des environnements Hadoop/Spark. Réaliser des développements et optimisations SQL complexes sous Teradata. Assurer le suivi et l’automatisation des déploiements dans une démarche DEVOPS. Participer à l’analyse, au traitement et à la fiabilisation des données. Collaborer avec les équipes projets, les équipes d’exploitation et les équipes métiers. Contribuer à la résolution des incidents et à l’amélioration continue des plateformes Data. Participer aux phases de recette, de validation et de mise en production. Compétences attendues : Excellente maîtrise de SQL. Bonne connaissance des environnements Big Data : Spark, Hadoop, HDFS. Maîtrise de Python dans un contexte Data Engineering. Expérience sur Teradata. Bonne connaissance des environnements Unix. Connaissance des pratiques DEVOPS. Expérience dans un environnement bancaire appréciée. Capacité à évoluer sur des architectures data complexes et distribuées.

🎯 Okara cherche un Analytics Engineer / Data Engineer L’enjeu : Devenir le garant de l'équilibre économique chez l'un des leaders mondiaux du retail et de l'aménagement de la maison. En tant que consultant·e Okara, tu rejoins l'équipe "Finance & Performance" de notre client pour piloter la rentabilité de la structure. Ton terrain de jeu ? Une équipe de choc de qui gère le Build et le Run de produits data critiques. Un scope hybride passionnant, au carrefour du Data Engineering, de la modélisation et de la business intelligence. 🚀 Ton rôle Tu es l'architecte de la performance financière. L'enjeu actuel est double : moderniser la tuyauterie technique et traquer le moindre coût superflu pour optimiser l'infrastructure. Concrètement, tu vas : Propulser la migration (Modern Data Stack) : Participer activement au passage des flux historiques vers DBT . Tu ne te contentes pas de déplacer la donnée, tu la structures intelligemment en étoile directement dans BigQuery pour soulager la restitution. Piloter par la performance (Le défi FinOps) : Devenir le chasseur officiel de requêtes gourmandes. Ton objectif ? Atteindre une réduction des coûts cloud et DataViz en appliquant les meilleures pratiques de code Illuminer le Business (Analytics & Restitution) : Consacrer 20 à 30% de ton temps à façonner des modèles sémantiques et concevoir des dashboards Power BI fluides, performants et directement actionnables par les directions métiers. Garantir une donnée de confiance : Assurer la qualité, le nettoyage (adieu les doublons !) et la cartographie des données entrant dans le Data Lake pour faciliter le travail des Data Analysts et Data Scientists.

Dans le cadre du renforcement d’une squad Data au sein d’un programme stratégique de transformation digitale, nous recherchons un(e) Data Engineer Azure / Python pour contribuer au développement et à l’industrialisation de solutions data à forte valeur métier. Vous évoluerez dans un environnement Agile aux côtés d’équipes Data, Produit et Métier sur des problématiques de collecte, transformation, valorisation et gouvernance des données. Vos missions Conception & Développement Concevoir et développer des pipelines de données robustes et performants Participer à la mise en œuvre des traitements de transformation et d’intégration des données Garantir la qualité, la fiabilité et la maintenabilité des développements Data Platform & Cloud Contribuer à l’évolution des architectures Data sur Azure Participer à l’industrialisation des traitements et des flux Optimiser les performances et la scalabilité des solutions mises en place Collaboration & Delivery Travailler en étroite collaboration avec les équipes métiers et techniques Participer aux cérémonies Agile Contribuer aux bonnes pratiques Data Engineering et à l’amélioration continue

Almatek recherche pour l'un de ses clients, un Data Scientist senior et IA/machine Learning sur Lyon. Profil recherché : Data Science & Machine Learning • Maîtrise des techniques de ML supervisé et non supervisé • Expérience en NLP : embeddings, analyse textuelle, extraction d’entités, classification de texte • Connaissance d LLM & IA Générative • Expérience intégration LLM • Connaissance des approches RAG, prompt engineering, et fine-tuning • Capacité à travailler avec des modèles LLM fournis par un tiers (FAB IA SNCF) à travers une API standard. Plateforme Databricks & Data Engineering • Maîtrise de Databricks : Unity Catalog, Delta Lake, MLflow, Génie, notebooks et pipelines • Compétences en SQL avancé et Python • Capacité à concevoir et optimiser des pipelines de données et des workflows de traitement

Contexte de la mission Dans le cadre du développement des plateformes Data et des initiatives autour de l’IA Générative, nous recherchons un Architecte Data Snowflake / Cloud expérimenté afin d’accompagner les évolutions d’une plateforme Data stratégique à dimension internationale. Vous intégrerez une équipe d’experts IT en charge de concevoir et faire évoluer les patterns Data autour de l’écosystème Snowflake et Cloud AWS. Vos missions Vous interviendrez sur des sujets d’architecture, de gouvernance et de déploiement de solutions Data à grande échelle. Vos principales responsabilités : Concevoir les nouveaux patterns Data liés à : l’ingestion de données, la manipulation et transformation des données, la restitution des données structurées et non structurées Mettre en œuvre les solutions sur les plateformes France et internationales Accompagner les équipes IT et métiers dans le déploiement et l’adoption des solutions Snowflake Participer aux choix technologiques et à l’évolution de l’architecture Data Contribuer à l’amélioration de la gouvernance, de l’automatisation et des contrôles de la plateforme Analyser les architectures existantes et définir les évolutions nécessaires Documenter les patterns et standards afin de faciliter leur réutilisation par les différentes Business Units Accompagner les équipes dans la prise en main des solutions Data Environnement techniqueData & Cloud Snowflake AWS Terraform Kubernetes / EKS Data Engineering & IA Airflow MLFlow Jupyter DBT DevOps / CI-CD GitLab Artifactory SonarQube Langages Python SQL Shell

Dans le cadre du renforcement d’une équipe spécialisée dans les projets data à fort enjeu, nous recherchons un(e) Lead Tech orienté(e) Data Engineering / Data Science capable d’intervenir sur des environnements techniques exigeants et de contribuer à la montée en compétence des équipes. Vous évoluerez au sein d’un contexte stimulant, mêlant développement, traitement de données à grande échelle et accompagnement technique. Vos missions Au quotidien, vous serez amené(e) à : Concevoir et développer des solutions de traitement et d’analyse de données en Python Participer à la mise en place et à l’optimisation de pipelines data performants Travailler sur des architectures distribuées et des traitements volumineux via Spark et Hadoop Assurer la qualité, la maintenabilité et la performance des développements réalisés Collaborer avec les équipes techniques et métiers afin de comprendre les besoins et proposer des solutions adaptées Apporter un rôle de référent technique auprès des équipes Participer aux bonnes pratiques de développement, d’intégration continue et de déploiement Accompagner les collaborateurs sur les sujets techniques avec pédagogie et clarté Environnement technique Python Spark PostgreSQL Hadoop Git / GitLab CI/CD

Si pour vous être Tech Lead Data GCP , c’est : Piloter la conception et l’architecture de plateformes data modernes, scalables et sécurisées sur Google Cloud Platform ; Encadrer et accompagner des équipes Data Engineers dans la mise en œuvre de pipelines robustes et industrialisés ; Maîtriser l’écosystème GCP : BigQuery, Dataflow, Dataproc, Cloud Storage, Cloud Functions, Looker ; Concevoir et optimiser des traitements de données à grande échelle via Spark, Dataflow ou Dataproc ; Mettre en place des pratiques DataOps / FinOps : CI/CD, monitoring, optimisation des coûts et performance ; Travailler en étroite collaboration avec les équipes BI, Data, DevOps et métiers pour transformer les besoins en solutions concrètes ; Garantir la qualité, la gouvernance et la sécurité des plateformes data ; Apporter du leadership technique , structurer les bonnes pratiques et faire grandir les équipes… …Alors vous êtes le profil que nous recherchons ! Vous disposez d’une expertise confirmée en data engineering et architecture GCP , et vous êtes à l’aise dans des environnements exigeants, avec une forte dimension projet et delivery. Dans le cadre de missions à fort enjeu chez nos clients, vous interviendrez en tant que référent technique GCP sur des projets de transformation data. Vous serez amené(e) à : Accompagner les clients dans la modernisation de leurs plateformes data sur GCP (cadrage, architecture, gouvernance) ; Concevoir des architectures cloud data performantes et évolutives basées sur les services managés GCP ; Piloter des projets de déploiement de Modern Data Platforms (data lake, data warehouse, streaming, batch) ; Assurer la cohérence technique et la qualité des livrables , en garantissant performance, sécurité et scalabilité ; Conseiller les équipes IT et métiers sur leurs choix techniques et stratégiques ; Encadrer les équipes projet et diffuser les bonnes pratiques d’ingénierie data ; Mettre en place des modèles d’industrialisation : CI/CD, orchestration, monitoring, data quality ; Réaliser une veille active sur les innovations de l’écosystème GCP et Data Cloud .

Contexte de la consultation Dans le cadre de l’exploitation, de la sécurisation et de l’amélioration continue de sa plateforme Data, l’entreprise souhaite s’appuyer sur une expertise externe spécialisée autour des technologies Apache Spark, Apache Airflow et Starburst/Trino, déployées et opérées sur une infrastructure Kubernetes. Cette plateforme constitue un socle critique pour l’exécution de traitements de données, l’orchestration de chaînes applicatives, l’exposition de services analytiques et l’interrogation distribuée de données par les équipes métiers, projets et Data. Les enjeux principaux sont les suivants : • garantir la stabilité et la disponibilité de la plateforme ; • améliorer la qualité du support production ; • réduire les incidents récurrents ; • optimiser l’usage des ressources Kubernetes ; • accompagner les équipes métiers et techniques dans leurs usages ; • renforcer les bonnes pratiques d’exploitation, de tuning et d’industrialisation ; • améliorer la performance des traitements Spark, des DAG Airflow et des requêtes Starburst/Trino. La prestation attendue s’inscrit dans un contexte de production, avec des exigences fortes en matière de disponibilité, de maîtrise des incidents, de sécurité, de traçabilité et de performance. __________ 2. expertise technique et opérationnelle plateforme Data reposant notamment sur : • Kubernetes pour l’orchestration des composants ; • Apache Spark pour le traitement distribué de données ; • Apache Airflow pour l’orchestration des workflows ; • Starburst / Trino pour l’interrogation distribuée des données ; • les outils associés de supervision, logs, alerting, sécurité et déploiement. Le consultant interviendra en appui des équipes de production, d’infrastructure, de Data Engineering, d’architecture et des métiers afin d’assurer le maintien en conditions opérationnelles, l’analyse des incidents, l’optimisation des traitements et l’amélioration continue de la plateforme. __________ 3. Objectifs de la prestation La mission devra permettre d’atteindre les objectifs suivants : • assurer un support de niveau expert sur les incidents liés à Spark, Airflow, Starburst/Trino et Kubernetes ; • améliorer la stabilité opérationnelle des workloads Data ; • diagnostiquer et corriger les problèmes de performance, de consommation de ressources ou de fiabilité ; • accompagner les équipes projets dans la mise en production de nouveaux traitements ; • assister les métiers dans l’usage optimisé de la plateforme ; • définir et formaliser des bonnes pratiques techniques ; • optimiser le dimensionnement et l’allocation des ressources Kubernetes ; • contribuer à la réduction des coûts d’exploitation liés à une mauvaise consommation CPU, mémoire, stockage ou I/O ; • renforcer l’observabilité, le monitoring et les procédures d’exploitation ;

Vous intervenez au sein d’un programme stratégique majeur visant à optimiser les moteurs de recommandation client d’un grand groupe aérien international. Le projet « Offer Display Recommender » a pour objectif d’améliorer la personnalisation et la pertinence des offres grâce à l’adoption de technologies avancées, notamment : Apprentissage par renforcement (RL) Modèles de recommandation nouvelle génération Approches expérimentales et data‑driven Le Data Scientist senior jouera un rôle clé dans la conception, l’expérimentation, la modélisation et la mise en production des solutions. Objectifs & responsabilités Modélisation & Data Science Concevoir, entraîner et optimiser des modèles de recommandation avancés. Proposer, challenger et prioriser les solutions data à tester. Appliquer des techniques de modélisation Data Science de niveau expert. Expérimenter des approches RL, bandits, ranking models, embeddings, etc. Communication & pilotage scientifique Présenter en anglais les travaux de modélisation aux stakeholders (produit, business, tech). Challenger les orientations stratégiques du projet. Vulgariser les choix algorithmiques et leurs impacts business. Mise en production & industrialisation Contribuer à la mise en production des modèles dans un environnement Cloud (GCP). Participer à l’optimisation des pipelines ML et à la fiabilité des modèles. Collaborer avec les équipes MLOps, Data Engineering et Produit.

Nous recherchons un(e) Consultant(e) Data Platform / DataOps Senior pour intervenir au sein d’un groupe international engagé dans une transformation ambitieuse de son écosystème Data & Analytics. Au sein d’une équipe Data transverse, vous participerez à la conception, l’évolution et l’industrialisation d’une plateforme Data Cloud moderne, destinée à centraliser et valoriser les données provenant de multiples systèmes métiers. Vous contribuerez à la mise en place de solutions robustes, scalables et sécurisées permettant de répondre aux enjeux de gouvernance, d’intégration et d’exploitation de la donnée. Vos principales responsabilités seront les suivantes : Participer à l’architecture et à l’évolution de la plateforme Data ; Concevoir et industrialiser les pipelines de traitement et d’intégration de données ; Développer et optimiser les traitements de données à grande échelle sur Spark ; Mettre en œuvre les bonnes pratiques DataOps (CI/CD, automatisation, monitoring, qualité des données) ; Contribuer à l’intégration des applications et des flux de données au sein du SI ; Collaborer avec les équipes Data Engineering, Architecture, BI et Métiers ; Participer à l’amélioration continue de la performance, de la fiabilité et de la sécurité de la plateforme. Environnement technique : Azure, Databricks, Spark/PySpark, Azure Data Factory, Azure DevOps, Data Lake, CI/CD, API & intégration de données. Nous recherchons un profil disposant d’au moins 6 ans d’expérience sur des environnements Data Cloud, avec une solide expertise Azure et Spark. Une expérience des sujets d’intégration de données et des plateformes iPaaS constitue un véritable atout. Une connaissance de MuleSoft serait particulièrement appréciée. Le poste nécessite une forte capacité à évoluer dans des environnements internationaux, à dialoguer avec des interlocuteurs techniques et fonctionnels, ainsi qu’une bonne autonomie sur les problématiques de plateforme Data et d’industrialisation.

Hello, Pour le compte de l'un de mes clients dans le secteur de l'énergie, je suis à la recherche d'un lead tech orienté Python & Spark. Impératifs : Excellente maîtrise de Python (+ 5 ans) Excellente maîtrise de Spark Maitrise des bonnes pratiques techniques et capacités de leadership technique pour communiquer efficacement et avec pédagogie. Description du profil : Référent technique dans une équipe Agile. Assure la responsabilité d'un ou plusieurs processus techniques. Minimum 5 années d'expérience en développement Python, avec une spécialisation en data engineering ou data science, et une expérience en leadership technique. Compétences attendues sur le profil : - Excellente maîtrise de Python et de ses librairies pour le traitement et l'analyse de données. - Familiarité avec Spark (PySpark ou Scala) pour le traitement de grandes volumétries de données. - Expérience en développement d'API et de dashboards avec FastAPI et Dash. - Bonne connaissance des bases de données SQL, notamment PostgreSQL et Teradata. - Maîtrise des outils de versioning et d'intégration continue, notamment Git et Gitlab CI/CD. - Compétences en gestion d'équipe et en leadership technique. En tant que Lead Tech Data, vous serez responsable de : - Développement d’applications et de traitements orientés data en Python : Création et maintenance d'API, de dashboards et de pipelines pour analyser et visualiser les données. - Maintien de la qualité logicielle : Effectuer des revues de code régulières, promouvoir et diffuser les bonnes pratiques de développement au sein de l'équipe. - Appui aux projets : Fournir une aide ponctuelle et des conseils techniques aux différents projets en cours. - Cadrage technique des sujets : Participer à la définition des besoins techniques et à la planification des solutions à mettre en place. - Échanges transverses avec les autres équipes : Collaborer avec les équipes transverses pour remonter les besoins et implémenter un cadre commun de travail.

Nous recherchons un Tech Lead Data Engineer expérimenté H/F en CDI sur Lyon pour une entreprise de renommée française afin de piloter la conception et l’évolution de notre plateforme data. Vous serez référent technique sur les sujets liés au traitement de données massives, à l’industrialisation des pipelines et à l’optimisation des architectures data. Vous interviendrez dans un environnement moderne orienté Big Data et Cloud, avec une forte utilisation de Python, Spark et des outils d’automatisation CI/CD. 3 jours de Télétravail Missions principales Concevoir et développer des pipelines de données robustes et scalables Encadrer techniquement l’équipe Data Engineering Développer des traitements distribués avec Spark Assurer l’intégration et la transformation de données à grande échelle Optimiser les performances des bases PostgreSQL et des traitements Big Data Participer à l’architecture des solutions Hadoop et Data Lake Industrialiser les déploiements via GitLab CI/CD Garantir la qualité, la sécurité et la fiabilité des données Collaborer avec les équipes Data Science, DevOps et métiers Mettre en place les bonnes pratiques de développement et de gouvernance data