Trouvez votre prochaine offre d’emploi ou de mission freelance Data Engineering

Dans le cadre du développement de nos activités Data & Intelligence Artificielle, nous recherchons un(e) Ingénieur Data / IA afin de participer à la conception, au développement et à l’industrialisation de solutions data innovantes. Missions principales Développer et maintenir des pipelines de traitement de données Participer à la conception et à l’industrialisation des solutions Data & IA Concevoir et optimiser les flux d’ingestion, transformation et exploitation des données Collaborer avec les équipes Data, métiers et techniques sur les projets IA Développer et déployer des modèles de Machine Learning et d’IA générative Mettre en place les bonnes pratiques de qualité, monitoring et automatisation Participer à l’amélioration continue des plateformes Data Industrialiser les traitements et automatiser les workflows Assurer la fiabilité, la performance et la sécurité des traitements de données Contribuer à la documentation et au partage des bonnes pratiques Participer aux phases de tests, validation et mise en production Environnement technique Plateformes Data Cloud Pipelines ETL / ELT Outils d’orchestration & automatisation Environnements IA & Machine Learning Architecture Data moderne & scalable Méthodologies Agile & DevOps

Dans le cadre d’une prestation de Data Engineering , vous interviendrez sur site client à Nantes au sein d’une équipe projet data. Vous participerez activement au développement et à l’industrialisation de traitements data à forte volumétrie. Vos principales missions seront : Développer des pipelines data en Scala sous Spark . Assurer les développements jusqu’à la mise en production. Garantir le support de niveau 3 sur les environnements de production. Superviser et optimiser les traitements batch. Être force de proposition sur les choix techniques et les optimisations. Rédiger et maintenir la documentation technique. Stack technique : Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, GitLab. Conditions : Prestation sur site client à Nantes. 4 jours de télétravail par semaine .

Data Engineer Teradata, bases Hive, Phoenix, HDFS, API Springboot VANNES Profil : • Expertise Forte sur ces technos avec une très bonne communication avec une expérience significative sur les technologies Cloudera. • La mission se déroule sur le site de Vannes et nécessitera d’être présent à minima 3 jours par semaine sur le site (dont les Mardi et Jeudi) Prestation : • Assure le développement et l’intégration des évolutions sur le périmètre des solutions de la Squad • Prépare, réalise la mise en production avec les équipes expertes; assure le SAV • Gère et maintient la documentation fonctionnelle et technique • Contribue à l’assistance à l’utilisation des solutions • Contribue aux séances d'affinage technique en phase de conception • Réalise une veille technologique régulière pour être au fait des dernières tendances • Contribue à alimenter le contenu du backlog pour prévoir les développements futurs • Analyse du patrimoine existant Le besoin est d'accompagner la squad dans un contexte de développement et de maintenance de solutions Data (Teradata, bases Hive, Phoenix, HDFS) et d'API Springboot. Profil : • Expertise Forte sur ces technos avec une très bonne communication avec une expérience significative sur les technologies Cloudera. • La mission se déroule sur le site de Vannes et nécessitera d’être présent à minima 3 jours par semaine sur le site (dont les Mardi et Jeudi)

Nous recherchons un Data Engineer Expert pour intervenir au sein de l’entité Intelligence Artificielle (IA) et robotisation (RPA), d'un grand groupe du secteur des assurances. 🎯 Contexte de la mission : L’entité Intelligence Artificielle a pour objectif d’apporter de la valeur aux clients et collaborateurs via des services efficaces et responsables. Ses domaines d’intervention : Data Engineering Machine Learning Deep Learning Conversationnel / Chatbot Assistant virtuel Analyse multimédia et multicanaux (voix, vidéo, langage naturel…) 🎯 Objectifs de la mission : Développement Data CAS (Contrôle d’Activités Sinistre) Migration Cloud

Vous rejoignez une équipe data/BI en charge de la mise en place et de l’évolution de l’architecture décisionnelle : datawarehouse, datamarts, traitements de données et reporting métier. Missions : - Analyser les besoins fonctionnels et techniques des métiers - Localiser et qualifier les données nécessaires - Concevoir, modéliser et enrichir les datawarehouses et datamarts - Développer les processus d’intégration de données (ETL / pipelines Big Data) - Traiter et nettoyer les données, garantir leur qualité - Participer à la migration vers le cloud, (Databricks ) - Développer et optimiser des traitements Spark - Produire des rapports et tableaux de bord lisibles pour les métiers - Accompagner et former les utilisateurs dans l’exploitation des données et des rapports - Tester, documenter, déployer et maintenir les livrables en conditions opérationnelles - Participer aux revues de code et à l’amélioration continue de l’architecture décisionnelle Stack & environnement technique : - Big Data : Spark (essentiel), Hive, Indexima - Cloud / Data Platform : Databricks (fort enjeu de migration) - Stockage : Oracle, CEPH S3 (parquet) - Langages : SQL, Python, PL/SQL, Shell, Java (plus apprécié mais pas obligatoire) - ETL : Informatica - Dataviz : Tableau Server - CI/CD & outillage : Git, Jenkins, Ansible, Terraform - Ordonnancement : Control-M -Méthodologie : environnement agile Profil recherché : - Minimum 5 ans d’expérience sur des fonctions BI / Data Engineer / Ingénieur Décisionnel - Très bonne maîtrise de SQL - Solide expérience en modélisation d’entrepôts de données (DWH, datamarts) - Compétences avérées en traitement et nettoyage de données - Maîtrise de Spark indispensable - Expérience en accompagnement métier : ateliers, recueil de besoins, formation, support - Bon niveau de développement (Spark, SQL, idéalement Python et/ou Java en plus) Soft skills : - Autonomie, rigueur, sens de la qualité - Esprit d’équipe, bonnes capacités de communication - Curiosité, envie de comprendre le métier et les usages data - Capacité d’analyse et de synthèse - Force de proposition sur les solutions techniques et décisionnelles

🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 💡 Contexte /Objectifs : 💡Objectif global : Expert kafka 💡Description détaillée Le contexte de la mission : Dans le cadre de l'équipe Data Analytic , nous créons et maintenons des architectures Big Data pour les besoins internes de l’entreprise. Pour renforcer notre équipe support, nous proposons une mission de DATA ENGINEERING sur KAFKA 💡Principales technologies utilisées : • Kafka => IMPERATIF • Open Search • Elastic Stack (Elasticsearch / Logstash / Kibana / Beats) L'équipe mettant en avant une approche d'automation, les technologies suivantes sont notamment couramment utilisées • Ansible • Git/Bitbucket • Développement Python et REST APIs

Concevoir, développer et maintenir les pipelines de données, les modèles analytiques et les tableaux de bord décisionnels afin de garantir une donnée fiable, exploitable et performante pour les équipes métiers. ResponsabilitésData Engineering Concevoir et maintenir les pipelines ETL/ELT. Intégrer des données depuis différentes sources (API, bases SQL, ERP, CRM, fichiers, cloud). Optimiser les traitements de données et la performance des flux. Assurer la qualité, la fiabilité et la gouvernance des données. Mettre en place des tests, monitoring et alertes sur les pipelines. Participer à l’architecture data et aux choix techniques. dbt (Data Build Tool) Développer et maintenir les modèles dbt. Structurer les couches Bronze / Silver / Gold. Créer des tests de qualité et documentation dbt. Gérer les dépendances et transformations SQL. Industrialiser les déploiements CI/CD dbt. Power BI Concevoir des dashboards et rapports interactifs. Créer des modèles de données optimisés. Développer des mesures DAX avancées. Mettre en place la sécurité des accès (RLS). Optimiser les performances des rapports Power BI. Collaborer avec les métiers pour comprendre les besoins analytiques. Compétences techniques requisesObligatoires SQL avancé Power BI (Power Query, DAX, Modélisation) dbt Python ou autre langage scripting Data Warehouse (Snowflake, BigQuery, Redshift, Synapse…) Git / GitLab / GitHub ETL / ELT Modélisation de données Appréciées Airflow / Dagster Azure Data Factory / Microsoft Fabric Docker CI/CD Cloud AWS / Azure / GCP Méthodologies Agile

Contexte Le Cluster lance l'étude d'un potentiel nouveau Data Lake afin de remplacer l’infrastructure legacy par une plateforme moderne, scalable et pleinement gouvernée. Le nouveau lake s’appuiera sur une architecture Medallion et intégrera les technologies suivantes : TrinoDB, Apache Iceberg, Parquet, dbt, Argo Workflows, Apache Superset, Metabase et OpenMetadata . Missions Analyse de l’existant & migration Cartographier les sources, pipelines et jeux de données actuels (legacy, SQL, fichiers plats...). Définition de la stratégie de migration vers le nouveau lake (bronze -> silver -> gold). Conception des plans de bascule tout en minimisant les interruptions de service. Architecture & ingestion Conception des couches Bronze / Silver / Gold du nouveau Data Lake avec TrinoDB, Apache Iceberg et Parquet. Création de pipelines d’ingestion (batch & near-real-time) depuis les systèmes de crédit. Modélisation & transformation Développement des modèles de transformation dans dbt : scripts SQL, tests automatisés, documentation et versionning. Harmonisation des schémas (normes de nommage, typage, PK/UK) avec les exigences du domaine crédit. Orchestration Implémentation des workflows de migration et de rafraîchissement des données avec Argo Workflows (planification, gestion des dépendances, monitoring). Self-service & visualisation Déploiement des espaces de travail Apache Superset et Metabase pour que les analystes métier puissent créer leurs propres dashboards à partir du nouveau lake. Rédaction des guides d’utilisation et accompagnement de la montée en compétence des équipes. Gouvernance, catalogue & lineage Intégration OpenMetadata pour le catalogage automatique, le suivi du lineage et la gestion des métadonnées (description, propriétaire, sensibilité). Mise en place des processus de data ownership, de versionning et de validation. Qualité & validation Implémentation, dans les modèles dbt, des tests de qualité (not-null, unicité, règles métiers spécifiques au crédit). Mise en place des indicateurs de suivi (freshness, complétude, anomalies) et des alertes automatiques. Sécurité & conformité Application des standards de sécurité du groupe (RBAC, data-masking). Contribution aux audits internes et aux revues de conformité réglementaire. Collaboration inter-équipes Travail en étroite coordination avec les équipes métiers. Participation aux cérémonies projets et aux ateliers de design.

Contexte : La mission se déroulera en collaboration avec les autres équipes de la Data, au cœur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs. Notre stack technique est principalement constituée de Python, Spark, SQL pour les traitements de données, Airflow pour l’orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l’infrastructure. MISSIONS : 1. Collecter et centraliser les différentes sources de données non homogènes 2. Assurer la conformité et la sécurité des données 3. Participer aux initiatives de gouvernance des données En interaction avec les membres de l’équipe, la prestation consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir de pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Profil & Expertises demandées : • Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data • Compétences solides en data : structures de données, code, architecture • Expériences dans la conception et la réalisation de pipelines data • Expériences dans un environnement du cloud Google (GCP) • Expériences intégrant BigQuery et Dataplex Universal Catalog • Expériences intégrant les langages Python et SQL • Expériences intégrant Spark • Expériences intégrant delta lake • Expériences intégrant Terraform et Terragrunt • Expériences intégrant Gitlab et Gitlab CI/CD • Expériences intégrant les méthodologies Agile : Scrum ou Kanban • Capacité à vulgariser et à communiquer sur des aspects purement techniques Niveau d’expertise attendu : Sénior : plus de 5 ans d’expérience significative dans le type d’expertise demandé dans le type d’expertise demandé

Lead Data Engineer / Lead Data Platform (H/F)Votre mission En tant que Lead Data, vous êtes responsable de la conception, de la fiabilité et de l’industrialisation de la plateforme data dans un environnement assurantiel fortement réglementé. Vous combinez un rôle de : référent technique, architecte data, lead d’équipe, garant de la qualité et de la sécurité des données. Vos responsabilitésLeadership & coordination Encadrer et accompagner une équipe de Data Engineers Définir les bonnes pratiques : qualité des données, documentation, monitoring, versioning Garantir la cohérence des choix techniques avec les équipes DevOps et Architecture Collaborer avec les équipes métiers (finance, actuariat, sinistres, marketing) Data Engineering Concevoir et maintenir des pipelines de données robustes et scalables Orchestrer les flux avec Apache Airflow Modéliser les données (schémas étoile / flocon) Garantir la performance, la sécurité et la traçabilité des données Industrialisation & DataOps Mettre en place les pratiques CI/CD pour les projets data Automatiser les tests et déploiements Superviser les traitements et gérer les incidents de production Travailler avec les équipes DevOps sur les environnements et la sécurité Profil recherché Formation supérieure en informatique ou data 7 à 10 ans d’expérience en Data Engineering Expérience significative en rôle de lead technique Une expérience en assurance, banque ou finance est appréciée Compétences indispensables SQL avancé Python Apache Airflow Git & CI/CD (GitLab CI, GitHub Actions, Jenkins…) Modélisation de données décisionnelles Bonne culture DataOps / industrialisation Compétences appréciées Spark / Databricks dbt Docker / Terraform Outils de data quality et observabilité Connaissance RGPD et données sensibles Soft skills Leadership et pédagogie Excellente communication Vision globale et sens des priorités Autonomie et rigueur Capacité à travailler avec des interlocuteurs techniques et métiers

Intégré(e) dans les équipes Plateforme Data le/la consultant(e) aura pour mission de concevoir, développer et maintenir des solutions de traitement de données à grande échelle, en utilisant des technologies telles que BigQuery, BigTable, Apache Kafka et Apache Spark. Mais aussi contribuer à des projets Data en apportant son expertise sur les tâches suivantes : montée en compétence sur l'ETL BigL, participation à la réalisation de projets métier dans le cadre de la solution offline ELT in-House Big Loader et BDI/DBT,[Saut de retour à la ligne]Le/la consultant(e) travaillera en étroite collaboration avec les équipes de développement et de production afin de garantir la qualité et la performance des solutions mises en place.[Saut de retour à la ligne] Livrables : Accompagner techniquement les autres membres de l'équipe (juniors) Active participation aux choix d'architecture technique Livrer les composants

Intégré(e) dans les équipes Plateforme Data le/la consultant(e) aura pour mission de concevoir, développer et maintenir des solutions de traitement de données à grande échelle, en utilisant des technologies telles que BigQuery, BigTable, Apache Kafka et Apache Spark. Mais aussi contribuer à des projets Data en apportant son expertise sur les tâches suivantes : montée en compétence sur l'ETL BigL, participation à la réalisation de projets métier dans le cadre de la solution offline ELT in-House Big Loader et BDI/DBT, Le/la consultant(e) travaillera en étroite collaboration avec les équipes de développement et de production afin de garantir la qualité et la performance des solutions mises en place. Livrables : ● Accompagner techniquement les autres membres de l'équipe (juniors) ● Active participation aux choix d'architecture technique Livrer les composants

Envie d’un nouveau challenge... CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un.e Data Analyst / BI Engineer Risque de Crédit pour intervenir chez un de nos clients du secteur bancaire. 💻💼 Voici un aperçu détaillé de vos missions 🎯 : - Participer à la mise en place d’un socle de données dédié à la surveillance du risque de crédit - Concevoir et développer les flux d’ingestion, d’agrégation et d’exposition des données - Produire et maintenir les reportings et tableaux de bord Power BI à destination des métiers - Contribuer aux travaux de modélisation et transformation des données - Garantir la qualité, la cohérence et la performance des traitements de données - Collaborer avec les équipes IT, Data et Métiers dans un environnement Agile - Participer aux phases de recette, d’analyse et de support autour des sujets Data & Reporting

Le poste consiste à intervenir en tant qu’expert senior en Data Engineering spécialisé en IA/ML au sein d’un environnement Big Data et cloud à forte volumétrie. La mission porte sur l’optimisation, l’industrialisation et la montée en charge de plateformes Data et IA utilisant notamment Spark, Kubernetes, Dagster et Trino. Le profil recherché doit être capable d’améliorer les performances des pipelines de données, structurer les pratiques techniques, accompagner les équipes Data Science et développement, mettre en place des solutions de monitoring et de scalabilité, ainsi que participer à des projets d’innovation autour des architectures Data/IA et des outils MLOps.

Dans le cadre d’une expérimentation, l’objectif est d’évaluer la pertinence d’un outil de datavisualisation (Looker Core) au travers de plusieurs cas d’usage métiers. Cette étude vise à mesurer la capacité de l’outil à répondre à différents enjeux : Autonomie des métiers sur les analyses ad hoc Intégration de capacités d’analytics avancé et conversationnel (IA) Remplacement potentiel d’outils existants de datavisualisation Intégration dans un environnement Data orienté Cloud La mission sera réalisée en collaboration avec : Un architecte (à temps partiel) Des équipes IT (Ops, architectes, etc.) Des équipes métiers Des équipes internationales (notamment aux Pays-Bas) Objectifs de la mission Le consultant interviendra sur : L’accompagnement des Proof of Concepts (POCs) autour de Looker Core Le support des équipes métiers dans la conception et le développement de leurs cas d’usage La formation et montée en compétence des utilisateurs L’apport d’une expertise technique et d’architecture autour de l’outil Responsabilités principales Développer et structurer des cas d’usage sur Looker Core Construire et maintenir des couches sémantiques avec LookML Accompagner les équipes métiers dans l’utilisation de la solution Assurer un rôle de conseil sur : L’architecture technique La sécurité des données (RLS / CLS) L’optimisation des coûts (FinOps) Participer à l’administration de la plateforme : Gestion des accès Organisation des espaces Collaborer étroitement avec les équipes IT et data Contribuer aux échanges internationaux (anglais requis)

Nous recherchons un profil Data / Full Stack sur la plateforme Foundry de Palantir, pour mettre en place de nouveaux dispositifs data‑centrés visant à répondre aux enjeux réglementaires LCB‑FT (Lutte contre le Blanchiment des Capitaux et le Financement du Terrorisme). Mise en œuvre d’applications d’investigation et traitement d’alertes dans une équipe de développement en montée en compétence sur une plateforme Foundry de chez Palantir. Comprendre rapidement l’écosystème Foundry existant Reprendre un existant, rétro-ingénierie, corrections, améliorations Maintenir et faire évoluer les pipelines de données Pipelines ETL / data workflows Développer ou adapter des workshops Foundry Applications et écrans métier complexes orientés analystes (investigation, suivi des alertes, reporting Assurer la fiabilité, la lisibilité et la maintenabilité des traitements Collaborer étroitement avec les équipes data et métier assurance Assurer avec l’équipe le suivi Run/MCO