Trouvez votre prochaine mission ou futur job IT.

Projet Développement et industrialisation d'une plateforme Data sur GCP permettant l'ingestion, la transformation et la mise à disposition de données pour des outils de recherche et d'analyse métier,. Activités - Concevoir et maintenir les pipelines d'ingestion de données publiques et internes. - Développer et industrialiser les traitements et transformations de données avec SQL, Python et dbt. - Mettre en place et maintenir les workflows d'orchestration avec Argo Workflows / Airflow. - Stocker, structurer et exposer les données via BigQuery et GCS, puis assurer leur connexion aux outils d'analyse métier. - Déployer et maintenir les composants Data sur GCP, notamment via Cloud Run, et gérer les droits d'accès avec IAM. - Industrialiser l'infrastructure avec Terraform et contribuer aux chaînes CI/CD GitLab. - Participer au monitoring, à la gouvernance et à la qualité des données ainsi qu'à l'amélioration de l'expérience utilisateur des outils internes.

CAPEST-Conseils recrute pour l'un de ses clients, acteur reconnu du secteur de la logistique, un Data Engineer Cloud pour rejoindre son Pôle Data. Le contexte Notre client construit et industrialise sa data platform sur Google Cloud Platform. Au sein de la DSI, vous concevez et faites vivre les pipelines qui l'alimentent, au service des équipes BI et des métiers opérationnels. Vos missions Concevoir les flux ETL / ELT et développer les pipelines data sur GCP Orchestrer les workflows sous Apache Airflow Transformer et modéliser les données avec dbt pour les usages BI et analytiques Mettre en place et maintenir la CI/CD data, versionner le code via Git Garantir la qualité, la performance et la fiabilité des données, superviser les pipelines et traiter les incidents Documenter les pipelines et collaborer avec l'Expert Power BI, le Pôle Data et les métiers

Notre client dans le secteur Agroalimentaire recherche un/une Data Engineer H/F Description de la mission : Pour renforcer son équipe en charge des sujets IA notre client recherche un freelance Data Engineer dans l'environnement GCP. Amont d'étude et structuration des données Cadrer les besoins métiers et les traduire en spécifications techniques data. Analyser et cartographier les sources de données (dont le legacy Teradata), concevoir les modèles de données et définir les règles de transformation et de qualité. Industrialisation Développer, déployer et maintenir les pipelines d'ingestion et de transformation vers le socle GCP / BigQuery. Industrialiser les solutions issues des POC : passage à l'échelle, optimisation des traitements, des performances et des coûts. Automatiser les déploiements (IaC, CI/CD) et assurer la supervision, la fiabilité et la sécurité des flux en production. Workflow, process et outillage Concevoir les workflows de bout en bout (chaînes de traitement, ordonnancement, procédures d'exploitation) et les interfaces d'échange avec les applications consommatrices. Contribuer aux standards et bonnes pratiques DataOps de la Data Factory, documenter et diffuser les compétences auprès des équipes. Langages & frameworks Python, SQL Cloud & data Google Cloud Platform (GCP), BigQuery, services d'ingestion GCP ETL / intégration Informatica, Teradata (existant / migration) Système Environnement Linux (shell scripting)

ContexteNous recherchons un Business Analyst / Gestionnaire d'applications pour intervenir au sein de l'équipe Facturation – Pôle Finance OneIT, sur un périmètre lié à la facturation électronique. La mission consiste notamment à accompagner le responsable de l'équipe sur le périmètre applicatif et à participer aux projets de transformation de la Finance. Missions principalesAnalyser techniquement les besoins métier. Participer aux travaux de conception. Rédiger les spécifications détaillées, US et besoins fonctionnels. Concevoir et réaliser les recettes fonctionnelles. Suivre les réalisations et l'avancement des travaux. Accompagner les utilisateurs. Assurer une assistance au RUN. Participer aux projets de transformation du périmètre applicatif Finance. Collaborer directement avec les utilisateurs et les équipes IT. Livrables attendusDocumentation de cadrage projet. Spécifications détaillées. Cahier de tests. Plan de déploiement / mise en production. Compétences attenduesObligatoires : SQL Rédaction de spécifications / US Recette fonctionnelle Importantes : Facturation électronique GCP Pub/Sub Workflows Cloud Run

Nous recherchons un profil Data Science Python Expérimenté (Data & Analytics) afin d'intervenir au sein de l'Analytics Factory sur des sujets stratégiques de prévision de la demande pour la Supply Chain. Description and Location Au sein de la Supply Chain Carrefour, la précision de la prévision de la demande constitue un enjeu stratégique majeur afin de garantir la disponibilité des produits en magasin, réduire les coûts logistiques et limiter le gaspillage alimentaire. Le consultant intégrera une équipe pluridisciplinaire composée de Data Scientists et Data Engineers au sein de l'Analytics Factory afin de développer, optimiser et industrialiser des modèles de prévision avancés. Les principales activités attendues seront : Échanger régulièrement avec les équipes métier Supply Chain afin de recueillir les besoins et restituer les résultats. Analyser les données historiques et étudier les saisonnalités, tendances, impacts promotionnels et événements exogènes. Concevoir, entraîner et optimiser des modèles de prévision de séries temporelles. Définir et suivre les métriques d'évaluation des performances. Industrialiser et déployer les pipelines de modélisation dans l'environnement Cloud GCP. Développer les dispositifs d'explicabilité permettant une meilleure appropriation des résultats par les équipes métier. Livrables attendus Analyses approfondies des données métiers. Modèles de prévision de séries temporelles industrialisés. Suivi des indicateurs de performance et de qualité des modèles. Pipelines de déploiement automatisés sur GCP. Restitutions et recommandations pour les équipes métier Supply Chain. Documentation des modèles et des processus d'industrialisation. Compétences requises Must Have Maîtrise éprouvée des algorithmes de prévision de séries temporelles. Excellente maîtrise de Python (Pandas, NumPy, Scikit-Learn). SQL avancé sur de grands volumes de données. Développement de code propre, modulaire, testé et versionné pour un usage en production. Nice to Have Développement et industrialisation de modèles Machine Learning avec Scikit-Learn, TensorFlow ou PyTorch. Solides compétences en manipulation et analyse de données. Déploiement de solutions Data Science sur des plateformes Cloud GCP. Git, CI/CD et bonnes pratiques DevOps. Visualisation de données avec Matplotlib, Seaborn et Plotly. Gestion du versionning des données et modèles. Qualité de code, craftsmanship, SOLID, YAGNI et Sonar. Observabilité et monitoring des applications Data. Participation à l'ensemble du cycle de vie logiciel. Expérience Agile / Scrum.

Contexte :Équipe AI for PDP (Product Data Platform) produit des outils pour le pricing, l'optimisation de l'assortiment des produits. Une grande entreprise de distribution pilote ses prix sur des dizaines de milliers de références, par pays. L'enjeu : fournir aux équipes pricing un coefficient d'élasticité-prix par produit, exploitable pour l'ajustement quotidien, la promotion et la hausse stratégique. Missions :Data Collection et Preprocessing (dbt) : reconstruction de la vue produit hebdomadaire au niveau Business Unit à partir des transactions caisse et de l'historique de prix multi-magasins. Agrégation par prix médian (robuste aux prix extrêmes d'un magasin), filtre sur les produits, construction de baselines de demandes saisonnières, de tendances de demandes, de variations cumulées de prix (pour intégrer l'impact des changements de prix passés). Migration terraform + dbt + DataHub, source Teradata. Modélisation : le modèle ne mesure pas l'élasticité, il prédit la demande hebdomadaire (LightGBM, Tweedie loss) à partir du prix, puis l'élasticité est dérivée en simulant 10 scénarios de variation de prix (-25% à +25%). Passage à l'échelle & performance : industrialisation sur 5 Business Units (France, Espagne, Portugal, Italie, Pologne), jusqu'à ~18M lignes et ~58k produits par Business Unit. Optimisation RAM : prune colonnes SQL-side, downcast des types, batchs de CV en générateur, chaînes en catégoriel. Contrôle qualité : quality gates bloquant la publication par BU (comptage nombre de produits uniques, MAPE, WAPE, turnover-weighted WAPE), performance drift check sur un test set fait du dernier mois, typage des alertes (échec infra vs échec qualité données). Métriques calculées à la granularité de consommation (hebdo pour le tuning, mensuelle pour le gate). Orchestration ZenML : portabilité local et remote via stacks, exécution Vertex conteneurisée. Système de configurations à 3 couches (commun / env / BU), date d'exécution résolue une seule fois (backfills reproductibles). Packaging uv, CI qualité (ruff, mypy, pytest, sonarqube), step de tuning Optuna (TPE) optionnel. Documentation fonctionnelle : ouverture de la boîte noire pour le métier : d'où viennent les données, comment la demande est transformée, ce que le coefficient signifie vraiment, et où il peut induire en erreur (ne pas moyenniser à plat des scénarios à l'interprétation différente, absence de stock, cannibalisation, améliorations potentielles de la solution). Objectif : un utilisateur métier peut se servir du coefficient avec le bon niveau de confiance.

Nous recherchons un(e) Data Engineer confirmé(e) / Senior, disposant d'une solide expérience sur Google Cloud Platform (GCP), pour rejoindre une nouvelle équipe dédiée aux données clients et marketing. L'équipe intervient sur différents systèmes sources, sur une plateforme Data centralisant et valorisant les données, ainsi que sur un service dédié à la personnalisation des parcours et expériences clients. L'objectif du projet est de construire une plateforme permettant de fournir aux modèles de Machine Learning des données de personnalisation fiables, pertinentes et facilement exploitables. Dans un premier temps, vous interviendrez sur l'amélioration et la fiabilisation des données provenant de différentes sources de tracking et de données commerciales. Vous participerez ensuite au développement de la plateforme Data centrale du projet. Vos missionsConcevoir, développer et maintenir des pipelines de données robustes et scalables. Collecter, transformer et intégrer des données provenant de différentes sources. Participer à la conception et à l'évolution de la Data Platform. Contribuer au développement d'un service de contexte et personnalisation client. Préparer et enrichir les données destinées aux modèles de Machine Learning. Garantir la qualité, la fiabilité et la disponibilité des données. Participer à la conception des architectures et flux Data. Mettre en place des contrôles et bonnes pratiques de Data Quality. Collaborer avec les équipes Data, ML, Marketing et les équipes techniques. Participer aux tests, à la documentation et au déploiement des solutions. Contribuer à l'amélioration continue de l'architecture et des processus Data.

Architecte Solution Data – Architecture de Référence Groupe (H/F)Localisation : Paris / Île-de-France Type de contrat : CDI / Mission longue selon contexte Niveau d'expérience : 10 ans minimum en architecture IT / Data / Cloud Environnement : Groupe bancaire international Domaine : Data Architecture – Cloud – Data Platform – Solution Architecture LE POSTEDans le cadre d'un programme stratégique pour un grand groupe bancaire, nous recherchons un(e) Architecte Solution Data / Data Cloud Architect pour intervenir au niveau Groupe sur la définition, la structuration et la gouvernance des architectures Data de référence.

Fiche de poste – Senior Data Engineer / Expert Dataplatform (GCP) Contexte & Organisation Le Pôle Data est structuré autour du modèle Spotify : Une Dataplatform en pleine transformation, composée de 4 experts Architectes / Développeurs GCP & BigQuery Maintenance de l'existant + évolution de la plateforme Début d'un chantier majeur de construction début 2025 (v1 en cours, forte ambition d'évolution) Outils & écosystème : GCP (Cloud Run, Cloud Function, Pub/Sub, Vertex AI, BigQuery) Airflow (orchestration) Dataform (concurrent DBT – SQL) Terraform pour le provisioning Modèle Data type médaillon Pratique Data Engineer moderne + enjeux d'observabilité / finops / sécurité Objectifs du poste Renforcer l'équipe Dataplatform avec un profil senior ayant déjà participé à la construction d'une Dataplatform et capable d'accélérer l'industrialisation des pipelines et des outils d'ingestion. Le rôle vise à : Faciliter et accélérer le travail des Data Engineers Améliorer l'expérience de construction de pipelines de données Structurer et fiabiliser l'ingestion et le transfert de données, encore peu industrialisés Apporter une expertise de haut niveau sur GCP & Data Engineering Missions principales 1. Gouvernance & Contrôle de la plateforme Assurer un contrôle global de la Dataplatform et accompagner les Data Engineers dans les bonnes pratiques d'industrialisation. Identifier les axes d'amélioration techniques et proposer des solutions robustes. Participer aux choix d'architecture technique et Data (modèle médaillon). 2. FinOps, Observabilité & Sécurité Définir et mettre en œuvre les standards d'observabilité. Garantir la performance, la robustesse et la sécurité de la plateforme. Suivre les coûts et proposer des optimisations FinOps. Automatiser le provisioning via Terraform. 3. Développement & Industrialisation Concevoir et industrialiser les pipelines : Cloud Run, Cloud Functions, Pub/Sub, Airflow, Vertex AI. Contribuer à résorber la dette technique. Développer et industrialiser les briques d'ingestion et de transformation. 4. Animation & Documentation Participer à la mise à disposition de nouveaux outils et à la documentation associée. Assurer une démarche d'amélioration continue du run. Animer une équipe de Data Engineer chaque vendredi: partage de bonnes pratiques suivi des évolutions de la Dataplatform retours d'expérience et recommandations 5. Innovation & IA Apporter une vision sur l'usage de l'IA (générative et traditionnelle) pour : réduire les coûts améliorer la productivité faciliter le travail des collaborateurs Contribuer à des projets Vertex AI / ML (ambition forte vers l'IA)

Contexte Dans le cadre du développement d'un produit, nous recherchons un Tech Lead Data / GenAI pour assurer la coordination technique transverse et accélérer la livraison de nouveaux composants et Enablers GenAI. La mission porte notamment sur la mise en place de solutions permettant l'ingestion et l'exploitation de rapports, documents et données structurées ou non structurées, provenant de sources publiques et internes. Le Tech Lead travaillera en proximité avec les équipes Data Science et les différentes parties prenantes du projet afin de définir les choix techniques, industrialiser les solutions et garantir leur intégration dans l'écosystème existant. Missions Assurer le lead technique et la coordination transverse des différents sujets Data / GenAI. Concevoir et développer des Enablers techniques GenAI permettant d'accélérer la livraison du produit. Concevoir et industrialiser des pipelines d'ingestion de données et de documents structurés / non structurés. Développer les composants nécessaires en Python et intégrer des outils d'ingestion adaptés. Concevoir et orchestrer les workflows Data et traitements associés. Déployer et exploiter les solutions sur Google Cloud Platform. Mettre en place et maintenir l'Infrastructure as Code avec Terraform. Définir et maintenir les pipelines CI/CD. Concevoir des interfaces ou outils de visualisation permettant d'exposer les données et résultats. Participer à la conception de pipelines RAG et composants LLM. Collaborer étroitement avec les Data Scientists pour industrialiser leurs travaux. Garantir la qualité, la maintenabilité, la sécurité et l'observabilité des composants développés. Identifier les points de blocage, proposer les choix d'architecture appropriés et accompagner leur résolution. Communiquer de manière claire sur les avancées, risques et décisions techniques.

Nous recherchons un profil Data Engineer afin d'intervenir au sein de l'Analytics Factory, dans le cadre du renforcement et de l'évolution de la couche sémantique universelle de la plateforme Data. Description and Location L'Analytics Factory conçoit et développe les services analytiques permettant de fournir aux équipes métier des données et analyses fiables afin de soutenir la transformation analytique et la prise de décision. La prestation consiste à renforcer et enrichir la couche sémantique universelle afin de simplifier, accélérer et démocratiser l'accès à une donnée fiable en self-service pour l'ensemble des métiers. Le consultant évoluera dans un environnement moderne basé sur GCP, BigQuery, AtScale et l'IA Agentique. Les principales activités seront : Enrichissement, optimisation et gouvernance de la couche sémantique. Développement d'outillages et d'architectures facilitant le self-service et l'intégration avec les outils BI, les automatisations et les agents conversationnels. Amélioration continue des modèles de données et de la qualité de service. Documentation technique et suivi des métadonnées. Livrables attendus Extension de la couverture de la couche sémantique via l'intégration de nouvelles sources de données. Modèles et requêtes SQL / BigQuery optimisés. Scripts d'automatisation et outillages Python (CI/CD). Documentation technique et fonctionnelle. Support et maintien en condition opérationnelle des usages. Compétences requises Must Have Excellente maîtrise de BigQuery et SQL avancé. Maîtrise de Python et du développement d'automatisations data. Solide expérience sur les architectures Cloud GCP. Modélisation de données et optimisation de Datamarts. Nice to Have DBT pour la transformation et l'orchestration des données. GitLab CI/CD, Docker Compose. Pub/Sub et flux temps réel. Git. Méthodologie Agile / Scrum.

En lien avec l'équipe de production applicative / DevOps, vous serez en charge de la mise en œuvre technique des demandes métier dans le cadre du projet DataOps. Vous interviendrez sur l'ingestion, la préparation et la transformation des données ainsi que sur l'évolution des pipelines au sein de l'environnement GCP. Votre rôle Ingestion et transformation des données · Mettre en œuvre de nouvelles ingestions de données dans Cloud Storage et BigQuery · Développer les traitements de préparation et de transformation des données · Développer et maintenir les traitements en Python et SQL, notamment avec Pandas et/ou Dask · Intervenir sur les traitements distribués s'appuyant sur Spark lorsque nécessaire Développement et évolution des pipelines · Maintenir et faire évoluer les outils de gestion des pipelines de données · Développer et maintenir les scripts Bash nécessaires à leur exécution · Assurer le suivi et l'ordonnancement des traitements avec les outils du périmètre, notamment Control-M · Analyser et résoudre les problématiques techniques liés aux traitements et aux pipelines Evolution de la plateforme Data · Identifier les besoins d'évolution de la plateforme liés aux traitements et pipelines de données · Rédiger les spécifications techniques nécessaires aux évolutions mises en œuvre · Formaliser et transmettre à l'équipe DevOps les demandes relatives aux évolutions de la plateforme ________

Dans le cadre d'un projet stratégique de pilotage du portefeuille de financement au sein d'une grande banque d'investissement, nous recherchons un Tech Lead Data GCP pour contribuer à la construction d'un MVP robuste sur GCP. Le projet vise à industrialiser une plateforme Data permettant des capacités avancées de projection, de simulation et d'analyse autour des ressources rares (RWA, Liquidité). Vous intégrerez une équipe pluridisciplinaire (Métier, Finance, Risques, Architecture, IT) et jouerez un rôle central dans la conception, le développement et l'exposition des données.

Missions Mise en place de pipelines d'ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE). Transformation des données via dbt selon les modèles métiers définis. Gestion de l'infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform. Orchestration et automatisation des workflows de données sur GKE via Argo Workflows. Développement du backend d'un portail utilisateur pour l'accès aux services de la plateforme (Flask). Création d'un connecteur entre GCP et l'outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy). Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD). Mise en place de la supervision et du monitoring des pipelines de données. Rédaction de la documentation technique liée aux développements réalisés. Environnement techniqueGCP, GKE, Argo Workflows, BigQuery, Cloud Run, Cloud Functions, Pub/Sub, Cloud Storage Python, Terraform, Docker, Kubernetes, SQL, Git, Gitlab CI/CD, Bash

Contexte La mission vient dans le contexte d'un projet de gestion (Build + Run) d'une plateforme data sur GCP pour les données de l'entreprise. Interlocuteurs : Directeur Data, Data Analysts, Data Engineers, Data Scientists, Product Owners, Équipe Métier. Missions Mise en place de pipelines d'ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE). Transformation des données via dbt selon les modèles métiers définis. Gestion de l'infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform. Orchestration et automatisation des workflows de données sur GKE via Argo Workflows. Développement du backend d'un portail utilisateur pour l'accès aux services de la plateforme (Flask). Création d'un connecteur entre GCP et l'outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy). Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD). Mise en place de la supervision et du monitoring des pipelines de données. Rédaction de la documentation technique liée aux développements réalisés.

Présentation du posteDans le cadre du développement de notre activité Data, nous recherchons un Data Analyst / Analytics Engineer pour intervenir sur des projets de transformation, de modélisation et de valorisation des données. Vous travaillerez à l'interface entre les équipes métiers, BI et Data Engineering afin de transformer les besoins opérationnels en modèles de données fiables, indicateurs pertinents et tableaux de bord exploitables. Vos missionsRecueillir et analyser les besoins des équipes métiers. Définir les indicateurs et les règles de gestion associées. Extraire, transformer et analyser les données avec SQL. Concevoir et maintenir des modèles de transformation avec dbt. Construire des modèles dimensionnels et des architectures en étoile. Développer et faire évoluer des rapports Power BI. Créer et optimiser des mesures et calculs DAX. Exploiter les données disponibles dans BigQuery. Mettre en place des contrôles de qualité et des tests de non-régression. Participer aux projets de migration et de modernisation des environnements décisionnels. Documenter les modèles, les traitements et les indicateurs. Restituer les analyses et formuler des recommandations auprès des métiers. Stack techniqueData Visualisation : Power BI Langages : SQL, DAX, Python Transformation : dbt Cloud : GCP, BigQuery Orchestration : Cloud Composer, Airflow Bases et outils décisionnels : SQL Server, PostgreSQL, SSIS Modélisation : modèles dimensionnels, modèles en étoile, Data Warehouse Qualité et déploiement : tests dbt, Git, CI/CD Data Science et IA : Vertex AI, RAG, LangChain, API OpenAI Compétences recherchéesTrès bonne maîtrise de SQL. Bonne connaissance de Power BI et DAX. Expérience opérationnelle avec dbt. Maîtrise de la modélisation dimensionnelle. Bonne compréhension d'une chaîne décisionnelle de bout en bout. Connaissance des principes de qualité, de fiabilisation et de gouvernance des données. Capacité à comprendre et formaliser les besoins métiers. Une première expérience sur GCP et BigQuery est appréciée. Une sensibilité aux sujets Data Science et IA générative constitue un plus.