Trouvez votre prochaine offre d’emploi ou de mission freelance BigQuery

Présentation du posteDans le cadre du développement de notre activité Data, nous recherchons un Data Analyst / Analytics Engineer pour intervenir sur des projets de transformation, de modélisation et de valorisation des données. Vous travaillerez à l'interface entre les équipes métiers, BI et Data Engineering afin de transformer les besoins opérationnels en modèles de données fiables, indicateurs pertinents et tableaux de bord exploitables. Vos missionsRecueillir et analyser les besoins des équipes métiers. Définir les indicateurs et les règles de gestion associées. Extraire, transformer et analyser les données avec SQL. Concevoir et maintenir des modèles de transformation avec dbt. Construire des modèles dimensionnels et des architectures en étoile. Développer et faire évoluer des rapports Power BI. Créer et optimiser des mesures et calculs DAX. Exploiter les données disponibles dans BigQuery. Mettre en place des contrôles de qualité et des tests de non-régression. Participer aux projets de migration et de modernisation des environnements décisionnels. Documenter les modèles, les traitements et les indicateurs. Restituer les analyses et formuler des recommandations auprès des métiers. Stack techniqueData Visualisation : Power BI Langages : SQL, DAX, Python Transformation : dbt Cloud : GCP, BigQuery Orchestration : Cloud Composer, Airflow Bases et outils décisionnels : SQL Server, PostgreSQL, SSIS Modélisation : modèles dimensionnels, modèles en étoile, Data Warehouse Qualité et déploiement : tests dbt, Git, CI/CD Data Science et IA : Vertex AI, RAG, LangChain, API OpenAI Compétences recherchéesTrès bonne maîtrise de SQL. Bonne connaissance de Power BI et DAX. Expérience opérationnelle avec dbt. Maîtrise de la modélisation dimensionnelle. Bonne compréhension d'une chaîne décisionnelle de bout en bout. Connaissance des principes de qualité, de fiabilisation et de gouvernance des données. Capacité à comprendre et formaliser les besoins métiers. Une première expérience sur GCP et BigQuery est appréciée. Une sensibilité aux sujets Data Science et IA générative constitue un plus.

Développer les mécanismes d'ingestion de données internes et externes ; Participer à la mise en place d'un moteur de recherche de bases de données pour les métiers ; Concevoir et maintenir les pipelines de transformation de données ; Mettre en place et orchestrer les workflows de traitement ; Connecter les données aux outils d'analyse métier ; Garantir la qualité, la disponibilité et la fiabilité des données. Compétences obligatoires GCP : Cloud Run, IAM, BigQuery, GCS Terraform SQL Ingestion de données publiques et internes (Python, Fivetran, Rclone ou équivalent) Orchestration de workflows (Airflow, Argo Workflow ou équivalent) Transformations de données avec dbt

Missions Mise en place de pipelines d'ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE). Transformation des données via dbt selon les modèles métiers définis. Gestion de l'infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform. Orchestration et automatisation des workflows de données sur GKE via Argo Workflows. Développement du backend d'un portail utilisateur pour l'accès aux services de la plateforme (Flask). Création d'un connecteur entre GCP et l'outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy). Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD). Mise en place de la supervision et du monitoring des pipelines de données. Rédaction de la documentation technique liée aux développements réalisés. Environnement techniqueGCP, GKE, Argo Workflows, BigQuery, Cloud Run, Cloud Functions, Pub/Sub, Cloud Storage Python, Terraform, Docker, Kubernetes, SQL, Git, Gitlab CI/CD, Bash

Nous recherchons pour le compte de notre client dans le domaine de la banque, un(e) Data Engineer Hadoop/PySpark. Environnement technique Hadoop, Python, PySpark, Hive, SQL, Git, Jenkins, Jira, Shell scripting (Unix/Linux), méthodologie Agile/SCRUM. Un plus : Indexima, Alteryx, Altair, GCP/BigQuery, bibliothèques Python orientées API. Contexte Au sein de la direction IT d'un grand groupe bancaire, l'équipe Technologies & Opérations met à disposition des différents pôles métiers (transformation, workplace, banque de proximité) l'ensemble des applications nécessaires à leur activité. Dans ce cadre, le consultant interviendra en soutien à l'équipe de production applicative et devops sur les évolutions techniques du datalake du CIO Office. Missions Concevoir et déployer de nouveaux flux d'ingestion ainsi que des traitements de préparation et transformation de données Faire évoluer et fiabiliser les pipelines de données existants, combinant PySpark et scripts shell Assurer l'interface avec l'équipe devops pour transmettre les besoins d'évolution de la plateforme Contribuer à la fiabilité, la performance et la qualité globale du datalake Compétences attendues Hadoop, PySpark, Python, Hive, SQL, Git, Jenkins, Jira, Shell Unix/Linux, Agile/SCRUM, Anglais professionnel, Indexima, Alteryx, Altair, GCP/BigQuery, API Python

Nous recherchons pour le compte de notre client dans le domaine de la banque, un(e) Data Engineer GCP. Environnement technique GCP, BigQuery, Cloud Storage, SQL, Python (orienté objet), Pandas, Dask, Bash scripting, Git, méthodologie Agile/SCRUM. Un plus : Cloud Functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark. Contexte Au sein de la direction IT d'un grand groupe bancaire, l'équipe Technologies & Opérations met à disposition des différents pôles métiers (transformation, workplace, banque de proximité) l'ensemble des applications nécessaires à leur activité. Le consultant interviendra sur le projet DatOps, en soutien à l'équipe de production applicative et devops, pour répondre aux besoins techniques exprimés par les métiers. Missions Mettre en place de nouveaux flux d'ingestion et réaliser les travaux de préparation et transformation de données Faire évoluer et maintenir les outils de gestion des pipelines de données Relayer auprès de l'équipe devops les besoins d'évolution de la plateforme Compétences attendues GCP, BigQuery, Cloud Storage, SQL, Python orienté objet, Pandas, Dask, Bash, Git, Cloud Functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark, Agile/SCRUM, Anglais professionnel

Rejoignez une grande maison du secteur du luxe en tant que Data Engineer GCP. Vous intégrerez une équipe moderne et ambitieuse travaillant sur l'infrastructure et l'orchestration de données critiques, dans un environnement cloud-natif structuré autour de Google Cloud Platform. Vous serez en charge de concevoir, développer et maintenir des pipelines de données robustes et performants. Votre expertise en BigQuery, Terraform et DBT sera centrale pour garantir la qualité, la scalabilité et l'efficacité des solutions d'ingestion et de transformation de données. Vous collaborerez étroitement avec les équipes data science et analytics pour fournir des données fiables et bien structurées, tout en contribuant à l'évolution de l'architecture technique et des bonnes pratiques au sein de l'équipe. Le projet s'inscrit dans une démarche d'optimisation et de modernisation de la plateforme de données, en suivant une méthodologie Agile. Vous participerez à des sprints réguliers, contribuerez à la documentation technique et serez impliqué dans les revues de code et les améliorations continues de la base de code. Responsabilités : - Concevoir et développer des pipelines ETL/ELT haute performance en DBT, optimisés pour BigQuery - Gérer l'infrastructure cloud (GCP) en tant que code via Terraform, en respectant les principes d'Infrastructure as Code - Optimiser les requêtes BigQuery et les modèles de données pour performance et coût - Assurer la qualité et la fiabilité des données ingérées et transformées - Documenter les architectures, les processus et les solutions mises en place - Collaborer avec les data analysts et data scientists pour comprendre les besoins métier - Participer aux revues de code et contribuer à l'amélioration continue des pratiques d'équipe - Maintenir et monitorer les pipelines en production, gérer les incidents et les améliorations Télétravail : 2 jours par semaine Localisation : Paris

Contexte & Objectif Concevoir et valider un Proof of Concept d'agent IA standard capable d'assister les équipes d'exploitation (directeurs de site, experts process) en interrogeant une base de connaissances métier et les données IoT du Groupe. Cadrage Technique & Stack : Définir et valider la stack technique (frameworks IA, connecteurs, runtime, hébergement) en conformité avec les standards Veolia Groupe Assurer l'alignement avec les équipes Architecture IT, Agentic Group et Sécurité DSI Conception de l'Agent : Implémenter un agent IA en ligne (architecture directe, sans orchestration complexe) Intégrer les connecteurs BigQuery (séries temporelles) et MongoDB Interfacer les librairies de calcul scientifique pour les vérifications physiques à la volée Enrichir la Knowledge Base (Hermod KB) avec spécifications techniques et règles métier Qualité & Fiabilité : Mettre en place des contrôles de cohérence des données IoT Adapter la restitution selon les profils (opérateurs / experts) Valider sur des sites pilotes Livrables:

Fiche de poste – Senior Data Engineer / Expert Dataplatform (GCP) Contexte & Organisation Le Pôle Data est structuré autour du modèle Spotify : Une Dataplatform en pleine transformation, composée de 4 experts Architectes / Développeurs GCP & BigQuery Maintenance de l'existant + évolution de la plateforme Début d'un chantier majeur de construction début 2025 (v1 en cours, forte ambition d'évolution) Outils & écosystème : GCP (Cloud Run, Cloud Function, Pub/Sub, Vertex AI, BigQuery) Airflow (orchestration) Dataform (concurrent DBT – SQL) Terraform pour le provisioning Modèle Data type médaillon Pratique Data Engineer moderne + enjeux d'observabilité / finops / sécurité Objectifs du poste Renforcer l'équipe Dataplatform avec un profil senior ayant déjà participé à la construction d'une Dataplatform et capable d'accélérer l'industrialisation des pipelines et des outils d'ingestion. Le rôle vise à : Faciliter et accélérer le travail des Data Engineers Améliorer l'expérience de construction de pipelines de données Structurer et fiabiliser l'ingestion et le transfert de données, encore peu industrialisés Apporter une expertise de haut niveau sur GCP & Data Engineering Missions principales 1. Gouvernance & Contrôle de la plateforme Assurer un contrôle global de la Dataplatform et accompagner les Data Engineers dans les bonnes pratiques d'industrialisation. Identifier les axes d'amélioration techniques et proposer des solutions robustes. Participer aux choix d'architecture technique et Data (modèle médaillon). 2. FinOps, Observabilité & Sécurité Définir et mettre en œuvre les standards d'observabilité. Garantir la performance, la robustesse et la sécurité de la plateforme. Suivre les coûts et proposer des optimisations FinOps. Automatiser le provisioning via Terraform. 3. Développement & Industrialisation Concevoir et industrialiser les pipelines : Cloud Run, Cloud Functions, Pub/Sub, Airflow, Vertex AI. Contribuer à résorber la dette technique. Développer et industrialiser les briques d'ingestion et de transformation. 4. Animation & Documentation Participer à la mise à disposition de nouveaux outils et à la documentation associée. Assurer une démarche d'amélioration continue du run. Animer une équipe de Data Engineer chaque vendredi: partage de bonnes pratiques suivi des évolutions de la Dataplatform retours d'expérience et recommandations 5. Innovation & IA Apporter une vision sur l'usage de l'IA (générative et traditionnelle) pour : réduire les coûts améliorer la productivité faciliter le travail des collaborateurs Contribuer à des projets Vertex AI / ML (ambition forte vers l'IA)

Contexte de la missionNous recherchons un(e) Consultant(e) Data Governance & Modélisation Senior, extrêmement autonome, pour accompagner un projet hautement stratégique au sein du groupe. Évoluant sous la responsabilité d'un Directeur de Projet et rattaché(e) au Data Management Office, vous serez l'expert(e) en gouvernance (dictionnaire de données, lignage) et en modélisation, faisant le pont entre le métier et la technique grâce à votre maîtrise de GCP BigQuery pour le requêtage. Agile et autonome, vous vous approprierez rapidement les enjeux du projet et concevrez les supports destinés aux comités de direction générale. Descriptif de la missionSous la supervision directe du Directeur de Projet, vous interviendrez de manière autonome sur les volets suivants : • Gouvernance & Modélisation — vous modéliserez les données à partir des définitions métiers pour les lier aux architectures techniques, tout en assurant la complétude du dictionnaire de données et du lignage (lineage). • Investigation & Technique — vous manipulerez et requêterez directement les données au sein de l'environnement GCP BigQuery afin de valider vos modélisations. • Outillage — vous alimenterez les outils de gouvernance (DataGalaxy, PowerDesigner ou équivalents). • Pilotage & Communication — en lien avec le Directeur de Projet, vous concevrez des supports PowerPoint d'un niveau d'excellence requis pour les comités de direction générale afin de restituer l'avancement des travaux.

Concevoir, développer et maintenir des pipelines de données robustes et performants. Développer et industrialiser les transformations de données avec DBT. Concevoir et optimiser les modèles de données dans BigQuery. Intégrer différentes sources de données au sein de l'écosystème Google Cloud Platform. Garantir la qualité, la fiabilité et la disponibilité des données. Optimiser les performances des traitements et des requêtes SQL. Mettre en place des tests et contrôles de qualité des données. Participer à l'automatisation des déploiements et aux pratiques CI/CD / DataOps. Contribuer à la documentation technique et au respect des standards Data. Collaborer avec les Data Analysts, Data Scientists, équipes métiers et équipes Cloud/DevOps. Participer aux problématiques de gouvernance, sécurité et traçabilité des données propres au secteur bancaire.

La mission, au sein du domaine « Pertes, Garanties et Entrepôt Risques », consiste à participer à la réalisation du projet basée sur Google Cloud Platform, à forts enjeux au sein d'une équipe engagée et experte sur le sujet. Une expérience dans le domaine du Risques de crédit est appréciée. Développement et Intégration de solutions Python Spark avec les services data et compute de Google Cloud Platform - Excellente maitrise : BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs, et GCS. - Bonne maitrise de la partie DevOps : XLD, Terraforme, jenkins - Bonne communication, autonomie et fluidité du travail en équipe.

La mission consiste à intervenir sur un projet stratégique de gestion des risques climatiques et physiques, visant à ingérer, agréger, traiter et exposer des données issues de sources multiples afin d'alimenter des reportings métiers liés à la surveillance du risque de crédit. Le consultant participera à la conception, au développement et à l'intégration de solutions Data reposant sur Python, Spark et Google Cloud Platform (GCP), notamment BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs et GCS. Il contribuera également à l'industrialisation et au maintien en conditions opérationnelles des traitements, à la qualité et à la sécurité des données, ainsi qu'aux activités DevOps et d'automatisation à travers XLD, Terraform et Jenkins.

Data Engineer GCPLe consultant idéal devra posséder les compétences suivantes : • Excellente maîtrise de la plateforme GCP, et autres outils de notre stack technique : BigQuery, cloud storage, SQL, Python orienté objet, Pandas et /ou Dask, bash scripting, GIT • Connaissances et expériences avec des outils complémentaires suivants seraient des atouts appréciables : Cloud functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark • Maîtrise de l'anglais, tant à l'écrit qu'à l'oral, pour faciliter les échanges avec nos interlocuteurs basés à Porto, qui représentent une part importante de notre équipe IT. • Expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM. • Capacité à rédiger des spécifications techniques claires et précises. • Dynamisme, excellent relationnel et capacité à travailler en équipe. • Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies. Au sein du département IT de la DSI Groupe, l'équipe data a pour vocation de fournir aux différentes entités, l'ensemble des applications nécessaires à leur fonctionnement. Nous recherchons un profil Data Engineer GCP qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les demandes métier sur le projet DatOps. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipelines de données => quel outil utilisé ?? • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme Expected skillsSkillsSkill level HADOOP Confirmed SQL Confirmed GCP Confirmed Google Cloud Storage Advanced Spark Advanced BIGQUERY Confirmed Pandas Advanced GIT Advanced Python Advanced

Au sein d'une équipe Architecture d'une Direction des Infrastructures et de la Production de l'un de nos clients, nous recherchons un(e) architecte technique généraliste qui contribuera aux activités suivantes : - Etudes techniques & Design - Cadrage budgétaire - Définition des best practices d'architecture - Documentation (DAT) - Accompagnement de la stratégie Move2Cloud - Accompagnement des équipes d'exploitation et de développement Environnement général : - Plateformes E-commerce - Plateformes BackOffice & Logistique - Cloud Public Azure & GCP - Cloud Privé (Infrastructure VMWARE Infogérée) - CDN Akamai, LoadBalancing BigIP F5, Firewalling (Checkpoint & Fortinet) - Bases de données MS SQL Server, PostgreSQL, MySQL, IBM DB2, Oracle - Big Data Hadoop, Terradata, MapR, BigQuery, DataBricks - Conteneurisation Docker & Orchestration AKS - Progiciels SAP, Siebel, HRAccess

Vous aimez les plateformes de données qui tournent vraiment en production ? Rejoignez l'équipe qui fait vivre le datalake des fonctions Technologies & Opérations d'un grand groupe bancaire. La DSI fournit aux directions technologiques, aux opérations et à la banque de proximité les applications et les données dont elles ont besoin au quotidien. Le datalake Hadoop en est une pièce centrale : il alimente le pilotage et les usages analytiques de plusieurs directions. Vous intervenez en lien direct avec la production applicative et l'équipe DevOps, au sein d'une équipe IT internationale. Vos principales missions : Concevoir et mettre en production de nouvelles ingestions de données : collecte, préparation, transformation. Maintenir et faire évoluer les outils de gestion des pipelines de données (PySpark, shell scripting). Porter auprès de l'équipe DevOps les évolutions nécessaires de la plateforme. Rédiger des spécifications techniques claires et exploitables par l'équipe. Ce que la mission vous apporte : Un datalake en production, avec de vrais volumes et de vrais utilisateurs métier. Une équipe internationale : l'anglais est utilisé au quotidien. Une ouverture vers le cloud (GCP / BigQuery) pour qui veut élargir sa stack. Environnement technique : Hadoop, PySpark, Spark, Hive, Python, SQL, Git, Jenkins, Jira, Unix / Linux — Scrum.

Description et localisationMission dans le secteur de la technologie. Elle consiste à migrer le système d'identité de Google vers Microsoft Entra, en assurant une transition fluide et sécurisée. Contexte de la mission Migration du système d'identité de Google vers Microsoft Entra. Nécessité d'une expertise approfondie en administration de Google Workspace et Microsoft Entra. Conception et implémentation de workflows efficaces à l'aide d'outils tels que Graph API et PowerBI. Connaissance de Bigquery appréciée. Maîtrise des principes de Zero Trust en matière d'identité pour garantir la sécurité et l'intégrité du système. Optimisation de l'infrastructure tout en assurant une transition sécurisée.