Trouvez votre prochaine mission ou futur job IT.

La Direction des Systèmes d'Information recrute un Data Engineer pour concevoir, développer et maintenir les architectures Data nécessaires à l'exploitation des données par les analystes métiers et data scientists. Principales missions : - Mener les projets d'intégration (temps réel) et data (big data & insights) - Comprendre, analyser et proposer des solutions techniques répondant aux besoins des divers acteurs de la donnée (spécialistes métier, domain managers, architecte, data analystes et scientists) - Apporter un éclairage technique sur les architectures Cloud, dialoguer avec les fournisseurs de solutions et les consultants techniques - Dans une logique de mise en production, créer et déployer des pipelines de données robustes pour les data scientists et data analysts (collecte, stockage, transformation et exploitation) - Assurer une bonne qualité des données pour les projets Machine Learning (préparation, complétude, épuration, enrichissement) dans le but d'optimiser les performances des modèles - Améliorer les processus internes : localisation et traçabilité de la donnée, standardisation des flux et des scripts de traitement des données, documentation - Collaborer avec les équipes basées aux Pays-Bas pour faciliter le Data-Sharing, échanger sur les best-practices et les moyens d'optimiser les architectures - Contribuer à l'amélioration de la gouvernance sur la protection et la confidentialité des données Conception et mise en œuvre d'une plateforme d'intégration Azure à grande échelle, servant de hub central pour 20+ applications métier et orchestrant ~150 flux d'intégration batch et temps réel répartis sur 7 ODS. Développement de flux d'intégration avec Azure Service Bus, Azure Functions, Event Grid et Azure Data Factory pour synchroniser les données entre les différents systèmes. Développement d'orchestrations distribuées et persistantes avec Azure Durable Functions pour gérer des processus métier asynchrones. Conception et gouvernance des API d'intégration via Azure API Management selon une approche spec-first avec validation des contrats d'échange. Modélisation et optimisation des ODS afin de garantir la cohérence et la disponibilité des données opérationnelles. Optimisation des requêtes SQL et des traitements de données pour améliorer les performances et la fiabilité des flux. Développement de composants mutualisés (librairies Python, modules Bicep et Terraform) afin de standardiser les développements et accélérer l'intégration de nouveaux flux. Mise en place des pipelines CI/CD, automatisation des déploiements et amélioration de l'observabilité via la standardisation des logs et des métriques personnalisées.

Bonjour, je recherche pour l'un de mes clients un(e) devOps / data engineer DATABRICKS. Skills : Databricks - AWS - Java Mission : -gérer l'infrastructure Cloud (AWS) -automatiser les déploiements -concevoir, développer, déployer et maintenir des pipelines de traitement de données sur la plateforme Databricks -développer et optimiser des traitements distribués avec Apache Spark afin de garantir la performance et la fiabilité des flux de données -développer et maintenir des API et des services avec Spring Boot N'hésitez pas à revenir vers moi pour des informations complémentaires.

Nous recherchons un Data Engineer confirmé pour rejoindre l'équipe de la Direction des Systèmes d'Information au sein d'un grand groupe industriel. Vous serez responsable de la conception, du développement et de la maintenance d'un datalake stratégique, en travaillant étroitement avec les équipes de production applicative et DevOps pour mettre en œuvre des solutions de traitement de données robustes et performantes. Votre mission s'inscrit dans un environnement technologique moderne et agile. Vous participerez à l'évolution continue d'une plateforme données complexe, contribuerez à l'architecture des pipelines ETL et assurerez la qualité et la fiabilité des ingestions de données. L'environnement de travail est collaborative, dynamique et fondé sur les bonnes pratiques d'ingénierie logicielle (versioning, intégration continue, tests automatisés). Le datalake traite des volumes de données significatifs et nécessite une expertise technique pointue. Vous aurez l'occasion de travailler sur des sujets variés : conception de schémas de données, optimisation des performances, debugging en environnement distribué, et exploration de nouvelles technologies pour améliorer la stack existante. Responsabilités : - Mettre en œuvre et industrialiser de nouvelles ingestions de données, en respectant les standards de qualité et de performance du datalake - Concevoir et développer des transformations de données complexes en PySpark et Hive, optimisées pour les environnements Hadoop - Maintenir, documenter et faire évoluer les outils et scripts de gestion des pipelines de données (PySpark, shell scripting Unix/Linux) - Collaborer avec l'équipe DevOps pour l'évolution et l'optimisation de l'infrastructure de la plateforme données - Rédiger des spécifications techniques détaillées et participer à la validation des livrables avec les parties prenantes - Identifier et proposer des améliorations technologiques pour maintenir la compétitivité de la plateforme - Travailler en méthodologie Agile/Scrum, participer aux cérémonies d'équipe et contribuer à l'amélioration continue - Assurer le debugging et la résolution d'incidents en production, en coordination avec les équipes de support

🎯 MISSIONS : Intégré(e) aux équipes d'un de nos clients grand compte, vos missions seront les suivantes : - Construire les flux d'alimentation de données de la plateforme - Configurer les composants logiciels, les tester, les assembler et les mettre à disposition pour mise en production par les équipes d infogérance (ops) - Assurer le suivi de production, la maintenance corrective ou évolutive des flux d'alimentation et exposition de données dans le Datalake. - Etre en support technique des établissements et des équipes internes sur les briques applicatives de la plateforme (outils internes et GCP, habilitations ) - Assister les Data Scientist et les Data analysts à l'analyse, la préparation des données, l'exposition, la connaissance des outils - Optimiser les capacités techniques pour une meilleure performance ou limiter les coûts (Finops) - Optimiser la qualité de service (QoS) et la qualité des données en proposant des solutions de contrôle, des outils de mesure et de reporting (métrologie, dataviz..) - Obtenir des données adéquates, trouver les sources de données pertinentes, faire des recommandations sur les données à consolider, transformer, rapatrier, consolider au sein des couches socle et d'exposition - Analyser les données pour traduire une problématique Métier Environnement technique : - Connaissance des concepts clés liés à la mise en oeuvre d'une chaine CI/CD (Jenkins, Bitbucket, Git, XLD/XLR) - La connaissance des outils lié à ces concepts serait un plus (Jenkins, Bitbucket, Git, XLD/XLR) - Des connaissances en scripting (shell ou Python) seraient un plus - Connaissance de la méthodologie Scrum et Safe - Connaissance des outils GCP (Big Query) ou équivalent d'un autre Clouder

Au sein de la Data Tribe, vous participez à la conception, au développement et à l'exploitation de produits Data au service des équipes métier et des utilisateurs de la plateforme stratégique. L'équipe travaille à l'intersection de la Data Engineering, de l'Analytics et des plateformes Data, avec un fort enjeu autour de la fiabilité, de la performance et de la mise en production des solutions. La plateforme Data repose principalement sur Databricks et PySpark. Vous intervenez sur l'ensemble du cycle de vie des produits Data, de la compréhension du besoin métier jusqu'à leur exploitation en production. Vos missions En tant que Senior Data Engineer, vous serez notamment amené(e) à : Concevoir, développer et maintenir des pipelines Data robustes et industrialisés. Traduire les besoins métier en solutions Data scalables, performantes et maintenables. Travailler en étroite collaboration avec les Product Owners, équipes métier et équipes Analytics. Garantir la qualité, la fiabilité et la performance des données en production. Assurer le monitoring des pipelines et contribuer à la résolution des incidents. Identifier et mettre en œuvre des améliorations sur les modèles de données et les processus Data. Contribuer aux standards d'architecture, aux bonnes pratiques et aux décisions techniques. Participer aux revues de code et à l'amélioration continue des développements. Intervenir dans un contexte multi-BU, notamment sur le partage et la sécurisation des données avec des mécanismes de RLS / CLS. Prendre progressivement le rôle de référent Data Engineering sur un domaine métier.

Vos missions ? Intégré(e) à nos équipes ou chez nos clients, vous contribuez à développer et valoriser l'ensemble des données en résolvant des problématiques business concrètes via les technologies liées à la Data A ce titre, vos missions seront les suivantes : - Concevoir et mettre en place des architectures de données en choisissant les technologies adaptées aux besoins. - Gestion des bases de données en garantissant la performance et la scalabilité des solutions de stockage. - Analyser et explorer les données avec les différents outils. - Mettre en place des tableaux de bord avec Power BI ou Tableau en exploitant les données transformées via Talend. - Interagir avec les équipes métier pour comprendre et les besoins. - Utiliser TALEND pour extraire des données depuis plusieurs sources (SQL, API, Excel ...). - Automatiser les processus ETL pour centraliser les données dans un Data Wrehouse (Snowflake). - Participation aux projets IA. Compétences requises : - ETL: Talend - Analyse de données (PowerBI, Tableau) - Base de données (SQL, GCP) - Langages: Python, SQL

Dans le cadre de la réalisation d'un projet en assistance technique, nous recherchons un(e) Data Engineer pour l'un de nos clients du secteur aéronautique. Vous interviendrez sur le site client situé dans les Hautes-Pyrénées (65). Vos missions seront les suivantes : - Développer des évolutions de notre plateforme permettant de récolter et distribuer les données d'activité en vue de permettre la construction de produits de données : .dbt ; snowflake ; power BI ; streamlit : azure ; - Réaliser des travaux de data engineering (scriptes, modélisations, …) pilotés en DevOps (via la solution Azure DevOps) par le Lead Data Engineer du périmètre concerné ; - Compléter toutes les documentations IT obligatoires : CDM, HLD (high level Design du système), DAT (dossier d'architecture technique), DEX (dossier d'exploitation) ; - Prendre en charge et corriger des incidents liés à ces composants après livraison.

Nous recrutons pour l'un de nos clients, acteur international, un Data Engineer Confirmé afin de renforcer son équipe Data & AI Procurement. 🚀 Votre missionAu sein d'une équipe dédiée à la valorisation de la donnée, vous contribuerez à la construction et à l'évolution de la Data Foundation, socle central permettant d'alimenter les différents usages métiers : Self-service BI Dashboards de pilotage et de performance Reporting Applications Data Vous interviendrez sur l'ensemble du cycle de vie de la donnée, de l'ingestion jusqu'à la mise à disposition des données aux utilisateurs métiers. Vos responsabilitésConcevoir, développer et maintenir des pipelines de données robustes et évolutifs Assurer l'ingestion de données issues de multiples sources Déployer et optimiser les flux de données dans Snowflake Modéliser, transformer et tester les données avec dbt Orchestrer les traitements via Airflow Garantir la qualité, la fiabilité et la performance des pipelines Participer à l'amélioration continue des pratiques de développement (tests, documentation, CI/CD, qualité de code) Collaborer avec les équipes Data Analysts pour comprendre les besoins métiers et délivrer des solutions adaptées

RésuméLe poste de Data Engineer sur Snowflake a pour objectif principal d'intégrer l'équipe Data & AI Procurement, en se concentrant sur l'ingestion et la transformation des données, afin de répondre aux besoins des métiers. Responsabilités :Assurer l'ingestion et la transformation des données à partir de sources variées. Créer et maintenir des pipelines de données de bout en bout. Collaborer avec les Data Analysts pour comprendre les besoins métiers. Travailler avec d'autres Data Engineers pour optimiser les meilleures pratiques de développement. Must Haves :Maîtrise avancée de SQL. Maîtrise avancée de Python. Expérience sur Snowflake. Connaissance de dbt pour la modélisation et les transformations. Expérience avec Airflow pour l'orchestration des pipelines. Nice to Have :Bonne maîtrise de Gitlab. Connaissance des bonnes pratiques de développement (clean code, tests, documentation, CI/CD). Détails contextuels :Localisation : International, les échanges se font en anglais. Équipe : Intégration au sein de l'équipe Data Foundation. Contexte : Projet lié à la Data Foundation.

Dans le cadre du développement d'une société innovante spécialisée dans les solutions SaaS dans l'industrie, nous recherchons un Data Platform Engineer / Analytics Architect capable de piloter la modernisation complète d'une plateforme analytics stratégique. Basée à Toulouse, cette entreprise développe des solutions permettant de digitaliser les opérations industrielles, automatiser les tests complexes et exploiter les données de production afin d'améliorer la qualité, les coûts et les délais de développement de systèmes critiques. Vous prendrez la responsabilité de la refonte d'une plateforme de données exploitant plusieurs années d'historique industriel. Vos missions : Migration vers ClickHouse Concevoir le nouveau modèle de données. Définir les stratégies de partitionnement et de rétention. Sélectionner les moteurs adaptés (MergeTree, ReplicatedMergeTree, etc.). Mettre en œuvre les Materialized Views. Organiser la migration depuis InfluxDB sans interruption de service. Garantir la performance et la scalabilité de la plateforme. Refonte de l'architecture Data Auditer l'ETL existant. Identifier les composants à conserver, simplifier ou remplacer. Mettre en place une architecture pérenne et maintenable. Optimiser les flux d'ingestion et de transformation. Gouvernance et qualité des données Cartographier les différentes sources de données. Définir les règles de qualité et de conservation. Produire la documentation technique associée. Mettre en place les bonnes pratiques de gestion des données. Grafana & Observabilité Migrer les tableaux de bord existants. Créer de nouveaux dashboards adaptés aux besoins métiers. Optimiser les requêtes et la visualisation des données. Déployer l'alerting et le provisioning as code. Accompagnement des équipes Formaliser les choix d'architecture. Rédiger la documentation technique. Assurer le transfert de compétences auprès des équipes internes. Les compétences techniques Data, ClickHouse, SQL avancé, Modélisation de données temporelles, Kafka, Vector, Telegraf, ETL / ELT, Visualisation, Grafana, Infrastructure, Kubernetes, Infrastructure as Code, Cloud, dbt, InfluxDB, Prometheus

Contexte Notre client, acteur majeur du retail, recherche un Data Engineer Expert pour rejoindre son domaine Digital Data et intégrer une Squad Data en charge d'un périmètre fonctionnel. La mission s'inscrit dans le cadre de la création d'une nouvelle plateforme Data, ainsi que du développement, de l'optimisation et de la maintenance de solutions Data Analytics, avec une forte composante Google Cloud Platform. Missions - Participer aux rituels agiles de l'équipe ; - Recueillir, analyser, challenger et formaliser les besoins utilisateurs ; - Animer les échanges avec les interlocuteurs métiers et proposer des solutions adaptées ; - Traduire les besoins en spécifications fonctionnelles et techniques ; - Développer des solutions Data de bout en bout : alimentation, stockage, modélisation et restitution ; - Valider la qualité des développements de l'équipe ; - Améliorer et optimiser le patrimoine Data existant ; - Assurer le maintien en conditions opérationnelles et le RUN des solutions ; - Contribuer à la construction du nouveau socle et des services sur Google Cloud Platform ; - Accompagner les métiers sur les bonnes pratiques d'exploitation de la donnée. Responsabilités Data Le consultant sera garant de la qualité d'accès aux données et contribuera à leur bonne structuration et à leur exploitation. - Intégrer des données structurées et non structurées ; - Structurer et normaliser la donnée ; - Cartographier les données disponibles ; - Nettoyer et valider les données ; - Garantir la qualité des données alimentant le Data Lake ; - Créer, si nécessaire, des référentiels ; - Contribuer à la politique Data et au cycle de vie de la donnée. Environnement technique Compétences impératives - SQL - Expert - ETL - Expert Compétences importantes - CI/CD - GitHub - Terraform - Kafka BI / Restitution - Power BI - Looker Cloud - Google Cloud Platform - GCS - BigQuery Une expertise GCP / BigQuery est particulièrement intéressante pour le besoin.

🏢 Qui sommes-nous ? Visian Azur, filiale du Groupe Neurones, est une société de conseil spécialisée dans les projets data et applicatifs. Présents à Marseille, Aix-en-Provence, Sophia Antipolis, Montpellier, Toulouse et Lyon, nous accompagnons de grands comptes sur des projets techniquement exigeants. 💼 Le poste Vous rejoindrez le pôle Data de la Direction Technique d'un grand groupe français. Référent de l'exploitation de la plateforme Big Data, vous prendrez en charge son run en production et contribuerez à son évolution, au service des équipes projet et des utilisateurs. 🎯 Vos missions Maintenir la plateforme Datalake en conditions opérationnelles : traitement des incidents et des demandes des projets et des utilisateurs Participer à la mise en œuvre et à l'automatisation de nouvelles solutions Réaliser les mises en production Faire évoluer et améliorer les outils d'exploitation Informer et accompagner les utilisateurs de la plateforme Assurer le suivi de votre activité : bilan mensuel des tickets traités et point bimensuel sur l'avancement des projets 🛠️ Environnement technique Big Data : Hadoop, Spark, Kafka, Hive, HBase Conteneurisation : Docker, Kubernetes Automatisation et CI/CD : Ansible, Jenkins, GitHub Langages : Scala, Python Système : Unix / Linux

Développer les mécanismes d'ingestion de données internes et externes ; Participer à la mise en place d'un moteur de recherche de bases de données pour les métiers ; Concevoir et maintenir les pipelines de transformation de données ; Mettre en place et orchestrer les workflows de traitement ; Connecter les données aux outils d'analyse métier ; Garantir la qualité, la disponibilité et la fiabilité des données. Compétences obligatoires GCP : Cloud Run, IAM, BigQuery, GCS Terraform SQL Ingestion de données publiques et internes (Python, Fivetran, Rclone ou équivalent) Orchestration de workflows (Airflow, Argo Workflow ou équivalent) Transformations de données avec dbt

Dans le cadre d'un renforcement de nos équipes chez l'un de nos clients grands comptes dans le secteur bancaire. Nous recherchons un(e) Data Engineer/ Développeur pour intervenir dans un équipe Big Data & API qui développe et gère un datalake (GTLake) Votre objectif de mission : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets CASH et Trade A noter que notre client a démarré une phase de mutation du GTLake vers une gestion en code python/spark ( afin de remplacer informatica DEI ) La prestation demande donc faire preuve d'autonomie de curiosité et de rigueur pour traiter en toute sécurité de la modernisation de nos solutions de pipeline data ( migrations de workflows informatica ou des implémentations des projets) Ceci avec une approche moderne et industrielle.

Contexte de la mission : Viveris pilote les chantiers de transformation métier et IT qui contribuent à la performance des entreprises bancaires. Dans ce cadre, nous recherchons notre Data Engineer qui contribuera à un programme important d'évolution de la plateforme Data. Vos missions et responsabilités : - Analyser les besoins métiers et les traduire en solutions BI pertinentes et durables ; - Modéliser les données en cohérence avec les objectifs fonctionnels et les bonnes pratiques décisionnelles ; - Créer et maintenir les flux de données via des outils ETL, en assurant leur qualité, robustesse et performance ; - Participer à la recette et au suivi de production des chaînes décisionnelles, en lien étroit avec les utilisateurs ; - Assurer un rôle transverse sur les projets décisionnels : échange avec les MOA, rédaction de spécifications fonctionnelles, accompagnement des utilisateurs.

Dans le cadre du développement des projets Data, nous recherchons un Data Engineer / DataOps pou accompagner les différentes entités dans l'utilisation et l'industrialisation de la plateforme. Missions :Administrer, superviser et maintenir les workspaces Définir, documenter et faire évoluer les standards et bonnes pratiques Garantir la qualité, la sécurité et la conformité des services proposés aux différentes entités Industrialiser les environnements et déploiements avec des pratiques DevOps / IaC Tester et évaluer les nouvelles fonctionnalités Databricks puis formuler des recommandations Veiller au respect des politiques et accompagner leur mise en œuvre Contribuer à la conception et réalisation de use cases Data stratégiques portés par les différentes entités Participer à l'amélioration continue de l'écosystème Data et des processus d'exploitation Compétences techniques :Databricks : administration, configuration et exploitation de workspaces. Python / PySpark / Spark. Git et pratiques de gestion de code. AWS et/ou Azure. Infrastructure as Code (IaC) : Terraform, CloudFormation ou équivalent. DevOps / DataOps : CI/CD, automatisation, industrialisation et déploiement. Environnements Agile : Scrum et/ou Kanban.