Astrelya est un cabinet de conseil franco/suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l'excellence opérationnelle et l'innovation technologique. Il est composé de 300 expert passionnés. Le cabinet accompagne ses clients sur l'ensemble du cycle de transformation, depuis la phase de cadrage jusqu'à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Dans le cadre de notre développement, nous recherchons un Data Engineer – Plateforme Data B2C AWS / Databricks Contexte Vous rejoignez un programme stratégique de refonte d'une plateforme B2C à l'échelle mondiale, dans un environnement Agile Scrum. Description du poste En tant que Data Engineer, vous jouez un rôle clé dans la conception, le développement et l'évolution de la plateforme Data. Vous intervenez à la fois comme leader technique et acteur opérationnel avec pour objectif de garantir la qualité, la performance, la fiabilité et la maîtrise des coûts de la plateforme, tout en contribuant à la valorisation des données. Responsabilités principales Concevoir et développer des architectures Data cloud-native sur AWS, basées sur Databricks Garantir la qualité, la cohérence et la fiabilité des données tout au long de leur cycle de vie. Participer activement au développement conception et développement de pipelines Data ; traitements batch et streaming ; optimisation des performances. Définir, mettre en œuvre et promouvoir les bonnes pratiques de Data Engineering Mettre en place des mécanismes de monitoring et de contrôle de la qualité des données Piloter l'optimisation des coûts AWS et Databricks liés aux traitements Data dans une démarche FinOps. Accompagner les Data Engineers et développeurs Collaborer étroitement avec les équipes Produit et IT, dans un environnement international et multiculturel. Stack technique Data & Cloud Databricks AWS : S3, EC2, RDS, Lambda Langages & Frameworks Java SQL Apache Spark DevOps & CI/CD GitHub Enterprise ArgoCD SonarQube Intégration & Services Kafka PostgreSQL Collaboration & Agile Jira Confluence Agile Scrum Soft Skills Leadership technique : capacité à guider, structurer et faire grandir une équipe Data. Vision transverse : compréhension des enjeux métiers, Data et Cloud, et capacité à les mettre en perspective. Communication : aptitude à vulgariser des concepts techniques et à communiquer efficacement avec différents interlocuteurs. Esprit collaboratif et interculturel : capacité à travailler efficacement avec des équipes internationales. Proactivité et adaptabilité : capacité à anticiper les risques liés à la qualité, aux coûts et aux performances, et à évoluer dans un contexte Agile.
Dans le cadre d'un projet de transformation Finance & Data au sein d'un grand groupe international, nous recherchons un Expert OneStream Data Integration / EPM Technical Consultant. OneStream est déjà en production. L'objectif de la mission n'est pas d'implémenter la solution, mais de mieux exploiter les données financières présentes dans OneStream et d'industrialiser leur extraction vers une plateforme Data externe. Le consultant interviendra notamment sur l'analyse du design existant de OneStream, la compréhension des cubes, comptes, entités et dimensions, ainsi que sur la définition et la mise en œuvre des mécanismes techniques permettant d'extraire les données avec un niveau de granularité suffisant. Les principales responsabilités seront : analyser l'architecture et le modèle de données OneStream existant ; comprendre les besoins Finance et les périmètres de reporting ; définir les modalités d'extraction de données depuis OneStream ; travailler sur des mécanismes tels que REST API, BRApi, Cube Views, Data Management, Query Tool, exports automatisés ou développements spécifiques ; récupérer des données financières détaillées avec comptes, entités et dimensions ; industrialiser les flux sortants de OneStream vers une plateforme Data ; permettre l'exploitation des données P&L et bilan dans un environnement Data / BI externe ; collaborer avec les équipes Data sur des environnements Azure / Databricks ; participer à la modélisation des données nécessaires aux restitutions ; traiter les problématiques de consolidation, intercompany et éliminations ; contribuer à la mise en place d'une Golden Source Finance ; participer à la recette chiffre-à-chiffre entre OneStream et la plateforme Data ; sécuriser la qualité, la traçabilité et la cohérence des données ; contribuer à l'industrialisation de dashboards de pilotage à destination du management. Le point central de la mission est la capacité à sortir techniquement et de manière industrialisée les données de OneStream vers un environnement externe, et non uniquement à administrer ou paramétrer OneStream.
Dans le cadre de la modernisation de sa plateforme data et de la montée en charge de ses projets IA, un grand compte recherche un Data Architect pour concevoir une architecture data performante, condition pour que les projets d'analyse, de BI et d'IA puissent passer à l'échelle. Le consultant interviendra notamment sur : ▪ La conception de l'architecture data cible : Data Warehouse, Lakehouse, modélisation normalisée (étoile, flocon, Data Vault) ▪ Le cadrage des migrations cloud des actifs data ▪ La définition des patterns d'alimentation des cas d'usage IA : feature stores, pipelines RAG, gouvernance des données d'entraînement ▪ La définition des standards de modélisation, de sécurité et de gouvernance des données ▪ L'accompagnement des équipes data engineering dans la mise en œuvre ▪ Les arbitrages techniques et la rédaction des dossiers d'architecture
Nous recherchons un Consultant Senior Power BI / GenAI pour intervenir sur des sujets BI à forte orientation métier. Le besoin porte sur deux dimensions : une expertise solide de Power BI pour concevoir des dashboards décisionnels, travailler sur DAX, Power Query et la modélisation des données, ainsi qu'une expérience concrète de l'IA générative en contexte professionnel. Le consultant devra comprendre les besoins des équipes métiers, transformer les données en informations exploitables et identifier des usages pertinents de la GenAI. L'objectif est d'aller au-delà de l'utilisation théorique des outils et de pouvoir contribuer à des solutions réellement exploitables par les utilisateurs. La mission est basée à Saint-Priest, proche de Lyon, en 100 % présentiel. Démarrage ASAP pour une durée initiale de 6 mois, avec possibilité d'extension.
Il est garant de l'accès qualitatif aux sources de données. Il s'assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d'en faciliter l'exploitation par les équipes (Data Analysts et Data Scientists). Il contribue également à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer. Son périmètre d'intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT, … QUALIFICATION ET GESTION DES DONNÉES : • Capte les données (structurées et non structurées) produites dans les différentes applications ou à l'extérieur de l'entité • Intègre les éléments • Structure la donnée (sémantique, etc.) • Cartographie les éléments à disposition • Nettoie la donnée (élimination des doublons, …) • Valide la donnée • Éventuellement, il crée le référentiel de données Résultat attendu Le prestataire devra développer un outil dans databricks qui permet de filtrer les clients selon des critères définis par le client. Il devra livrer une interface permettant d'activer ou désactiver les filtres et produire des rapports sur les clients sélectionnés ce jour. Il devra développer un ETL en utilisant les services AWS les plus adaptés: notamment AWS Step Functions pour l'orchestration / moteur de workflow AWS lambda pour des traitements légers AWS Aurora ou RDS comme BDD relationnelle transactionnelle Eventuellement Databricks si besoin d'offload pour des charges de traitements / transformations lourdes Les données entrantes seront récupérés via des API ou des fichiers plats Les données sélectionnées et transformées seront envoyées dans une 20aine d'API
Missions : -Administration & Administration Databricks : Administrer, surveiller et maintenir les espaces de travail Databricks du CoE. -Standards & Industrialisation : Élaborer, documenter et faire évoluer les standards, bonnes pratiques et blueprints groupe. -Accompagnement & Enablement : Accompagner les équipes métiers et Data dans l'adoption de l'écosystème Databricks et leur conformité avec les politiques groupe. -Delivery : Contribuer directement à la conception et la réalisation de use cases stratégiques portés par les différentes entités. -Veille & Innovation : Tester, évaluer et recommander les nouvelles fonctionnalités Databricks et outils partenaires pour améliorer la plateforme. Télétravail : 3 jours par semaine (2 jours sur site).
Dans le cadre d'un projet stratégique au sein d'un grand environnement bancaire, nous recherchons un Data Engineer / Data Lake Developer expérimenté pour renforcer une équipe IT Data et accompagner le déploiement d'une nouvelle plateforme Databricks. Le consultant interviendra sur la conception, le développement et l'industrialisation des composants nécessaires à l'alimentation et à l'exploitation du Data Lake, au sein d'un environnement Agile et international. MissionsConcevoir et développer des pipelines d'ingestion et de transformation de données robustes et scalables, en batch et temps réel. Développer et maintenir les flux ETL Talend alimentant le Data Lake et les systèmes consommateurs. Développer des traitements Python / PySpark sur Databricks. Mettre en œuvre et optimiser les modèles de données cibles. Automatiser les transformations, la documentation et les tests avec dbt. Développer et configurer des flux CDC (Change Data Capture). Mettre en place les bonnes pratiques de Data Quality, monitoring, alerting et logging. Développer des composants réutilisables : templates de pipelines, librairies partagées et frameworks CI/CD. Réaliser les développements et tests associés. Participer aux mises en production et à l'industrialisation des solutions. Compétences techniques recherchéesForte expertise sur Talend ETL : développement, debugging et industrialisation. Bonne maîtrise de Python et PySpark. Expérience significative sur Databricks : Jobs, Workflows, Delta Lake, Notebooks et optimisation. Excellente maîtrise de SQL, notamment sur les requêtes complexes et l'optimisation des performances. Expérience pratique de dbt pour la transformation et la modélisation des données. Bonne connaissance des problématiques CDC / Change Data Capture. Une expérience sur Qlik Replicate / Attunity est fortement appréciée. Connaissance de Kafka appréciée. Connaissances en Java. Expérience DevOps : Git, CI/CD, automatisation des tests et des déploiements. Utilisation d'outils d'IA générative pour accélérer les développements Python, PySpark et SQL, le refactoring et les tests. Profil recherchéVous justifiez d'au moins 3 ans d'expérience en Data Engineering / Data Lake. Vous êtes autonome, rigoureux, proactif et disposez de solides capacités d'analyse. Vous êtes également à l'aise dans des environnements exigeants et possédez un bon relationnel client. Anglais courant obligatoire.
Nous recherchons un(e) data engineer Databricks capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : ydz1qjgta5
L'équipe que vous allez rejoindre est en charge d'accompagner les équipes métiers et IT dans la conception, le développement et l'industrialisation de solutions autour de la Data et de la GenAI. Dans un contexte de forte croissance des usages data et des volumes traités, l'équipe joue un rôle clé dans l'accélération des initiatives data du Groupe, en s'appuyant sur l'écosystème technologique (notamment AWS, Dataiku, Collibra, Databricks) et en garantissant l'alignement avec les standards de sécurité, de gouvernance et de performance. Les activités de l'équipe couvrent l'ensemble de la chaîne de valeur de la donnée, depuis sa collecte et son ingestion jusqu'à sa transformation et sa valorisation, en intégrant les enjeux d'optimisation des performances et des coûts. En parallèle, l'équipe conçoit et développe des outils, frameworks et solutions visant à simplifier l'expérience des utilisateurs, à industrialiser les pratiques et à accélérer le développement et le déploiement de cas d'usage Data et GenAI au sein de l'écosystème.
Contexte de la mission : Viveris vous propose un poste de Data Engineer au sein d'un acteur majeur du secteur de l'énergie, intervenant sur des plateformes de traitement de données à grande échelle. Dans un contexte de transformation du SI décisionnel, l'équipe mène des projets stratégiques de modernisation de la plateforme Big Data. Les principaux enjeux portent sur la migration des traitements vers Apache Spark, ainsi que sur la refonte de la plateforme de données dans le cloud avec Databricks à moyen terme. Dans ce cadre, vous interviendrez sur le développement et l'optimisation des pipelines de données, la fiabilisation des traitements et l'accompagnement de la transformation de l'écosystème Data. Vous devrez maîtriser les technologies Spark et Databricks, et justifier d'une expérience en modélisation de données, et transformation des traitements Data. Responsabilités : - Migration de traitements Informatica et PL/SQL vers Spark ; - Participation au projet stratégique de migration vers le cloud ; - Garantir la performance, la robustesse et la qualité des données ; - Documentation et partage de connaissances.
• Concevoir et implémenter des pipelines d'ingestion et de transformation de données (batch et temps réel), robustes et scalables. • Développer et maintenir les flux ETL Talend qui alimentent le datalake et les systèmes consommateurs. • Développer des traitements Python / PySpark sur Databricks et mettre en œuvre les modèles de données cibles. • Automatiser les transformations, la documentation et les tests de données avec dbt. • Configurer les pipelines d'acheminement des données, y compris les flux CDC. • Mettre en place les bonnes pratiques de qualité de données, de monitoring, d'alerting et de logging. • Développer des modules réutilisables (templates de pipelines, librairies communes, CI/CD) et exploiter les modules existants dans les nouveaux projets. • Réaliser les développements et les tests associés, et accompagner les mises en production.
