Contexte & Enjeux Dans le cadre du passage à l'échelle de sa plateforme Data (croissance rapide de 100 à plus de 500 DAGs en production), l'environnement AWS MWAA du client subit des ralentissements majeurs et une instabilité récurrente. L'équipe technique dispose déjà d'un premier historique de recommandations, mais fait face à un effet de « balancier » : la résolution d'une anomalie en entraîne de nouvelles. L'objectif actuel est de sortir d'un mode uniquement réactif (pompier) pour reprendre la main de manière proactive sur la plateforme, comprendre les fondements infra/système, et offrir une sérénité totale sur le delivery et les déploiements. Missions & Responsabilités Le consultant aura les mains libres et la responsabilité directe de la stabilité de la plateforme Airflow, en lien étroit avec les équipes Ops et Tech Lead : Urgence & Stabilisation Immédiate (Court Terme) : Réaliser un diagnostic flash des métriques de production et traiter la cause racine des pannes récurrentes (No space left on device, Deadlocks BDD, blocages Virtual Hand, dérives de parsing DagBag). Isoler et corriger les comportements asynchrones non reproductibles (erreurs survenant uniquement en production liées aux dépendances de plugins). Apporter des correctifs opérationnels immédiats pour restaurer la fiabilité des exécutions. Audit Infra, Tuning & Proactivité (Moyen Terme) : Évaluer le dimensionnement global de MWAA (arbitrage et réglages des instances, scaling horizontal vs vertical des workers, allocation de mémoire/CPU, gestion des slots et de la concurrence). Mettre en place et affiner l'observabilité de l'infrastructure via AWS CloudWatch (suivi du heartbeat du Scheduler, des connexions MetaDB, de la charge des workers) pour détecter les anomalies avant la panne. Analyser l'impact du code des DAGs sur la plateforme (distinction entre temps de parsing et temps d'exécution, suppression du code top-level bloquant, accompagnement sur l'usage des DAG Factory). Pérennisation & Trajectoire Future (Long Terme) : Définir la trajectoire d'évolution infra, notamment la sortie des workers vers des conteneurs Docker pour isoler les traitements. Garantir la sécurité et la fiabilité des déploiements dans la CI/CD pour que les équipes projets puissent délivrer leurs pipelines sans risquer de déstabiliser la plateforme. Transmettre les bonnes pratiques de configuration aux équipes en place.
ContexteAvec la livraison récente de la toute nouvelle Data Factory, qui consiste en un datawarehouse transversal à l'entreprise ainsi qu'une multitude de services et clients associés, en production ou en devenir. MissionsRéférence sur tous les choix technologiques et architecturaux de la plateforme Analyse des besoins, définition de la solution technique et validation des nouveaux cas d'usage à l'implémentation sur la plateforme Identification et analyse des gaps entre les besoins des cas d'usage et les fonctionnalités de la plateforme datafactory mutualisée Coordination avec les différents référents IT (projet et prod), métier (CDO et end users), établissement des priorités IT et des trajectoires nécessaires Contribution à la mise à jour des documents techniques (cartographies, document d'architecture, principes d'éligibilité et d'utilisation de la plateforme, etc.)
ContexteLa squad Server, au sein d'une grande entreprise du secteur bancaire, a pour mission d'exposer et d'orchestrer des produits "Server", majoritairement des solutions de virtualisation d'OS, pour les usages du groupe. Elle permet le provisionnement et la gestion d'une gamme étendue de produits répondant à des besoins métiers variés. Plusieurs solutions existantes vont être rapprochées via l'opportunité du chantier en cours de passage au nouvel outil d'automatisation. Il s'agit donc d'un projet de refonte profonde aussi bien sur la stack technologique que sur les produits. Suite à ce chantier et à la migration du parc existant, plusieurs évolutions sont prévues avec la mise en œuvre de fonctionnalités attendues par les clients. Dans ce contexte, l'équipe cherche à se renforcer avec des gestionnaires de run spécialisés dans le support au développement et à l'orchestration d'infrastructure as code. La stack technologique étant orientée sur Python et Terraform, un(e) développeur/OPS sur ces deux technologies est recherché(e) pour assurer le support sur les produits de la squad. MissionsDéveloppement des nouveaux correctifs pour les workflows de provisionnement et de gestion d'infrastructure as code pour le projet VMWARE as code. Mise en place de librairies standards partagées entre produits. Intégration à un nouvel outil d'automatisation (AirFlow/Terraform). Développement de nouvelles fonctionnalités avec Python, Go et Terraform. Mise à disposition de l'offre dans la marketplace interne. Outils & EnvironnementPython Terraform Go AirFlow Jira Méthodologie Scrum Conditions de travailMission au sein de la squad Server Expérience requise : au moins 3 ans dans le domaine de l'infrastructure as code (IaC) Langue : anglais nécessaire
ContexteLe consultant intégrera l'équipe Data & AI, dont la principale mission est d'ingérer, centraliser et transformer les données issues de différents systèmes afin de répondre à différents usages métiers : Self-service BI — mise à disposition de données exploitables en autonomie par les équipes métier Dashboards — visualisation et pilotage de la performance Reporting — production de rapports structurés Applications Data — développement de solutions applicatives orientées usage métier MissionsL'équipe Data & AI poursuit la construction et le maintien de sa Data Foundation. Ce socle repose sur une plateforme data composée : d'un outil interne pour la récupération des sources de données, Snowflake comme entrepôt de données, DBT pour la modélisation et les transformations, et Airflow pour l'orchestration des pipelines. Dans le cadre d'un remplacement, nous recherchons un Data Engineer qui interviendra exclusivement sur la partie Data Foundation, et plus précisément sur la création de nouvelles pipelines et la maintenance des pipelines existantes. Le consultant prendra en charge ces pipelines de bout en bout : de la récupération des données sources jusqu'à leur mise à disposition — ingérée dans Snowflake, modélisée et testée — pour les usages métiers. Le consultant évoluera au sein de l'équipe Data Foundation et travaillera en étroite collaboration avec : Business Data Analysts : expression et cadrage des besoins de données, compréhension des usages métiers. Data Engineers de l'équipe Data Foundation : conception, développement et maintenance des pipelines, partage des bonnes pratiques.
Dans le cadre du renforcement de son équipe Data, une entreprise internationale recherche un Consultant Data Analytics Senior afin de renforcer ses capacités en modélisation de données et en restitution analytique. La mission consiste à fiabiliser l'ensemble de la chaîne de traitement de la donnée, depuis les données brutes jusqu'à la mise à disposition d'indicateurs et de tableaux de bord répondant aux besoins des équipes métiers. Missions principales Concevoir, développer et maintenir des modèles de données avec dbt, en assurant leur modélisation, leurs tests et leur documentation. Orchestrer, optimiser et fiabiliser les pipelines de transformation des données. Concevoir des tableaux de bord métiers clairs, pertinents et exploitables. Recueillir les besoins des équipes métiers et les traduire en indicateurs, modèles de données et solutions analytiques. Contribuer à l'amélioration de la qualité, de la gouvernance et de la documentation des données. Participer aux évolutions de l'architecture Data, notamment aux projets de migration et aux travaux d'optimisation des performances et des coûts. Atouts complémentairesUne expérience dans les secteurs du luxe, de la mode, du retail ou de la distribution haut de gamme constitue un plus. Une expérience au sein d'organisations internationales et dans des environnements Data complexes est appréciée.
La Digital Factory Supply Chain conçoit et développe les services digitaux couvrant l'ensemble de l'approvisionnement, de la commande automatique en magasin à la gestion des fournisseurs, de la préparation en entrepôt au transport vers les points de vente. La prestation s'inscrit dans le cadre du projet Data Supply, composante majeure de la transformation de l'architecture data et de la gouvernance Supply Chain. Le projet s'articule notamment autour de : La centralisation et la fiabilisation des données Supply Chain dans le Data Lake Phenix / Darwin sous GCP / BigQuery. La valorisation et la diffusion des données auprès des métiers via des reportings, extractions automatisées et pushs mails. La structuration et la modélisation des données afin de fournir aux décideurs métiers des indicateurs fiables, automatisés et ciblés. Livrables attendus : Modèles sémantiques, dictionnaires de données et référentiels de règles de gestion unifiés. Scripts BigQuery et pipelines d'extractions/pushs automatisés. Tableaux de bord BI sous Looker Studio / Tableau. Cartographie des données sources et documentation des flux migrés.
Contexte Dans le cadre de notre croissance, nous recrutons Deux Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d'ingestion, de transformation et de fiabilité des données. Missions Développement et ingestion de données • Concevoir et développer des pipelines de données en Python et Spark sur Databricks • Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake) • Optimiser les traitements et les performances Orchestration et qualité des données • Orchestrer les workflows avec AWS Airflow • Mettre en place des contrôles qualité et des mécanismes de validation • Développer des outils de monitoring et de gestion des anomalies Maintien en condition opérationnelle • Assurer la disponibilité et la performance des pipelines • Diagnostiquer et corriger les incidents • Participer à l'amélioration continue des traitements Contribution • Participer aux ateliers techniques et aux échanges avec les équipes • Documenter les pipelines, architectures et processus • Contribuer aux bonnes pratiques Data et Big Data
Dans le cadre d'un programme de transformation et de modernisation du système d'information, nous recherchons un Architecte Solution / Architecte Transverse pour accompagner plusieurs chantiers structurants au sein d'un environnement SI complexe. Vous interviendrez sur des sujets d'urbanisation, d'intégration, de Data et d'infrastructure, avec pour objectif de garantir la cohérence et l'évolution des architectures entre les différents domaines du SI. Vos missionsAccompagner la définition des architectures cibles et des trajectoires d'évolution du SI. Analyser les architectures existantes et identifier les axes de modernisation. Concevoir et challenger les architectures de solutions. Garantir la cohérence et l'urbanisation entre les différents domaines : Data, Middleware, applications Core, Finance et Infrastructure. Participer à la refonte et à la rationalisation des flux Middleware et inter-applicatifs. Accompagner la migration des chaînes d'ordonnancement vers Apache Airflow. Participer aux travaux d'architecture autour des plateformes Data et analytiques. Contribuer aux dispositifs de reprise informatique, résilience et haute disponibilité. Identifier les dépendances entre applications, données, flux et infrastructures. Participer aux choix de solutions et aux arbitrages techniques. Collaborer avec les équipes Data, Middleware, Infrastructure, Sécurité, Développement et Finance. Produire et maintenir les livrables d'architecture : DAT, HLD, LLD, cartographies de flux, dossiers d'architecture, etc. Présenter et vulgariser les choix d'architecture auprès des différentes parties prenantes. Environnement techniqueApache Airflow Data Lake / plateformes analytiques Middleware / ESB / API Kafka / architectures événementielles SAP / Finance Applications Core / développements spécifiques Cloud et infrastructures hybrides Automatisation / Infrastructure as Code PCA / PRA / PRI Haute disponibilité et résilience Profil recherchéFormation supérieure en école d'ingénieur ou équivalent. 5 à 8 ans minimum d'expérience sur des fonctions d'Architecture Solution, Architecture SI ou Architecture Transverse. Expérience sur des SI complexes et fortement interconnectés. Bonne maîtrise des problématiques d'urbanisation du SI. Expérience significative sur les architectures Middleware et les échanges inter-applicatifs. Bonne connaissance des flux API, messaging, batch, fichiers et événements. Connaissance des problématiques d'ordonnancement et d'orchestration. Une expérience sur Apache Airflow est fortement appréciée. Expérience sur des architectures Data / Data Lake / plateformes analytiques. Connaissance des enjeux PCA/PRA/PRI, haute disponibilité et résilience. Une expérience dans des environnements SAP / Finance est un plus. Capacité à challenger les choix techniques tout en restant suffisamment proche des équipes opérationnelles. Bon esprit d'analyse et de synthèse, autonomie, rigueur et capacité de coordination. Excellente capacité à vulgariser des sujets d'architecture complexes. Le profil recherché est à la fois transverse et suffisamment hands-on pour être capable d'entrer dans le détail technique lorsque nécessaire.
Bonjour A tous , L'un de mes clients a Marseille recherche un profil Talend : c'est urgent! Talend Cloud / TMC : développement et planification des traitements d'intégration de données. Java, Apache Kafka et Kafka Streams : production, consommation et routage des messages. n8n : automatisation des workflows et intégration avec Cardex et Salesforce. SQL Server, Oracle et PostgreSQL : manipulation des données, suivi des traitements et gestion des reprises. API REST, JSON et Schema Registry : échanges entre applications et validation des formats de données. OAuth2, Vault et TLS : authentification, gestion des secrets et sécurisation des connexions. Futurs projets : Apache Airflow et Python pour orchestrer les pipelines et développer des traitements de données.
Missions : Être la référence technique Data Engineering : définir les standards d'architecture, challenger les choix techniques, industrialiser les pipelines, garantir performance/qualité/sécurité et accompagner les équipes. Profils recherchés : Senior / Expert – Lead Data Engineer / Data Architect / Data Engineering Design Authority Compétences : Architecture Data, batch/streaming, Kafka, Spark, Airflow, Databricks, Snowflake, Cloud, DataOps, gouvernance/sécurité. Anglais B2+
Cherry Pick est à la recherche d'un Expert Airflow (H/F) pour l'un de ses clients qui opère dans le secteur de l'automobile. Description🎯 Contexte de missionDans le cadre de la stabilisation d'une plateforme Amazon Managed Workflows for Apache Airflow (MWAA) rencontrant des dysfonctionnements récurrents, la mission consiste à intervenir en Task Force afin d'identifier les causes racines, rétablir rapidement la stabilité de la plateforme et sécuriser durablement son fonctionnement. L'intervention nécessite un véritable expert Airflow / MWAA, capable d'aller au-delà du développement de DAGs pour intervenir sur l'architecture, le paramétrage, les performances et les mécanismes internes d'Airflow. 📋 Missions principales et rôleRéaliser un diagnostic flash des incidents, dysfonctionnements et goulots d'étranglement. Identifier les causes racines des problèmes rencontrés. Mettre en œuvre des correctifs immédiats afin de restaurer la stabilité de la plateforme. Reprendre et analyser les conclusions des expertises précédentes. Auditer l'architecture, la configuration et le paramétrage de l'environnement MWAA. Analyser les problématiques liées aux Schedulers, Executors, Celery et à la base de métadonnées Airflow. Investiguer les problématiques de parallélisme, mémoire, ressources et dimensionnement. Analyser les logs et métriques afin d'identifier les problèmes de performance. Investiguer notamment les fuites mémoire, locks BDD, problèmes de capacité et d'auto-scaling MWAA. Construire une feuille de route corrective priorisée. Piloter la mise en œuvre des actions de remédiation. Mesurer l'efficacité des corrections via des KPIs de performance et de stabilité. Accompagner les équipes internes dans l'application des bonnes pratiques Airflow / MWAA. Contribuer à la pérennisation de la plateforme et à l'amélioration de son architecture. 🎯 ObjectifsCourt terme : rétablir rapidement la stabilité et la disponibilité de la plateforme MWAA. Moyen terme : identifier précisément les causes structurelles des dysfonctionnements. Long terme : mettre en place une architecture et une configuration robustes, performantes et maintenables. Réduire durablement le taux d'incidents et les problèmes de performance. Transférer l'expertise aux équipes en place.
Descriptif de la mission Notre client recherche un architecte transverse pour effectuer la mission suivante : - Intégrer l'équipe architecture transverse pour assurer la cohérence technologique sur le périmètre englobant plusieurs services IT (Middleware, Data, ERP, développement...) - Participer à la vulgarisation des architectures complexes afin de faciliter la prise de décision pour les métiers et le management - Interagir avec les équipes opérationnelles et les Chefs de Projets pour le suivi des chantiers - Assurer une assistance dans le pilotage des chantiers de refonte de l'infrastructure, notamment sur le socle analytique, l'ordonnancement et les flux inter-applicatifs - Contribuer à l'évaluation et à la conception des solutions adaptées aux besoins du client - Participer à la définition de l'architecture pour l'automatisation du PRI afin de garantir la résilience applicative - Aider au pilotage technique de la refonte de l'ordonnanceur, notamment pour la migration vers Airflow - Contribuer à l'architecture technique de la refonte des flux Middleware - Participer à la conception et au développement de certains projets Data - Travailler conjointement avec la Cybersécurité pour valider l'architecture et l'intégration sécurisée des solutions
ContexteDans le cadre du renforcement des équipes R&D d'un grand compte, nous recherchons un(e) Data Engineer pour participer à la structuration, l'ingestion et la valorisation des données métiers et scientifiques. Vous rejoindrez une équipe dynamique pour concevoir des pipelines de données performants, développer des outils de recherche de bases de données pour les équipes opérationnelles et connecter l'écosystème aux outils d'analyse (SevenBridges). Début de mission : ASAP Durée : 1 an Localisation : Hybride (Télétravail + Présentiel) MissionsIngestion de données : Mettre en place et maintenir l'ingestion de données publiques et internes (scripts Python sur-mesure, Fivetran, Rclone, etc.). Search Data : Participer au développement d'un outil de recherche et d'exploration de bases de données à destination des équipes métiers. Pipelines de transformation : Concevoir et optimiser les workflows d'orchestration et de transformation de la donnée. Interconnexion d'outils : Assurer la connexion et le flux de données vers les plateformes d'analyse spécialisées (notamment SevenBridges).
Missions principales ■ Être force de proposition et participer à la conception des solutions techniques avec les membres de l'équipe ■ Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels ■ Participer aux cérémonies Agile SAFe : PI Planning, macro-chiffrage, raffinements, rétrospectives, etc. ■ Concevoir et faire évoluer les architectures de données selon l'approche Databricks Medallion Architecture (Bronze, Silver, Gold) ■ Garantir la qualité, la fiabilité et la performance des traitements en production : jobs Databricks et API ■ Contribuer à l'amélioration continue de la plateforme en proposant des optimisations, des bonnes pratiques et des innovations Activités ■ Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers ■ Mettre en œuvre et orchestrer les traitements de données avec Databricks ■ Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d'indexation, d'optimisation et de gouvernance ■ Optimiser les performances des traitements Databricks : Spark, Delta Lake, coûts et temps d'exécution ■ Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD ■ Concevoir, développer et maintenir des API pour l'exposition et la consommation des données ■ Mettre en place des mécanismes de Data Quality, de monitoring et d'alerting ■ Identifier, analyser et résoudre les incidents de production, avec suivi des actions correctives ■ Rédiger et maintenir la documentation technique des solutions mises en œuvre ■ Accompagner les équipes dans l'adoption des bonnes pratiques de Data Engineering
Présentation de la missionAu sein de la Digital Factory Supply Chain, structure dédiée à la conception et au développement des services digitaux couvrant l'ensemble de la chaîne d'approvisionnement (de la commande automatique en magasin à la gestion des fournisseurs, de la préparation en entrepôt au transport vers les points de vente), nous recherchons un(e) Data Analyst Senior. Vous interviendrez dans le cadre du projet Data Supply, composante majeure de la transformation de l'architecture data et de la gouvernance Supply Chain au sein d'un grand groupe du secteur du Retail / Grande Distribution. Le projet s'articule notamment autour de : La centralisation et la fiabilisation des données Supply Chain au sein du Data Lake sous environnement GCP / BigQuery. La valorisation et la diffusion automatisée des données auprès des directions métiers (reportings, extractions automatisées, pushs d'alertes). La structuration et la modélisation des données afin de fournir aux décideurs métiers des indicateurs fiables, automatisés et ciblés. Informations clés sur la missionLocalisation : Île-de-France Modalités de travail : Hybride (3 jours par semaine sur site / 2 jours en télétravail) TJM Max : 430 € / jour Date de démarrage : Dès que possible (ASAP) Date de fin prévisionnelle : 28/10/2027 Missions et Livrables attendus1. Modélisation & Gouvernance des DonnéesÉlaboration et maintien des modèles sémantiques, des dictionnaires de données et des référentiels de règles de gestion unifiés. Realisation de la cartographie des données sources et documentation détaillée des flux migrés vers le Data Lake. 2. Engineering, Data Transformation & AutomationDéveloppement, optimisation et maintenance de scripts BigQuery complexes. Mise en place et gestion de pipelines d'extractions et de diffusion automatisée de données. 3. Restitution & Visualisation BIConception, déploiement et optimisation de tableaux de bord interactifs et ergonomiques sous Looker Studio / Tableau. Identification, structuration et suivi des KPIs critiques pour le pilotage de la performance Supply Chain.
