Nous recrutons pour une entreprise du secteur de l'assurance un ou une Lead Data Engineer pour concevoir, fiabiliser et industrialiser sa plateforme data. Vous combinerez expertise technique, conception d'architecture et accompagnement d'équipe. Vous veillerez à la qualité, à la sécurité et à la performance des données, en lien étroit avec les équipes IT et métiers. Vos missions Pilotage et leadership Accompagner une équipe de Data Engineers et, éventuellement, d'Analytics Engineers Définir et promouvoir les bonnes pratiques en matière de qualité, de documentation, de gestion de versions et de supervision des données Jouer un rôle de référent technique et garantir la cohérence des choix d'architecture, en collaboration avec les équipes DevOps et l'architecte d'entreprise Travailler avec les équipes métiers, notamment en actuariat, finance, gestion des sinistres et marketing, ainsi qu'avec les équipes IT Data engineering Concevoir et maintenir des pipelines de données robustes et évolutifs Orchestrer les flux de données avec Apache Airflow Modéliser et structurer les bases de données selon les besoins analytiques Garantir la performance, la sécurité et la traçabilité des données Industrialisation et DevOps Mettre en œuvre les pratiques CI/CD pour les projets data Automatiser les tests, les déploiements et les contrôles qualité Collaborer avec les équipes DevOps et Réseaux sur la gestion et la sécurisation des environnements Superviser les traitements et contribuer à la gestion des incidents data
ContexteLe consultant intégrera l'équipe Data & AI, dont la principale mission est d'ingérer, centraliser et transformer les données issues de différents systèmes afin de répondre à différents usages métiers : Self-service BI — mise à disposition de données exploitables en autonomie par les équipes métier Dashboards — visualisation et pilotage de la performance Reporting — production de rapports structurés Applications Data — développement de solutions applicatives orientées usage métier MissionsL'équipe Data & AI poursuit la construction et le maintien de sa Data Foundation. Ce socle repose sur une plateforme data composée : d'un outil interne pour la récupération des sources de données, Snowflake comme entrepôt de données, DBT pour la modélisation et les transformations, et Airflow pour l'orchestration des pipelines. Dans le cadre d'un remplacement, nous recherchons un Data Engineer qui interviendra exclusivement sur la partie Data Foundation, et plus précisément sur la création de nouvelles pipelines et la maintenance des pipelines existantes. Le consultant prendra en charge ces pipelines de bout en bout : de la récupération des données sources jusqu'à leur mise à disposition — ingérée dans Snowflake, modélisée et testée — pour les usages métiers. Le consultant évoluera au sein de l'équipe Data Foundation et travaillera en étroite collaboration avec : Business Data Analysts : expression et cadrage des besoins de données, compréhension des usages métiers. Data Engineers de l'équipe Data Foundation : conception, développement et maintenance des pipelines, partage des bonnes pratiques.
Contexte & Enjeux Dans le cadre du passage à l'échelle de sa plateforme Data (croissance rapide de 100 à plus de 500 DAGs en production), l'environnement AWS MWAA du client subit des ralentissements majeurs et une instabilité récurrente. L'équipe technique dispose déjà d'un premier historique de recommandations, mais fait face à un effet de « balancier » : la résolution d'une anomalie en entraîne de nouvelles. L'objectif actuel est de sortir d'un mode uniquement réactif (pompier) pour reprendre la main de manière proactive sur la plateforme, comprendre les fondements infra/système, et offrir une sérénité totale sur le delivery et les déploiements. Missions & Responsabilités Le consultant aura les mains libres et la responsabilité directe de la stabilité de la plateforme Airflow, en lien étroit avec les équipes Ops et Tech Lead : Urgence & Stabilisation Immédiate (Court Terme) : Réaliser un diagnostic flash des métriques de production et traiter la cause racine des pannes récurrentes (No space left on device, Deadlocks BDD, blocages Virtual Hand, dérives de parsing DagBag). Isoler et corriger les comportements asynchrones non reproductibles (erreurs survenant uniquement en production liées aux dépendances de plugins). Apporter des correctifs opérationnels immédiats pour restaurer la fiabilité des exécutions. Audit Infra, Tuning & Proactivité (Moyen Terme) : Évaluer le dimensionnement global de MWAA (arbitrage et réglages des instances, scaling horizontal vs vertical des workers, allocation de mémoire/CPU, gestion des slots et de la concurrence). Mettre en place et affiner l'observabilité de l'infrastructure via AWS CloudWatch (suivi du heartbeat du Scheduler, des connexions MetaDB, de la charge des workers) pour détecter les anomalies avant la panne. Analyser l'impact du code des DAGs sur la plateforme (distinction entre temps de parsing et temps d'exécution, suppression du code top-level bloquant, accompagnement sur l'usage des DAG Factory). Pérennisation & Trajectoire Future (Long Terme) : Définir la trajectoire d'évolution infra, notamment la sortie des workers vers des conteneurs Docker pour isoler les traitements. Garantir la sécurité et la fiabilité des déploiements dans la CI/CD pour que les équipes projets puissent délivrer leurs pipelines sans risquer de déstabiliser la plateforme. Transmettre les bonnes pratiques de configuration aux équipes en place.
Dans le cadre d'un programme de transformation et de modernisation du système d'information, nous recherchons un Architecte Solution / Architecte Transverse pour accompagner plusieurs chantiers structurants au sein d'un environnement SI complexe. Vous interviendrez sur des sujets d'urbanisation, d'intégration, de Data et d'infrastructure, avec pour objectif de garantir la cohérence et l'évolution des architectures entre les différents domaines du SI. Vos missionsAccompagner la définition des architectures cibles et des trajectoires d'évolution du SI. Analyser les architectures existantes et identifier les axes de modernisation. Concevoir et challenger les architectures de solutions. Garantir la cohérence et l'urbanisation entre les différents domaines : Data, Middleware, applications Core, Finance et Infrastructure. Participer à la refonte et à la rationalisation des flux Middleware et inter-applicatifs. Accompagner la migration des chaînes d'ordonnancement vers Apache Airflow. Participer aux travaux d'architecture autour des plateformes Data et analytiques. Contribuer aux dispositifs de reprise informatique, résilience et haute disponibilité. Identifier les dépendances entre applications, données, flux et infrastructures. Participer aux choix de solutions et aux arbitrages techniques. Collaborer avec les équipes Data, Middleware, Infrastructure, Sécurité, Développement et Finance. Produire et maintenir les livrables d'architecture : DAT, HLD, LLD, cartographies de flux, dossiers d'architecture, etc. Présenter et vulgariser les choix d'architecture auprès des différentes parties prenantes. Environnement techniqueApache Airflow Data Lake / plateformes analytiques Middleware / ESB / API Kafka / architectures événementielles SAP / Finance Applications Core / développements spécifiques Cloud et infrastructures hybrides Automatisation / Infrastructure as Code PCA / PRA / PRI Haute disponibilité et résilience Profil recherchéFormation supérieure en école d'ingénieur ou équivalent. 5 à 8 ans minimum d'expérience sur des fonctions d'Architecture Solution, Architecture SI ou Architecture Transverse. Expérience sur des SI complexes et fortement interconnectés. Bonne maîtrise des problématiques d'urbanisation du SI. Expérience significative sur les architectures Middleware et les échanges inter-applicatifs. Bonne connaissance des flux API, messaging, batch, fichiers et événements. Connaissance des problématiques d'ordonnancement et d'orchestration. Une expérience sur Apache Airflow est fortement appréciée. Expérience sur des architectures Data / Data Lake / plateformes analytiques. Connaissance des enjeux PCA/PRA/PRI, haute disponibilité et résilience. Une expérience dans des environnements SAP / Finance est un plus. Capacité à challenger les choix techniques tout en restant suffisamment proche des équipes opérationnelles. Bon esprit d'analyse et de synthèse, autonomie, rigueur et capacité de coordination. Excellente capacité à vulgariser des sujets d'architecture complexes. Le profil recherché est à la fois transverse et suffisamment hands-on pour être capable d'entrer dans le détail technique lorsque nécessaire.
Contexte de la mission ASAP Technologies recherche deux Data Engineers seniors aux profils complémentaires pour accompagner un acteur majeur du secteur des transports et de la mobilité dans la conception, l'industrialisation et l'évolution de ses solutions data. Au sein du pôle Data Services, vous contribuerez à la stratégie Lakehouse et interviendrez sur des enjeux d'architecture, de modélisation et d'optimisation des pipelines à grande échelle. Vos missions Concevoir, développer et optimiser des pipelines de données batch, streaming et d'ingestion via API. Structurer les transformations selon une architecture Médaillon : Bronze, Silver et Gold. Développer et industrialiser les traitements avec DBT, Spark et Apache Iceberg. Contribuer aux choix techniques et à l'évolution de l'architecture Lakehouse. Déployer et maintenir les pipelines sur AWS, notamment avec S3, Glue et EMR. Orchestrer les workflows ETL/ELT avec Airflow. Mettre en œuvre l'Infrastructure as Code avec Terraform et exécuter les traitements dans des environnements Docker/Kubernetes. Garantir la disponibilité, la supervision et l'observabilité des traitements. Participer à la résolution des incidents et à l'amélioration continue. Automatiser les contrôles de qualité des données et documenter les architectures, pipelines et règles métier. Veiller à la conformité des flux, notamment en matière de RGPD.
CAPEST-Conseils recrute pour l'un de ses clients, acteur reconnu du secteur de la logistique, un Data Engineer Cloud pour rejoindre son Pôle Data. Le contexte Notre client construit et industrialise sa data platform sur Google Cloud Platform. Au sein de la DSI, vous concevez et faites vivre les pipelines qui l'alimentent, au service des équipes BI et des métiers opérationnels. Vos missions Concevoir les flux ETL / ELT et développer les pipelines data sur GCP Orchestrer les workflows sous Apache Airflow Transformer et modéliser les données avec dbt pour les usages BI et analytiques Mettre en place et maintenir la CI/CD data, versionner le code via Git Garantir la qualité, la performance et la fiabilité des données, superviser les pipelines et traiter les incidents Documenter les pipelines et collaborer avec l'Expert Power BI, le Pôle Data et les métiers
L'équipe Data Craft recherche un Data & Analytics Engineer expérimenté pour contribuer à la conception, l'évolution et l'automatisation des chaînes de traitement de données au sein de l'écosystème Data, sous la coordination du responsable de l'équipe Data Craft. Mission et compétences requises Mission : construire des pipelines d'ingestion et de transformation de données complexes et/ou volumineuses afin de mettre à disposition des tables à destination des utilisateurs de la Self-BI, qui les exploiteront dans Power BI. La mission ne porte pas sur l'utilisation de Power BI ni sur la création de rapports. Le titulaire devra respecter les principes d'urbanisme de la Data Platform (conventions de nommage, nomenclature, ségrégation des droits et des environnements…) et implémenter efficacement les bonnes pratiques Snowflake et SQL pour exploiter des données volumineuses (jusqu'à des dizaines de milliards de lignes) : expressions régulières, agrégations et fenêtrages, opérations géospatiales, opérations statistiques…
ContexteDans le cadre du renforcement des équipes R&D d'un grand compte, nous recherchons un(e) Data Engineer pour participer à la structuration, l'ingestion et la valorisation des données métiers et scientifiques. Vous rejoindrez une équipe dynamique pour concevoir des pipelines de données performants, développer des outils de recherche de bases de données pour les équipes opérationnelles et connecter l'écosystème aux outils d'analyse (SevenBridges). Début de mission : ASAP Durée : 1 an Localisation : Hybride (Télétravail + Présentiel) MissionsIngestion de données : Mettre en place et maintenir l'ingestion de données publiques et internes (scripts Python sur-mesure, Fivetran, Rclone, etc.). Search Data : Participer au développement d'un outil de recherche et d'exploration de bases de données à destination des équipes métiers. Pipelines de transformation : Concevoir et optimiser les workflows d'orchestration et de transformation de la donnée. Interconnexion d'outils : Assurer la connexion et le flux de données vers les plateformes d'analyse spécialisées (notamment SevenBridges).
ContexteLe présent appel d'offre a pour objet la sélection d'un Data OPS/Data platform Engineer Senior afin d'accompagner le pôle Data Fabric d'une grande entreprise du secteur ferroviaire. MissionsRUN et fiabilité de la plateforme Garantir la disponibilité, la performance et la sécurité de la Data Platform. Investiguer et résoudre les incidents de production. Améliorer l'observabilité, le monitoring et l'alerting. Participer à l'amélioration continue de l'exploitation. Construction et évolution du socle Data Développer et maintenir les services de la plateforme. Participer à la mise à disposition d'environnements self-service pour les équipes Data. Industrialiser les déploiements via Infrastructure as Code et CI/CD. Contribuer à l'amélioration de l'expérience développeur. Modernisation et migration Participer à la migration du patrimoine historique vers les nouvelles architectures Lakehouse. Accompagner la transition des usages existants. Optimiser les coûts d'exploitation des solutions Data. Services Data et consommation Développer les services d'exposition et de consommation des données. Contribuer aux sujets de gouvernance, catalogage et partage de données. Participer à l'ouverture multi-client des services Data. Gouvernance et services Data Platform Contribuer à la standardisation et à l'industrialisation des Data Products afin de garantir leur réutilisabilité, leur qualité et leur maintenabilité. Participer à la définition, à l'implémentation et au suivi des Data Contracts entre producteurs et consommateurs de données. Mettre à disposition et faire évoluer les services de la plateforme liés au catalogage, à la découvrabilité et à la documentation des données. Implémenter et automatiser les mécanismes d'habilitation et de contrôle des accès afin de garantir la sécurité et la conformité des usages. Accompagner les équipes Data dans l'adoption des standards de gouvernance et des bonnes pratiques de publication des Data Products.
Missions : Être la référence technique Data Engineering : définir les standards d'architecture, challenger les choix techniques, industrialiser les pipelines, garantir performance/qualité/sécurité et accompagner les équipes. Profils recherchés : Senior / Expert – Lead Data Engineer / Data Architect / Data Engineering Design Authority Compétences : Architecture Data, batch/streaming, Kafka, Spark, Airflow, Databricks, Snowflake, Cloud, DataOps, gouvernance/sécurité. Anglais B2+
Pour renforcer une équipe Data et travailler dans un contexte de création d'un "socle" / d'une "brique" data entre les applications métier et les différentes plateformes de consultation des données) ; nous recherchons un Data Engineer (ingestion et transformation de données). Parmi les activités : - Configurer les bases de données, avec stratégie de retention et classification - Documenter - Ingérer des données depuis les sources (via base de données ou API) - Modéliser les objets - transformer les objets - Reprise de l'historique des données - Stratégie de qualité et rejet/quarantaine
Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Ingénieur Junior H/F à Lille, France. Contexte : Dans le cadre du renforcement de l'équipe, intégré à la direction DELIVERY BACK, département Finance, RH et RSE, le client recherche un profil du type Data Ingénieur qui soit capable de comprendre, d'interagir et de communiquer en autonomie avec métier, de définir une conception en phase avec les visions cibles de l'entreprise (GCP (Bigquery/Airflow/cloudrun/…), RDO, git,Onestream…) et de la mettre en place (conception, développement, qualification, mise en production et maintenance). L'équipe est en agile et en pleine évolution elle est actuellement composée de 4 membres (un PO, 3 Data Ingénieurs) travaillant sur l'environnement GCP. Un rapprochement avec 2 experts EPM sur la solution Onestream est en cours Une maîtrise du SQL et l'esprit collaboratif sont impératifs, ainsi qu'une curiosité et une réelle envie de progresser et de découvrir l'environnement du Retail ainsi que ses processus autant techniques que fonctionnels Les missions attendues par le Data Ingénieur Junior H/F : Recueillir et analyser les besoins métiers afin de concevoir des solutions Data adaptées aux enjeux fonctionnels et aux architectures cibles. Concevoir et développer des pipelines et solutions Data sur GCP (BigQuery, Airflow, Cloud Run, etc.). Participer à l'ensemble du cycle de vie des solutions : conception, développement, qualification, mise en production et maintenance. Collaborer étroitement avec les équipes métiers, les Data Engineers et les experts EPM autour de la solution OneStream. Garantir la qualité, la fiabilité et la performance des données et des traitements. Participer aux rituels Agile et contribuer à l'évolution des pratiques et de l'architecture Data de l'équipe. Assurer la gestion et le versioning du code via Git et contribuer à la documentation des solutions mises en œuvre.
Cherry Pick est à la recherche d'un Expert Airflow (H/F) pour l'un de ses clients qui opère dans le secteur de l'automobile. Description🎯 Contexte de missionDans le cadre de la stabilisation d'une plateforme Amazon Managed Workflows for Apache Airflow (MWAA) rencontrant des dysfonctionnements récurrents, la mission consiste à intervenir en Task Force afin d'identifier les causes racines, rétablir rapidement la stabilité de la plateforme et sécuriser durablement son fonctionnement. L'intervention nécessite un véritable expert Airflow / MWAA, capable d'aller au-delà du développement de DAGs pour intervenir sur l'architecture, le paramétrage, les performances et les mécanismes internes d'Airflow. 📋 Missions principales et rôleRéaliser un diagnostic flash des incidents, dysfonctionnements et goulots d'étranglement. Identifier les causes racines des problèmes rencontrés. Mettre en œuvre des correctifs immédiats afin de restaurer la stabilité de la plateforme. Reprendre et analyser les conclusions des expertises précédentes. Auditer l'architecture, la configuration et le paramétrage de l'environnement MWAA. Analyser les problématiques liées aux Schedulers, Executors, Celery et à la base de métadonnées Airflow. Investiguer les problématiques de parallélisme, mémoire, ressources et dimensionnement. Analyser les logs et métriques afin d'identifier les problèmes de performance. Investiguer notamment les fuites mémoire, locks BDD, problèmes de capacité et d'auto-scaling MWAA. Construire une feuille de route corrective priorisée. Piloter la mise en œuvre des actions de remédiation. Mesurer l'efficacité des corrections via des KPIs de performance et de stabilité. Accompagner les équipes internes dans l'application des bonnes pratiques Airflow / MWAA. Contribuer à la pérennisation de la plateforme et à l'amélioration de son architecture. 🎯 ObjectifsCourt terme : rétablir rapidement la stabilité et la disponibilité de la plateforme MWAA. Moyen terme : identifier précisément les causes structurelles des dysfonctionnements. Long terme : mettre en place une architecture et une configuration robustes, performantes et maintenables. Réduire durablement le taux d'incidents et les problèmes de performance. Transférer l'expertise aux équipes en place.
Projet Développement et industrialisation d'une plateforme Data sur GCP permettant l'ingestion, la transformation et la mise à disposition de données pour des outils de recherche et d'analyse métier,. Activités - Concevoir et maintenir les pipelines d'ingestion de données publiques et internes. - Développer et industrialiser les traitements et transformations de données avec SQL, Python et dbt. - Mettre en place et maintenir les workflows d'orchestration avec Argo Workflows / Airflow. - Stocker, structurer et exposer les données via BigQuery et GCS, puis assurer leur connexion aux outils d'analyse métier. - Déployer et maintenir les composants Data sur GCP, notamment via Cloud Run, et gérer les droits d'accès avec IAM. - Industrialiser l'infrastructure avec Terraform et contribuer aux chaînes CI/CD GitLab. - Participer au monitoring, à la gouvernance et à la qualité des données ainsi qu'à l'amélioration de l'expérience utilisateur des outils internes.
