Nous sommes à la recherche d'un(e) Analytics Engineer pour renforcer l'équipe People Report et piloter la migration vers le Cloud. Vos missions : Migration & Reverse Engineering : Analyser le legacy (SAP Hana) et assurer la transition des flux de données et du corpus de reporting Power BI vers l'écosystème cible Google Cloud Platform (GCP). Cadrage & Nouveaux Usages : Recueillir et cadrer les besoins de la direction RH pour concevoir de nouveaux indicateurs et tableaux de bord décisionnels (effectifs, masse salariale, recrutements, etc.). Expertise BI & Modélisation : Concevoir les modèles de données optimisés, rédiger des mesures complexes en DAX, garantir la sécurité (RLS) et optimiser les performances end-to-end sous Power BI. Industrialisation & Collaboration : Développer les pipelines de transformation (BigQuery, Dataform), appliquer les standards de versioning (Git) et faire le pont entre les équipes techniques (IT) et les métiers RH.
Bonjour, je recherche pour l'un de mes clients un(e) devOps / data engineer DATABRICKS. Skills : Databricks - AWS - Java Mission : -gérer l'infrastructure Cloud (AWS) -automatiser les déploiements -concevoir, développer, déployer et maintenir des pipelines de traitement de données sur la plateforme Databricks -développer et optimiser des traitements distribués avec Apache Spark afin de garantir la performance et la fiabilité des flux de données -développer et maintenir des API et des services avec Spring Boot N'hésitez pas à revenir vers moi pour des informations complémentaires.
Un grand groupe de la distribution dispose d'une plateforme Data à destination de ses filiales internationales, maintenue par une équipe basée à Villeneuve d'Ascq. Dans le cadre de la migration technique de cette plateforme internationale vers la stack déjà en place sur les environnements France, nous recherchons un Data Engineer pour renforcer l'équipe en place (3 ETP). Vous prendrez en charge la maintenance et le suivi des traitements, afin de permettre à l'équipe de se consacrer pleinement aux travaux de modernisation de la plateforme, puis contribuerez à la migration une fois le contexte technique maîtrisé. Vos missions Assurer le Maintien en Condition Opérationnelle (MCO) des plateformes Data des différents pays : Supervision des traitements Intervention technique et fonctionnelle pour la résolution des incidents et des questions utilisateurs Communication aux parties prenantes en cas d'anomalie sur les services attendus Traitement des dettes techniques et documentaires Contribuer à la mise en œuvre de la migration vers la stack technique cible : Participer à l'effort de migration une fois le contexte international maîtrisé techniquement, afin d'être en mesure de reproduire les usages
Nous recherchons un(e) Développeur(se) Python / Data Engineer passionné(e) pour rejoindre notre équipe et contribuer à la conception et au développement de plateformes et de pipelines permettant l'industrialisation de modèles de Machine Learning. Ces solutions couvrent l'ensemble du cycle de vie des modèles : préparation des données et des features, entraînement, tuning, inférence, exposition via APIs et orchestration des traitements dans un environnement cloud. Elles permettent aux Quants et Data Scientists d'industrialiser l'utilisation de modèles avancés dans les processus de prévision de la consommation et de la production d'énergie.
🎯 MISSIONS : Intégré(e) aux équipes d'un de nos clients grand compte, vos missions seront les suivantes : - Construire les flux d'alimentation de données de la plateforme - Configurer les composants logiciels, les tester, les assembler et les mettre à disposition pour mise en production par les équipes d infogérance (ops) - Assurer le suivi de production, la maintenance corrective ou évolutive des flux d'alimentation et exposition de données dans le Datalake. - Etre en support technique des établissements et des équipes internes sur les briques applicatives de la plateforme (outils internes et GCP, habilitations ) - Assister les Data Scientist et les Data analysts à l'analyse, la préparation des données, l'exposition, la connaissance des outils - Optimiser les capacités techniques pour une meilleure performance ou limiter les coûts (Finops) - Optimiser la qualité de service (QoS) et la qualité des données en proposant des solutions de contrôle, des outils de mesure et de reporting (métrologie, dataviz..) - Obtenir des données adéquates, trouver les sources de données pertinentes, faire des recommandations sur les données à consolider, transformer, rapatrier, consolider au sein des couches socle et d'exposition - Analyser les données pour traduire une problématique Métier Environnement technique : - Connaissance des concepts clés liés à la mise en oeuvre d'une chaine CI/CD (Jenkins, Bitbucket, Git, XLD/XLR) - La connaissance des outils lié à ces concepts serait un plus (Jenkins, Bitbucket, Git, XLD/XLR) - Des connaissances en scripting (shell ou Python) seraient un plus - Connaissance de la méthodologie Scrum et Safe - Connaissance des outils GCP (Big Query) ou équivalent d'un autre Clouder
Vos missions ? Intégré(e) à nos équipes ou chez nos clients, vous contribuez à développer et valoriser l'ensemble des données en résolvant des problématiques business concrètes via les technologies liées à la Data A ce titre, vos missions seront les suivantes : - Concevoir et mettre en place des architectures de données en choisissant les technologies adaptées aux besoins. - Gestion des bases de données en garantissant la performance et la scalabilité des solutions de stockage. - Analyser et explorer les données avec les différents outils. - Mettre en place des tableaux de bord avec Power BI ou Tableau en exploitant les données transformées via Talend. - Interagir avec les équipes métier pour comprendre et les besoins. - Utiliser TALEND pour extraire des données depuis plusieurs sources (SQL, API, Excel ...). - Automatiser les processus ETL pour centraliser les données dans un Data Wrehouse (Snowflake). - Participation aux projets IA. Compétences requises : - ETL: Talend - Analyse de données (PowerBI, Tableau) - Base de données (SQL, GCP) - Langages: Python, SQL
Dans le cadre de la réalisation d'un projet en assistance technique, nous recherchons un(e) Data Engineer pour l'un de nos clients du secteur aéronautique. Vous interviendrez sur le site client situé dans les Hautes-Pyrénées (65). Vos missions seront les suivantes : - Développer des évolutions de notre plateforme permettant de récolter et distribuer les données d'activité en vue de permettre la construction de produits de données : .dbt ; snowflake ; power BI ; streamlit : azure ; - Réaliser des travaux de data engineering (scriptes, modélisations, …) pilotés en DevOps (via la solution Azure DevOps) par le Lead Data Engineer du périmètre concerné ; - Compléter toutes les documentations IT obligatoires : CDM, HLD (high level Design du système), DAT (dossier d'architecture technique), DEX (dossier d'exploitation) ; - Prendre en charge et corriger des incidents liés à ces composants après livraison.
Missions et responsabilités 3.1 — Reprise du poste et plan d'action (priorité immédiate) S'approprier l'existant : modèle de données, scripts et traitements, imports déjà réalisés, référentiel de règles de normalisation et documentation ; Dresser un état des lieux : antennes importées et restantes, anomalies ouvertes, points de qualité à arbitrer ; Proposer dès les premières semaines un plan d'action priorisé (lots, calendrier par antenne, risques), le faire valider par la DSI et le mettre en œuvre. 3.2 - Conduite des imports Planifier et conduire les imports antenne par antenne : extraction depuis l'entrepôt de données, transformation, chargement dans la base ; Garantir la re-jouabilité, les points de reprise (checkpoints), le retour arrière (rollback) et la traçabilité des transformations, sans jamais altérer les données sources ; Développer, maintenir et fiabiliser les scripts et outils d'automatisation de la reprise. 3.3 - Qualité des données Appliquer et enrichir les règles de normalisation (noms de famille en capitales, casse des prénoms et raisons sociales, apostrophes et caractères spéciaux, espaces superflus, codes postaux et numéros de téléphone outre-mer et étrangers) ; Mettre en œuvre les règles de dédoublonnage et les contrôles de cohérence ; Suivre des indicateurs de qualité (complétude, cohérence, doublons) et réaliser des contrôles systématiques avant et après chaque import. 3.4 - Accompagnement des antennes Être l'interlocuteur direct de chaque antenne pour la préparation de son import : inventaire des données, jeux d'essai, validation des résultats ; Expliquer les anomalies détectées de façon claire et pédagogique à des interlocuteurs non techniques, et les accompagner dans leur correction ; Faire preuve d'écoute pour comprendre les pratiques et contraintes propres à chaque antenne, et en tenir compte dans les traitements ; Formaliser les échanges et validations (comptes rendus, points de suivi). 3.5 - Pilotage et reporting Tenir à jour le suivi d'avancement des imports, produire les reportings associés (avancement, qualité des données) et rendre compte régulièrement à la DSI et au Product Owner ; Alerter au plus tôt sur les risques, blocages et arbitrages nécessaires ; S'intégrer dans les rituels agiles de l'équipe et travailler en lien étroit avec l'équipe de développement CRM ; Être en lien direct avec l'équipe de développement pour s'assurer que les données sont correctement intégrées à la base de données cible. 3.6 - Documentation et passation Maintenir une documentation à jour : procédures d'import, runbooks, règles appliquées, limites connues ; Préparer en fin de mission une passation complète permettant la reprise du chantier dans les meilleures conditions.
Dans un contexte de migration technique de la plateforme data internationale, nous recherchons un data ingénieur afin de renforcer l'équipe en place (3 ETP) afin de s'occuper essentiellement de la maintenance des traitements et leurs suivi sur une période de 6 à 9 mois, permettant ainsi à l'équipe de participer pleinement à la stratégie et aux travaux de modernisation de la plateforme (migration de la plateforme internationale vers la stack technique déjà en place sur les environnements France). Vos missions : Assurer le maintien en condition opérationnelle des plateformes data des différent pays Supervision des traitements Intervention technique et fonctionnelle en résolution des incidents et questions des utilisateurs Communications aux parties prenantes en cas d'anomalies sur les services attendus Traitement des dettes techniques et documentaires
Dans le cadre du développement d'une société innovante spécialisée dans les solutions SaaS dans l'industrie, nous recherchons un Data Platform Engineer / Analytics Architect capable de piloter la modernisation complète d'une plateforme analytics stratégique. Basée à Toulouse, cette entreprise développe des solutions permettant de digitaliser les opérations industrielles, automatiser les tests complexes et exploiter les données de production afin d'améliorer la qualité, les coûts et les délais de développement de systèmes critiques. Vous prendrez la responsabilité de la refonte d'une plateforme de données exploitant plusieurs années d'historique industriel. Vos missions : Migration vers ClickHouse Concevoir le nouveau modèle de données. Définir les stratégies de partitionnement et de rétention. Sélectionner les moteurs adaptés (MergeTree, ReplicatedMergeTree, etc.). Mettre en œuvre les Materialized Views. Organiser la migration depuis InfluxDB sans interruption de service. Garantir la performance et la scalabilité de la plateforme. Refonte de l'architecture Data Auditer l'ETL existant. Identifier les composants à conserver, simplifier ou remplacer. Mettre en place une architecture pérenne et maintenable. Optimiser les flux d'ingestion et de transformation. Gouvernance et qualité des données Cartographier les différentes sources de données. Définir les règles de qualité et de conservation. Produire la documentation technique associée. Mettre en place les bonnes pratiques de gestion des données. Grafana & Observabilité Migrer les tableaux de bord existants. Créer de nouveaux dashboards adaptés aux besoins métiers. Optimiser les requêtes et la visualisation des données. Déployer l'alerting et le provisioning as code. Accompagnement des équipes Formaliser les choix d'architecture. Rédiger la documentation technique. Assurer le transfert de compétences auprès des équipes internes. Les compétences techniques Data, ClickHouse, SQL avancé, Modélisation de données temporelles, Kafka, Vector, Telegraf, ETL / ELT, Visualisation, Grafana, Infrastructure, Kubernetes, Infrastructure as Code, Cloud, dbt, InfluxDB, Prometheus
Notre client dans le secteur Agroalimentaire recherche un/une Data Engineer H/F Description de la mission : Pour renforcer son équipe en charge des sujets IA notre client recherche un freelance Data Engineer dans l'environnement GCP. Amont d'étude et structuration des données Cadrer les besoins métiers et les traduire en spécifications techniques data. Analyser et cartographier les sources de données (dont le legacy Teradata), concevoir les modèles de données et définir les règles de transformation et de qualité. Industrialisation Développer, déployer et maintenir les pipelines d'ingestion et de transformation vers le socle GCP / BigQuery. Industrialiser les solutions issues des POC : passage à l'échelle, optimisation des traitements, des performances et des coûts. Automatiser les déploiements (IaC, CI/CD) et assurer la supervision, la fiabilité et la sécurité des flux en production. Workflow, process et outillage Concevoir les workflows de bout en bout (chaînes de traitement, ordonnancement, procédures d'exploitation) et les interfaces d'échange avec les applications consommatrices. Contribuer aux standards et bonnes pratiques DataOps de la Data Factory, documenter et diffuser les compétences auprès des équipes. Langages & frameworks Python, SQL Cloud & data Google Cloud Platform (GCP), BigQuery, services d'ingestion GCP ETL / intégration Informatica, Teradata (existant / migration) Système Environnement Linux (shell scripting)
Au sein de l'équipe Data et en étroite collaboration avec le Head of Data, vous intervenez à la jonction du développement applicatif et de l'ingénierie des données. Votre rôle consiste à concevoir, orchestrer et optimiser les flux de données, la gestion des API et l'alimentation des différentes briques du Data Hub. MISSIONS: Ingénierie Data et Orchestration Gestion et automatisation des flux de données en batchs et temps réel (Pub/Sub), orchestration via Azure Data Factory et intégration dans l'environnement Data Fabric. Développement et Connectivité Développement et maintenance d'API et de connecteurs pour alimenter les architectures BFF, Dynamics et les applications du Data Hub. Pratiques DevOps et Innovation Mise en place de scripts d'automatisation (bash) et exploration des usages de l'Intelligence Artificielle pour optimiser les développements et l'intégration des données.
Dans un contexte de migration technique de la plateforme data internationale, nous recherchons un data ingénieur afin de renforcer l'équipe en place (3 ETP) afin de s'occuper essentiellement de la maintenance des traitements et leurs suivi sur une période de 6 à 9 mois, permettant ainsi à l'équipe de participer pleinement à la stratégie et aux travaux de modernisation de la plateforme (migration de la plateforme internationale vers la stack technique déjà en place sur les environnements France). Assurer le maintien en condition opérationnelle des plateformes data des différent pays Supervision des traitements Intervention technique et fonctionnelle en résolution des incidents et questions des utilisateurs Communications aux parties prenantes en cas d'anomalies sur les services attendus Traitement des dettes techniques et documentaires Contribuer à la mise en œuvre de la migration vers la stack technique cible Participer à l'effort de migration une fois le contexte international maîtrisé techniquement pour être en mesure de reproduire les usages
Contexte de la mission : Viveris pilote les chantiers de transformation métier et IT qui contribuent à la performance des entreprises bancaires. Dans ce cadre, nous recherchons notre Data Engineer qui contribuera à un programme important d'évolution de la plateforme Data. Vos missions et responsabilités : - Analyser les besoins métiers et les traduire en solutions BI pertinentes et durables ; - Modéliser les données en cohérence avec les objectifs fonctionnels et les bonnes pratiques décisionnelles ; - Créer et maintenir les flux de données via des outils ETL, en assurant leur qualité, robustesse et performance ; - Participer à la recette et au suivi de production des chaînes décisionnelles, en lien étroit avec les utilisateurs ; - Assurer un rôle transverse sur les projets décisionnels : échange avec les MOA, rédaction de spécifications fonctionnelles, accompagnement des utilisateurs.
Contexte KERNET recherche un Data Engineer senior Microsoft Fabric pour accompagner une ETI industrielle internationale dans la fiabilisation et l'évolution de sa plateforme data existante. Sous le pilotage de la DSI, vous développerez et corrigerez les traitements alimentant Power BI, à partir de plusieurs ERP, de Salesforce et de fichiers métiers. La priorité est de livrer rapidement des améliorations concrètes et de renforcer l'autonomie des équipes internes. Mission principale ✔ Prendre en main les pipelines, notebooks et scripts existants, identifier les causes des incidents et réaliser les premiers correctifs. ✔ Développer et optimiser les traitements SQL, Python et PySpark dans Fabric, au sein des couches Bronze, Silver et Gold. ✔ Sécuriser l'ordonnancement, éviter les conflits entre batchs et renforcer les contrôles de qualité, de complétude et de fraîcheur des données. ✔ Mettre en place la surveillance des flux, les alertes, la journalisation et les mécanismes de relance après incident ; optimiser les performances et la capacité. ✔ Industrialiser les alimentations Salesforce et ERP, puis intégrer progressivement les sources consommées directement par Power BI. ✔ Livrer des composants versionnés, testés et documentés, avec des déploiements reproductibles et des procédures de retour arrière. ✔ Faire évoluer les données destinées au reporting, en coordination avec les métiers et l'architecte SI, tout en assurant la transition des flux historiques. ✔ Transmettre les compétences par le binômage, les revues de code et des procédures techniques et d'exploitation rédigées en français.
Dans le cadre d'un projet stratégique au sein d'un grand environnement bancaire, nous recherchons un Data Engineer / Data Lake Developer expérimenté pour renforcer une équipe IT Data et accompagner le déploiement d'une nouvelle plateforme Databricks. Le consultant interviendra sur la conception, le développement et l'industrialisation des composants nécessaires à l'alimentation et à l'exploitation du Data Lake, au sein d'un environnement Agile et international. MissionsConcevoir et développer des pipelines d'ingestion et de transformation de données robustes et scalables, en batch et temps réel. Développer et maintenir les flux ETL Talend alimentant le Data Lake et les systèmes consommateurs. Développer des traitements Python / PySpark sur Databricks. Mettre en œuvre et optimiser les modèles de données cibles. Automatiser les transformations, la documentation et les tests avec dbt. Développer et configurer des flux CDC (Change Data Capture). Mettre en place les bonnes pratiques de Data Quality, monitoring, alerting et logging. Développer des composants réutilisables : templates de pipelines, librairies partagées et frameworks CI/CD. Réaliser les développements et tests associés. Participer aux mises en production et à l'industrialisation des solutions. Compétences techniques recherchéesForte expertise sur Talend ETL : développement, debugging et industrialisation. Bonne maîtrise de Python et PySpark. Expérience significative sur Databricks : Jobs, Workflows, Delta Lake, Notebooks et optimisation. Excellente maîtrise de SQL, notamment sur les requêtes complexes et l'optimisation des performances. Expérience pratique de dbt pour la transformation et la modélisation des données. Bonne connaissance des problématiques CDC / Change Data Capture. Une expérience sur Qlik Replicate / Attunity est fortement appréciée. Connaissance de Kafka appréciée. Connaissances en Java. Expérience DevOps : Git, CI/CD, automatisation des tests et des déploiements. Utilisation d'outils d'IA générative pour accélérer les développements Python, PySpark et SQL, le refactoring et les tests. Profil recherchéVous justifiez d'au moins 3 ans d'expérience en Data Engineering / Data Lake. Vous êtes autonome, rigoureux, proactif et disposez de solides capacités d'analyse. Vous êtes également à l'aise dans des environnements exigeants et possédez un bon relationnel client. Anglais courant obligatoire.
