Contexte de la mission Dans le cadre du développement et de l'évolution de sa plateforme Data & IA, notre client recherche un consultant Data / ML Engineer pour renforcer ses équipes techniques. Vous interviendrez sur des projets à forte dimension Data Science et Machine Learning, notamment autour de solutions de personnalisation, de recommandation et d'exploitation intelligente des données. Intégré à une équipe pluridisciplinaire composée de développeurs, Data Engineers, Data Scientists et experts techniques, vous contribuerez à la conception, à l'industrialisation et à l'amélioration continue des solutions Data & ML déployées dans un environnement Cloud. Vos principales missions Concevoir et développer des pipelines de données complets : ingestion, transformation, structuration et mise à disposition des données. Développer et industrialiser des pipelines Machine Learning, de la préparation des datasets jusqu'au déploiement et à l'inférence des modèles. Participer à la mise en production de modèles de Deep Learning et de solutions reposant sur des architectures d'embeddings. Mettre en place des mécanismes de contrôle de la qualité des données, de tests, de suivi et d'observabilité. Contribuer à la conception et à l'évolution des architectures Data et ML sur Google Cloud Platform. Participer à l'amélioration des performances, de la scalabilité et de la fiabilité des traitements existants. Intervenir sur le maintien en conditions opérationnelles des pipelines et services, ainsi que sur la résolution des incidents. Participer à l'évolution des pratiques DataOps et MLOps, notamment sur l'orchestration et l'automatisation des workflows. Collaborer avec les différentes équipes techniques et métiers afin de proposer des solutions adaptées aux besoins fonctionnels. Contribuer à la documentation, aux revues de code et à la diffusion des bonnes pratiques d'ingénierie. Compétences techniques recherchées Data Engineering Python BigQuery dbt et outils de tests de qualité des données (Elementary ou équivalent) Apache Kafka et architectures de streaming Data modeling et conception de pipelines de données Terraform Machine Learning & MLOps Bonne maîtrise de Python appliqué au Machine Learning Connaissance des modèles de Deep Learning et des architectures basées sur les embeddings Conception de pipelines ML : entraînement, évaluation, déploiement et inférence Industrialisation de modèles pour une utilisation en temps réel Outils d'orchestration et de MLOps (ZenML ou équivalent) Docker et Kubernetes Git Cloud & Infrastructure Google Cloud Platform (GCP) Compréhension des architectures distribuées et des environnements Cloud natifs Automatisation et industrialisation des déploiements
Data Engineer with C# Dot Net asp.net with SQL Server SSRS and Power BI Our Client is a bank based in City London who are looking to recruit at least 7 years plus experience as a Data Engineer with the ability to work with C# Dot net and SQL Server with SSRS. You must have solid expertise of at least 7 to 10 years experience of working with and developing software with C# Dot Net and MS SQL Server and SSRS – SSRS is very important for this position. Additionally, you must have sound experience of working with Power BI and Python. Must be an excellent problem solver and adept writing documentation for all projects. You ideally have worked on banking systems particularly Core Banking. Responsible for the development and delivery of new systems to automate and streamline processes required by different departments. To support the internal IT department with changes and upgrades to software platforms. To be primary contact for all technical questions relating to in-house bespoke systems and interfacing. Data Support Supporting budgeting and financial planning processes for Finance department, including loading and refreshing of data based on requirements. Understand and conduct the front-end functionality to amend and change hierarchical structures within the environment. Build data flows within the SQL environment in SSRS packages. Risk & Regulatory Maintain knowledge of all applicable regulatory requirements including the Bank's Risk and Compliance policies and procedures and adhere to these to avoid exposing the Bank to undue risk. Report policy/procedure breaches and areas of potential non-compliance and suspicions promptly upon identification in accordance with the Bank's Risk and Compliance policies. Accurately execute all controls within own area to minimise risk of policy, procedure, and/or regulatory breaches. Identify new risks/control gaps within own area and escalate accordingly to your Line Manager. Main Skills Software analysis and design. SQL Server query language with SSRS. Data warehouse design concepts, (Inmon or Kimball) Experience of developing software with C# Dot Net and asp.net and SQL Server is a must. Must have solid experience of working with SSRS and building data warehouses and reporting services. Experience of working with and developing software with Power BI and Python are essential. The Client is a Bank based in the City London. Must have a degree qualification. This is a 12 month FTC position with a salary of circa £65K - £70K. This is a hybrid position - you will be required to be in the office at least 3 days week. Do send your CV to us in Word format along with your salary and availability.
GBH est un groupe familial de distribution et de services multi-secteurs (automobile, grande distribution, industrie, services) présent aux Antilles-Guyane, dans l'océan Indien, en Amérique latine et en Afrique, qui vient d'acquérir ICM Wellness (Keepcool, Neoness). Le groupe crée un pôle Data & IA à Paris pour porter ses ambitions data et IA à l'échelle de tous ses métiers. Le point de départ n'est pas une page blanche : le groupe dispose d'un socle data solide et d'une équipe en place en Martinique (mix internes/prestataires), et sur l'IA de nombreux POCs et des déploiements à l'échelle sont en cours. Le premier mandat du Head est de structurer : recruter ses N-1 à Paris (plateforme, produits data, data science & IA) avant d'étoffer le reste de l'équipe, intégrer dans son périmètre les ressources de Martinique dont il recomposera le rôle et le niveau au fil de l'eau, et transformer les déploiements en cours en un portefeuille de produits data et IA industrialisé à l'échelle du groupe. Le Head of Data & IA sera directement rattaché au DSI et membre du CODIR de la DSI. Les missions Vision et stratégie Définir la stratégie Data & IA du groupe, la faire valider et la porter auprès de la DSI et des filiales. Evaluer et faire évoluer la plateforme Data (déjà dans tes technos avancés (Snowflake, DBT, Power BI ...) pour répondre aux attentes de demain. Intégrer au mieux l'IA pour augmenter la capacité de Delivery et accélérer le time to market. Prioriser un portefeuille de produits data et de cas d'usage IA par la valeur (pricing, prévision, stocks, churn et rétention d'abonnés wellness, agents métiers). Assurer le MCO de l'environnement Data utilisé par plusieurs milliers d'utilisateurs Structuration de l'équipe Construire une équipe évolutive pour répondre aux enjeux Recruter ses N-1 à Paris, puis étoffer une équipe cible de 10 à 14 personnes en envisagée en trois pôles (Data & AI Platform ; Analytics & Data Products ; Data Science & IA appliquée), conçue « AI-native » : compacte, senior, dont la réalisation est accélérée par l'IA. Encadrer des ressources multi-sites (Paris, Martinique) et piloter le mix internes/prestataires. Delivery Capitaliser à concevoir et délivrer rapidement des solutions adaptables aux différents métiers, différents territoires et différents utilisateurs du Groupe Industrialiser en logique produits data : produits certifiés, self-service pour les métiers, y compris via agents conversationnels. Socle et gouvernance Arbitrer les évolutions de plateforme (data et agents IA sur un socle unique), porter la gouvernance des données et la conformité (RGPD, IA Act) en lien avec les fonctions groupe. Contribuer au Codir DSI en portant la voix du pôle Data & IA dans les arbitrages de la DSI Groupe, en articulation avec les pôles Infrastructure & Plateformes, Cybersécurité, Opérations & Services, Software Engineering. La frontière avec ce dernier étant claire : le pôle Développement construit les applications métiers et outille l'ingénierie ; le pôle Data & IA opère le socle de données et les agents exposés aux métiers.
Nous recherchons un(e) Développeur(se) Python / Data Engineer passionné(e) pour rejoindre notre équipe et contribuer à la conception et au développement de plateformes et de pipelines permettant l'industrialisation de modèles de Machine Learning. Ces solutions couvrent l'ensemble du cycle de vie des modèles : préparation des données et des features, entraînement, tuning, inférence, exposition via APIs et orchestration des traitements dans un environnement cloud. Elles permettent aux Quants et Data Scientists d'industrialiser l'utilisation de modèles avancés dans les processus de prévision de la consommation et de la production d'énergie.
Data Engineer Senior — Databricks — Descriptif du poste Dans le cadre du développement de nos activités data, nous recrutons un Data Engineer Senior spécialisé sur la plateforme Databricks. Vous intervenez sur la conception et l'industrialisation de plateformes de données lakehouse : vous cadrez les besoins avec les équipes métiers, vous définissez les architectures cibles, vous construisez les pipelines d'ingestion et de transformation, et vous assurez leur mise en production ainsi que leur optimisation en coût et en performance. Vous êtes l'interlocuteur technique direct des équipes métiers sur votre périmètre et vous accompagnez la montée en compétences des profils plus juniors. — Parmi vos missions 🛠 Concevoir et industrialiser les plateformes de données sur Databricks Concevoir des architectures lakehouse en couches (bronze / silver / gold) sur Delta Lake Développer et optimiser les pipelines d'ingestion et de transformation en PySpark et en SQL Industrialiser les traitements avec Databricks Workflows, Delta Live Tables et une chaîne CI/CD Optimiser les coûts et les performances : dimensionnement des clusters, partitionnement, Photon, gestion du cache Mettre en place la gouvernance et la qualité des données Structurer Unity Catalog : catalogues, schémas, gestion des droits, lignage Définir les règles de qualité, les tests et le monitoring des pipelines en production Documenter les modèles de données et les contrats d'interface avec les systèmes amont et aval Cadrer les besoins avec les équipes métiers Animer les ateliers de recueil de besoins et traduire les exigences en solutions data Préconiser les architectures cibles et arbitrer les choix techniques (batch ou streaming, build ou buy) Présenter et défendre vos recommandations auprès des interlocuteurs techniques comme métiers Piloter la livraison et faire monter l'équipe en compétences Piloter un lot de bout en bout : conception, chiffrage, livraison, respect des délais Encadrer les profils juniors en revue de code et en pair programming Diffuser les bonnes pratiques d'engineering : versioning, tests, revue, documentation — Modalités pratiques Lieu : Ile de France Type de contrat : CDI Date de démarrage : A définir Télétravail : Fonction des contraintes opérationnelles (en moyenne : 2 jours)
Freelance | 3 mois renouvelables (prolongation très probable de 6 à 12 mois) | Démarrage ASAP | Anglais Contexte Notre client construit une intégration de référence entre ses outils de modélisation actuarielle, notamment Prophet, et son socle de données finance. La première phase consiste à migrer les traitements Prophet / SQL Server vers Prophet / Databricks. Vous rejoignez l'équipe data pour concevoir, livrer et maintenir les pipelines et l'orchestration sur votre périmètre. Missions Migrer les traitements Prophet / SQL Server existants vers Databricks Construire et orchestrer les pipelines Databricks qui alimentent le socle de données finance avec les résultats des modèles actuariels Développer en Python, PySpark et SQL sur des volumes de données importants, selon une architecture médaillon Mettre en place des contrôles de qualité et de cohérence des données jusqu'à la source Documenter et tester unitairement le code, en suivant les pratiques gitflow Travailler avec les actuaires, la finance et les équipes data pour comprendre les données et leur sens métier
🎯 MISSIONS : Intégré(e) aux équipes d'un de nos clients grand compte, vos missions seront les suivantes : - Construire les flux d'alimentation de données de la plateforme - Configurer les composants logiciels, les tester, les assembler et les mettre à disposition pour mise en production par les équipes d infogérance (ops) - Assurer le suivi de production, la maintenance corrective ou évolutive des flux d'alimentation et exposition de données dans le Datalake. - Etre en support technique des établissements et des équipes internes sur les briques applicatives de la plateforme (outils internes et GCP, habilitations ) - Assister les Data Scientist et les Data analysts à l'analyse, la préparation des données, l'exposition, la connaissance des outils - Optimiser les capacités techniques pour une meilleure performance ou limiter les coûts (Finops) - Optimiser la qualité de service (QoS) et la qualité des données en proposant des solutions de contrôle, des outils de mesure et de reporting (métrologie, dataviz..) - Obtenir des données adéquates, trouver les sources de données pertinentes, faire des recommandations sur les données à consolider, transformer, rapatrier, consolider au sein des couches socle et d'exposition - Analyser les données pour traduire une problématique Métier Environnement technique : - Connaissance des concepts clés liés à la mise en oeuvre d'une chaine CI/CD (Jenkins, Bitbucket, Git, XLD/XLR) - La connaissance des outils lié à ces concepts serait un plus (Jenkins, Bitbucket, Git, XLD/XLR) - Des connaissances en scripting (shell ou Python) seraient un plus - Connaissance de la méthodologie Scrum et Safe - Connaissance des outils GCP (Big Query) ou équivalent d'un autre Clouder
ContexteDans le cadre d'un projet pour une compagnie aérienne, nous recherchons un Data Engineer GCP pour rejoindre une équipe IT internationale d'environ 15 personnes, réparties entre la France, l'Inde et les équipes métiers basées à Amsterdam. L'équipe intervient sur un périmètre BI & Big Data, autour de la gestion et de l'exploitation des données liées au parcours passager, depuis son arrivée à l'aéroport jusqu'à son embarquement, ainsi que sur les flux de données associés aux activités Cargo. MissionsAu sein de cette équipe, vous interviendrez notamment sur : Le développement et la maintenance des évolutions applicatives. La prise en charge des incidents et des activités de RUN. L'amélioration et l'optimisation du code existant. La gestion et l'optimisation des référentiels Git. L'amélioration des performances des traitements de données. L'analyse et l'optimisation des traitements BigQuery. La participation aux pratiques d'intégration et de déploiement continu avec GitHub et GitHub Actions.
Nous recherchons un profil polyvalent de Data Engineer confirmé / Senior, disposant d'une forte expertise sur Azure, Databricks, Spark, Python et SQL. Le profil recherché devra également avoir des compétences sur Power BI. Une première mission dans le domaine Supply Chain / Logistique constitueraient un plus. Le consultant aura notamment pour missions de : • Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein du Data Lake • Développement de notebooks Databricks pour des traitements avancés de données • Mise en œuvre de solutions de Cloud Data Warehousing (optimisation des traitements et tuning des requêtes SQL) • Rédaction de la documentation technique (Dossiers d'Analyse Technique, release delivery notes, etc.) • Réalisation de revues de code dans une logique de qualité et de bonnes pratiques • Conception et exécution de tests unitaires • Réalisation des tableaux de bord sous Power BI • Livraison des développements dans un environnement DevOps intégrant des processus CI/CD et les outils associés. Compétences techniques requises : • Expérience Data minimum 5 ans • Azure minimum 3 ans • Databricks minimum 3 ans • Spark minimum 3 ans • Python minimum 5 ans • SQL minimum 5 ans • Power BI minimum 3 ans • Maitrise de CI/CD, Azure DevOps minimum 3 ans • Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile minimum 1 an 4 - Aptitudes personnelles Force de proposition, rigueur, réactivité, bon relationnel
ACCROCHE SI TU ADORES CONSTRUIRE DES PIPELINES SOLIDES COMME LE ROC, CETTE ANNONCE EST POUR TOI... CE QUE TU RECHERCHES : Évoluer au sein d'une équipe dynamique Participer à des projets innovants d'envergure Relever des défis liés à l'ingénierie des données, aux flux et aux performances Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi. Au sein d'un acteur majeur du secteur de la gestion d'actifs, tu participeras à la conception, à la mise en place et à l'optimisation d'architectures data robustes et évolutives au service de la valorisation de la donnée : Les pipelines de données, tu développeras La qualité, la fiabilité et la sécurité des données, tu garantiras L'intégration et la transformation des données, tu automatiseras Les architectures data (batch & temps réel), tu concevras La scalabilité et la performance des traitements, tu optimiseras Les outils de monitoring et de gestion des flux, tu mettras en place Ton équipe projet, tu accompagneras Aux rituels agiles et instances data, tu participeras QUI TU ES : Diplômé(e) de la formation qui va bien Surdoué(e) ou doté(e) d'une expérience de 10 ans minimum en ingénierie de la donnée ou en développement data Expert(e) en Azure Data Factory Habile avec les outils Azure Data Factory AU-DELÀ DES COMPÉTENCES TECHNIQUES, TU ES / AS : Dynamique : tu n'aimes pas rester les deux pieds dans le même sabot Autonome : un guide du Routard te suffira Esprit de synthèse : tu sais aller à l'essentiel Capacité d'adaptation : tu es un vrai caméléon Sens de la communication : les mots n'ont pas de secret pour toi Force de proposition : tu es l'Aladdin de l'informatique Esprit d'équipe : un pour tous et tous pour un !
Dans le cadre de la modernisation de son système d'information, un acteur spécialisé dans la gestion d'actifs financiers recherche un Data Engineer Snowflake Senior pour participer à la construction d'une nouvelle plateforme de données. L'objectif est de centraliser les données issues de différentes applications, d'en garantir la qualité et de les rendre accessibles aux équipes métier dans un environnement data moderne. Vos missionsDéveloppement et intégration des données Concevoir et développer des flux de données permettant de collecter, transformer et intégrer des données dans Snowflake ; Développer des traitements complexes en Python et SQL ; Structurer les données selon différents niveaux de transformation : données brutes, nettoyées et prêtes à être exploitées ; Mettre en place des contrôles pour garantir la qualité, la cohérence et la fiabilité des données ; Optimiser les traitements et les performances des pipelines de données. Industrialisation et automatisation Développer et maintenir les transformations de données avec dbt ; Orchestrer et automatiser les traitements à l'aide d'Airflow ; Participer à la mise en place d'une architecture moderne de données, notamment selon le modèle Médaillon ; Contribuer à la fiabilité et à la supervision des traitements. Développement d'API et accompagnement métier Concevoir et développer des API REST permettant aux applications de consulter les données ; Collaborer avec les équipes Data et les interlocuteurs métier pour comprendre leurs besoins ; Rédiger les spécifications techniques et la documentation des développements ; Participer à l'administration et au bon fonctionnement de la plateforme Snowflake. Référent technique Prendre en charge les développements complexes et contribuer aux choix techniques ; Proposer des solutions adaptées aux enjeux de performance, de qualité et de maintenabilité ; Accompagner techniquement un Data Engineer moins expérimenté ; Contribuer à l'amélioration continue des pratiques de développement.
Un grand groupe industriel du secteur de la manufacture et de l'innovation technologique recherche un Data Engineer Senior expérimenté pour renforcer son équipe data sur une mission long terme. Vous piloterez la conception, le développement et l'exploitation d'architectures de données robustes et performantes, en travaillant dans un environnement technique moderne et exigeant. Au sein d'une équipe data agile et structurée, vous serez responsable de la conception et du développement de flux de données complexes, de l'optimisation des pipelines existants et de la mise en place de bonnes pratiques d'ingénierie. Vous travaillerez en étroite collaboration avec les équipes métier, les data scientists et les architectes pour traduire les besoins en solutions scalables et maintenables. Vous participerez également à l'évolution de l'infrastructure data, à la documentation technique et aux revues de code pour garantir la qualité et la pérennité des solutions livrées. La mission s'inscrit dans un contexte de transformation numérique et de centralisation des données d'entreprise. Vous évoluerez dans un environnement technologique riche, avec des défis portant sur la volumétrie, la latence et la fiabilité des flux. Vous serez également amené à contribuer à l'amélioration continue des processus, l'automation des tâches récurrentes et la montée en compétences des équipes techniques. Responsabilités : - Concevoir, développer et optimiser des pipelines et flux de données (ETL/ELT) en utilisant Talend et autres outils de l'écosystème data - Maîtriser la ingestion, la transformation et l'exploitation de données structurées et non structurées à partir de multiples sources - Assurer la qualité, la performance et la fiabilité des traitements de données en production - Collaborer avec les équipes métier, data scientists et architectes pour traduire les besoins en solutions techniques - Participer à l'architecture et à l'évolution de l'infrastructure data et de la plateforme analytique - Contribuer à la documentation technique, aux revues de code et au partage de bonnes pratiques - Monitorer et optimiser les performances des flux existants - Participer à la mise en place de standards de qualité et de sécurité des données Télétravail : 2 jours par semaine Localisation : Clermont-Ferrand
🔎 Contexte de la mission Dans le cadre d'un programme de transformation Data et de migration d'un Data Warehouse historique vers Google Cloud Platform (GCP), nous recherchons un Data Engineer senior pour accompagner la conception, le développement et l'industrialisation de Data Products à destination de différents domaines métiers : Achats, RH, Finance, Opérations, etc. Vous intégrerez une équipe Data agile et contribuerez à la modernisation de la plateforme Data, à la migration des flux existants et à la mise en place de solutions performantes, fiables et industrialisées. 🛠️ Vos principales missions ✅ Concevoir, développer et maintenir les flux de données entre différents systèmes. ✅ Participer à la migration des flux existants vers GCP. ✅ Construire et optimiser les modèles de données sous BigQuery. ✅ Mettre en œuvre des contrôles qualité et renforcer la fiabilité des données. ✅ Automatiser les déploiements et industrialiser les traitements Data. ✅ Contribuer à l'architecture Data en collaboration avec les Data Architects. ✅ Participer aux enjeux de Data Governance, Master Data Management (MDM) et de référentiels de données. ✅ Collaborer avec les Data Stewards et les Data Scientists pour garantir la qualité, la sécurité et l'exploitation des données.
