Data Engineer with SQL Server SSIS and C# Dot Net asp.net Our Client is a bank based in Central London who are looking to recruit a Data Engineer with the ability to work with C# Dot net and SQL Server with SSIS. You must have solid expertise of at least 5 years experience of working with and developing software with C# Dot Net and MS SQL Server and SSIS – SSIS is very important for this position. Responsible for the development and delivery of new systems to automate and streamline processes required by different departments. To support the internal IT department with changes and upgrades to software platforms. To be primary contact for all technical questions relating to in-house bespoke systems and interfacing. Data Support Supporting budgeting and financial planning processes for Finance department, including loading and refreshing of data based on requirements. Understand and conduct the front-end functionality to amend and change hierarchical structures within the environment. Build data flows within the SQL environment in SSIS packages. Risk & Regulatory Duties Maintain knowledge of all applicable regulatory requirements including the Bank's Risk and Compliance policies and procedures and adhere to these to avoid exposing the Bank to undue risk. Report policy/procedure breaches and areas of potential non-compliance and suspicions promptly upon identification in accordance with the Bank's Risk and Compliance policies. Accurately execute all controls within own area to minimise risk of policy, procedure, and/or regulatory breaches. Identify new risks/control gaps within own area and escalate accordingly to your Line Manager and/or Head of Department. Knowledge and Skills Software analysis and design. SQL Server query language with SSIS. Data warehouse design concepts, (Inmon or Kimball) Experience of developing software with C# Dot Net and asp.net is a must. Must have solid experience of working with SSIS and building data warehouses. The Client is a Bank based in the Central London. Must have a degree qualification. This is a 12 month FTC position with a salary of circa £55K - £70K. This is a hybrid position - you will be required to be in the office at least 3 days week. Do send your CV to us in Word format along with your salary and availability.
Dans le cadre d'un programme stratégique de transformation Data, un Data Engineer confirmé est recherché pour participer au développement et à l'industrialisation de Data Products au sein d'une plateforme de données Cloud. Il intégrera une équipe Data en charge de valoriser les données issues de plusieurs systèmes d'information métiers afin de répondre aux besoins analytiques et de reporting des différentes directions. Objectifs et livrables : • Développer des Data Products à partir de spécifications fonctionnelles et techniques. • Concevoir et développer des pipelines d'ingestion et de transformation de données. • Modéliser les données selon les bonnes pratiques de la plateforme. • Développer des modèles de transformation avec DBT. • Optimiser les traitements SQL sur un environnement BigQuery. • Mettre en œuvre les contrôles de qualité des données et contribuer aux initiatives de gouvernance. • Participer aux revues techniques, aux choix d'architecture, aux phases de recette, de mise en production et de support. • Contribuer à l'industrialisation des développements via les pratiques DevOps/DataOps. • Produire la documentation technique, fonctionnelle et d'exploitation des développements réalisés, ainsi que les indicateurs de qualité des données et supports de transfert de connaissances. Compétences requis : • Expertise indispensable sur Google Cloud Platform (GCP) et BigQuery. • Maîtrise avancée du langage SQL et de l'outil DBT. • Conception et développement de pipelines de données industrialisés. • Solides compétences en modélisation de données et pratiques DataOps / DevOps. • Compétences en langages de programmation : Python. • Maîtrise des outils d'orchestration et d'infrastructure : Cloud Composer / Apache Airflow, Pub/Sub, Terraform (selon les projets). • Gestion de version et intégration continue : Git (GitHub ou GitLab), CI/CD. • Pratiques de gouvernance et de gestion de la qualité des données. • Pratique des méthodologies Agile.
🏠 1j télétravail/Semaine - 📍 Toulouse - 🛠 Expérience d'au moins 3 ans Nous recherchons un(e) Data Engineer motivé(e) pour rejoindre une équipe Analytics dédiée à l'amélioration et à l'optimisation des flux de développement et de l'utilisation des ressources de calcul dans un environnement semi-conducteurs. Ce poste offre une forte exposition transverse avec des équipes variées : design, développement de flux, IT, finance, etc. Vous interviendrez principalement sur la mise en place et l'industrialisation de pipelines de données pour alimenter des cas d'usage à forte valeur ajoutée : analytics opérationnel, analyses d'opportunités, prévision et modèles prédictifs. Voici un aperçu détaillé de vos missions : 🎯 Concevoir, développer et maintenir des pipelines de données robustes et scalables sur AWS Automatiser les flux de traitement et garantir la qualité des données Alimenter des solutions d'analytics avancées et des moteurs de prévision (forecasting / ML) Participer à l'architecture des plateformes data Collaborer avec des équipes métiers et techniques pour identifier et adresser les besoins Mettre en œuvre des solutions pérennes, maintenables et industrialisées Assurer le monitoring et l'amélioration continue des processus data Environnement technique : 🧑💻 AWS (stack data complète) DBT / Dagster Python Outils d'intelligence artificielle pour applications analytiques
Je recherche bpour un de mes client un Data Engineer confirmé afin d'intervenir sur le développement, la maintenance et l'évolution des flux de données. Le consultant participera à la mise en œuvre des traitements Data, à l'intégration des données provenant de différentes sources, ainsi qu'à leur mise à disposition auprès des équipes métiers pour répondre aux besoins de reporting et d'analyse. Missions principales :Concevoir, développer et maintenir des flux de données. Développer et optimiser des traitements ETL avec Talend. Concevoir et maintenir des scripts Python pour les traitements et automatisations Data. Participer à l'intégration, la transformation et la mise à disposition des données. Assurer la qualité, la cohérence et la fiabilité des données exploitées. Participer au développement et à l'évolution des reportings via MicroStrategy. Analyser les besoins des équipes métiers et proposer des solutions adaptées. Collaborer avec les équipes techniques et fonctionnelles dans un environnement Agile. Participer aux phases de tests, de recette et de mise en production des traitements développés.
Our government client is looking for Data Engineers to begin ASAP. Please see below for role description and details. - Hybrid, 2 days per week on site in Swansea, Wales - Inside IR35 - SC clearance required - 3-6 months initially + longer extensions expected Role details: To migrate legacy IMPALA reporting (Oracle materialised views and Discoverer workbooks) to Databricks Lakeflow Declarative Pipelines. The work involves translating existing SQL logic into a lakehouse architecture, building reconciliation checks to validate output against the legacy system, and supporting the pipelines once live. It is mostly SQL knowledge but some familiarity with Python on Databricks (in Azure) will be beneficial. Source data is already available in Databricks - you would be working with tables in Unity Catalog, not managing data ingestion or connectivity. Due to the nature and urgency of this post, candidates holding or who have held high level security clearance in the past are most welcome to apply. Please note successful applicants will be required to be security cleared prior to appointment which can take a minimum 10 weeks. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. An award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over multiple years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.
Data & AI Engineer (Data Engineering / AI Engineering) Qui sommes-nous ? Fondée par des experts techniques et portée par des passionnés de l'IT, Big APPS est une société de conseil spécialisée dans la Data, le Cloud, le DevOps et l'Intelligence Artificielle (IA). Nous accompagnons nos clients dans leurs projets de transformation digitale en concevant des plateformes de données performantes et des solutions innovantes basées sur l'IA. Nous intervenons sur des projets à forte valeur ajoutée en mettant en œuvre les technologies les plus récentes et les meilleures pratiques du marché. Dans le cadre de notre croissance, nous recherchons un(e) Data & AI Engineer pour renforcer nos équipes. Vos missions En tant que Data & AI Engineer, vous serez amené(e) à : Concevoir, développer et maintenir des plateformes de données robustes et évolutives. Développer et optimiser des pipelines de données (ETL/ELT). Concevoir des architectures Data sur Azure, AWS ou GCP. Préparer, transformer et valoriser les données pour les projets d'IA. Développer, intégrer et industrialiser des modèles de Machine Learning et d'IA générative. Participer au déploiement des modèles en production (MLOps). Collaborer avec les équipes métiers, Data Science et Cloud. Mettre en œuvre les bonnes pratiques DevOps, CI/CD et Infrastructure as Code. Garantir la qualité, la sécurité et la disponibilité des données. Que vous soyez Data Engineer, AI Engineer, Data Scientist ou déjà doté(e) d'une double compétence Data & IA, vous souhaitez intervenir sur des projets innovants mêlant Data Engineering, Machine Learning, IA Générative et Cloud ? Rejoignez Big APPS !
TON CHALLENGE: Prendre part à des projets stimulants dans le secteur du retail ou banque assurance en travaillant avec une équipe soudée, expérimentée et méthodique sur les tâches suivantes : Concevoir et développer des interfaces utilisateur interactives en utilisant Python, SQL Collaborer avec les concepteurs et les développeurs back-end Optimiser les performances de l'application Optimiser les performances de l'application Effectuer des tests et assurer la qualité du code
Titre : Data Engineer Java / Spark / GCP (H/F) — Secteur Aéronautique Localisation : Toulouse (31) — Hybride 3/2 Démarrage : Dès que possible Durée : Jusqu'au 31/12/2026 — Mission renouvelable TJM : Jusqu'à 440 € Description de la mission Dans le cadre du renforcement de l'équipe Data d'un acteur incontournable du transport aérien, nous recherchons un Data Engineer / Tech Lead expérimenté pour intervenir sur le Datalake du groupe. Vous rejoignez une squad de 6 personnes et contribuez à l'alimentation, l'enrichissement et l'évolution de la plateforme de données (couches load et refined). Compétences requises Java — niveau confirmé (30 % du poste) Apache Spark (30 %) GCP : Dataproc, Dataform, Google Cloud Storage, Terraform (30 %) BigQuery (10 %) Python : bonne maîtrise Méthodologie Agile Expérience attendue : 5 ans minimum en Data Engineering Profil Tech Lead apprécié Conditions Rythme : 3j présentiel Toulouse / 2j télétravail TJM max : 440 €/j Mission jusqu'au 31/12/2026, renouvelable
Le Data Engineer Confirmé peut prendre le rôle de Lead Tech (référent technique) d'un ou plusieurs projets, y compris projets stratégiques, taille d'équipe importante et composantes techniques relevant d'une expertise forte ou atypique. Vous participerez, animerez et garantirez la qualité du développement des applications Data. Durant le run (exploitation), il intervient en tant que support pour toutes les anomalies non prises en charge par l'équipe CDS Run actuel. Cela comporte le niveau 2 et 3. La résolution de ces incidents passera par une phase de build (construction), durant laquelle en plus de la qualité de sa propre production, il est garant de la connaissance, de l'application et du développement des standards et bonnes pratiques. Il est aussi garant de la documentation technique du produit Data sur lequel il interviendra : Consignes par traitement Document d'exploitation Plan de production …
Dans le cadre du développement de projets technologiques majeurs pour l'un des leaders industriels mondiaux, nous recherchons un(e) Data Engineer H/F spécialisé(e) ou fortement acculturé(e) aux problématiques d'Intelligence Artificielle. Intégré(e) au sein des équipes R&D / Data du site de Montbéliard, vous serez un maillon essentiel pour concevoir, structurer et industrialiser les pipelines de données nécessaires au déploiement de solutions basées sur l'IA (maintenance prédictive, optimisation des processus complexes, systèmes connectés...). Vos responsabilités au quotidien : Conception & Architecture : Modéliser, développer et optimiser les architectures de données (Batch et Real-time) pour soutenir les cas d'usage IA et Data Science. Pipelines ETL/ELT : Construire, industrialiser et maintenir des pipelines de données robustes, fiables et scalables. Collaboration IA : Travailler en étroite collaboration avec les Data Scientists pour intégrer des modèles de Machine Learning et d'IA au sein des flux de production. Qualité & Gouvernance : Garantir la qualité, la traçabilité, la sécurité et la disponibilité de la donnée pour les différents métiers du groupe. Performance : Monitorer et optimiser la performance des requêtes et des systèmes de stockage.
Dans le cadre du développement de ses systèmes d'information Épargne Salariale et Retraite, les Bénéficiaires doivent recourir à une prestation externe pour fournir assistance à la modernisation de la plateforme BI. 1. OBJET DE LA PRESTATION Dans le cadre du projet de modernisation de la plateforme BI, la prestation consistera à mettre en place des solutions répondant aux besoins couverts par l'existant et permettant de proposer de nouveaux services. Cette solution devra utiliser les outils validés et mis à disposition par le groupe. La mission sera pilotée par l'équipe Coeur-Data au sein de la R&D Epargne salariale et retraite. Le data engineer devra intervenir en collaboration avec l'équipe de 5 personnes ainsi qu'avec les clients et les équipes transverses du client. Exemple d'applications du domaine d'intervention : Architecture : Définition de l'organisation du Lakehouse dans le S3 Chargement : Utilisation de pipelines spark, pyspark et python Ordonnancement : Dagster Restitution : Mise à disposition de la donnée brut + création de rapports sur un outil de dataviz à définir sur la base du LakeHouse L'objectif principal de la prestation sera la mise à disposition de data structurées à destination de l'équipe marketing . Dans ce cadre, il conviendra de réaliser : - Le développement d'une solution de collecte de données - Le développement d'un système de stockage de la donnée - La documentation des développements - La réalisation de tests unitaires - La mise en place d'un suivi des traitements - L'assistance à la recette par la MOA / les utilisateurs - Des comptes rendus aux pilotes sur l'avancement du projet et les blocages rencontrés - Des études avec les équipes transverses du client 2. ENVIRONNEMENT FONCTIONNEL DE LA PRESTATION La prestation se déroulera au sein du service IT en charge de la Maintenance applicative 3. ENVIRONNEMENT TECHNIQUE DE LA PRESTATION - Langages de programmation : Python, Spark, Pyspark, SQL - Outil de gestion de version : Git - Intégration continue : JENKINS - Ticketing : JIRA - Documentation : Confluence - Poste de travail Windows 10 avec WSL (Windows Subsystem for Linux) - Outils de la plateforme actuelle : Informatica, DAC, OBIEE, Eclipse BIRT, Oracle 19 - Outils de la plateforme cible : Dagster, Trino, S3 4. RESULTATS ATTENDUS / LIVRABLES - Respect du planning détaillé validé - Estimation des charges MOE - Mise en œuvre des solutions développées - Programme testé et prêt à la recette par les utilisateurs / MOA - Tests unitaires des développements effectués - Suivi d'avancement des tâches du projet en cours - Documentation technique - Amélioration continue des processus de développements 5. PRE-REQUIS ET/OU ELEMENTS INDISPENSABLES - Python, Spark appliqué à la data - Machine learning appliqué à la donnée (scikit-learn, feature engineering) - Relationnel pour les échanges avec le métier - Outils Informatica - Outils LLM/GenAI pour l'accès et l'exploration de la donnée
Data Engineer with C# Dot Net asp.net with SQL Server SSIS Our Client is a bank based in Central London who are looking to recruit at least 7 years plus experience as a Data Engineer with the ability to work with C# Dot net and SQL Server with SSIS. You must have solid expertise of at least 7 years experience of working with and developing software with C# Dot Net and MS SQL Server and SSIS – SSIS is very important for this position. Must be an excellent problem solver and adept writing documentation for all projects. You ideally have worked on banking systems particularly Core Banking. Responsible for the development and delivery of new systems to automate and streamline processes required by different departments. To support the internal IT department with changes and upgrades to software platforms. To be primary contact for all technical questions relating to in-house bespoke systems and interfacing. Data Support Supporting budgeting and financial planning processes for Finance department, including loading and refreshing of data based on requirements. Understand and conduct the front-end functionality to amend and change hierarchical structures within the environment. Build data flows within the SQL environment in SSIS packages. Risk & Regulatory Duties Maintain knowledge of all applicable regulatory requirements including the Bank's Risk and Compliance policies and procedures and adhere to these to avoid exposing the Bank to undue risk. Report policy/procedure breaches and areas of potential non-compliance and suspicions promptly upon identification in accordance with the Bank's Risk and Compliance policies. Accurately execute all controls within own area to minimise risk of policy, procedure, and/or regulatory breaches. Identify new risks/control gaps within own area and escalate accordingly to your Line Manager. Key Skills Software analysis and design. SQL Server query language with SSIS. Data warehouse design concepts, (Inmon or Kimball) Experience of developing software with C# Dot Net and asp.net and SQL Server is a must. Must have solid experience of working with SSIS and building data warehouses. The Client is a Bank based in the Central London. Must have a degree qualification. This is a 12 month FTC position with a salary of circa £55K - £70K. This is a hybrid position - you will be required to be in the office at least 3 days week. Do send your CV to us in Word format along with your salary and availability.
Dans le cadre d'un projet stratégique en Banque / Finance, nous recherchons 2 Tech Leads Big Data / Data Engineering expérimentés pour rejoindre une équipe intervenant sur des sujets à fort enjeu autour des environnements BFI et Risk. 🎯 Profil recherchéExpérience confirmée en Big Data / Data Engineering Bonne connaissance des environnements Banque de Financement et d'Investissement (BFI) et des problématiques Risk Capacité à évoluer dans des environnements techniques complexes et à accompagner les équipes 💻 Compétences techniques indispensablesSpark / PySpark / Scala Python Hive / SQL Elasticsearch / Kibana Jenkins Ansible Oozie Méthodologie Agile 🚀 Vos missionsConcevoir et développer des solutions Big Data performantes Accompagner les équipes sur les choix techniques et les bonnes pratiques Participer à l'industrialisation des traitements et à l'optimisation des performances Intervenir sur des projets stratégiques à fort impact dans le secteur bancaire 📍 2 postes à pourvoir immédiatement 👉 Vous êtes intéressé(e) ou connaissez un profil correspondant ? N'hésitez pas à me contacter en message privé.
Nous recherchons un Data Engineer Data Engineer Confirmé / Senior Compétences techniques: SQL - Confirmé - Impératif TALEND - Confirmé - Important DATAIKU - Confirmé - Important STAR SCHEMA - Confirmé - Important Description détaillée: Dans le cadre du développement de services de valorisation de données, notre client a conçu et mis en place une plateforme de traitement de ses données appelée « Datalab ». Le Datalab facilite la création de requêtes, et la production de rapports et tableaux de bords évolutifs et adaptés aux besoins des utilisateurs sous le contrôle du client Il s'agit de reproduire au sein du Datalab (Dataiku, Vertica, Tableau Software) une liste de rapports et tableaux de bord existants dans les infocentres actuels conçus à travers des Univers Business Object. Compétences attendues : Relationnel Bon relationnel Capacité à travailler en équipe Capacité à présenter son travail Capacité à travailler en mode sprint et à respecter les délais Outils Très bonne connaissance du modèle en étoile / star schema DATAIKU PYTHON TALEND BDD VERTICA SQL avancé Socle de données De formation data Connaissance et expérience significative des principes et bonnes pratiques de développement d'un socle data industrialisé dans les standard Connaissance et expérience significative des principes et bonnes pratiques de MEP Expérience significative dans les gestions des init et delta de données Sujets attendus avec connaissance théoriques et expérience significative : collecte de données, implémentation du star schema en faits/dimensions dans les règles de l'art Expérience des tests et validation de données (secondaire) Full présentiel sur les premiers mois.
Au sein d'une équipe Data & Digital, vous intervenez sur le développement et l'industrialisation de solutions Big Data à forte volumétrie dans un environnement exigeant et innovant. Vous contribuerez à la conception, au développement et à l'exploitation de plateformes Data reposant sur des technologies Cloud et Big Data. Vos missionsDévelopper des applications Data et des API REST en Java/Spring. Participer aux études de faisabilité et aux choix techniques. Concevoir et implémenter des traitements Big Data. Mettre en œuvre les bonnes pratiques de qualité logicielle (TDD/BDD). Automatiser les déploiements et contribuer à l'industrialisation des environnements. Optimiser les performances applicatives et la stabilité des plateformes. Accompagner les équipes métiers et participer au support des phases de tests. Assurer le maintien en conditions opérationnelles des solutions. Profil recherchéBac+5 École d'Ingénieur ou équivalent. Expérience significative en Data Engineering et environnements Big Data. Excellente maîtrise de Java. Solides compétences sur Spark et Hadoop. Expérience des environnements Cloud AWS et/ou Azure. Bonne maîtrise de Python et/ou Scala. Expérience des API REST et du framework Spring. Environnement techniqueJava Spring Boot Spark Hadoop HDFS Oozie Scala Python AWS Azure Shell Unix Git / GitHub Containers TDD / BDD
