Trouvez votre prochaine offre d’emploi ou de mission freelance Data Engineering

La mission consiste à : - Exposer les données utiles à l'entreprise pour les analyser et les utiliser afin d'améliorer l'expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l'entreprise - Travailler en lien avec des Data Scientists sur les données qu'il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Formation supérieure en école d'ingénieur, école d'informatique ou Master spécialisé dans la Data Science - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais

Définir la vision, la stratégie et la feuille de route de la plateforme IA. Piloter le développement et l'évolution d'une plateforme IA d'entreprise basée sur des technologies cloud et des modèles d'IA générative. Garantir la disponibilité, la performance, la sécurité et la montée en charge de la plateforme. Travailler en étroite collaboration avec les équipes Data, Architecture, Engineering et les métiers. Mettre en place les bonnes pratiques de gouvernance, de sécurité et de conformité autour des usages de l'IA. Développer et industrialiser les processus LLMOps / MLOps afin d'accélérer le déploiement des cas d'usage. Favoriser l'adoption des solutions IA grâce à une approche produit et self-service. Piloter les équipes techniques ainsi que les partenaires externes intervenant sur la plateforme. Assurer le suivi des indicateurs de performance, des coûts et de la création de valeur.

ContexteDans le cadre de l'évolution et de l'optimisation de sa plateforme décisionnelle, notre client recherche un Data Engineer SQL & GCP expérimenté afin de renforcer l'équipe en charge du Datawarehouse. Vous interviendrez sur des projets liés à la gestion, à la transformation et à l'optimisation des données, avec un fort enjeu de performance et de qualité des traitements dans un environnement Cloud Google. Vos missionsConcevoir, développer et maintenir les traitements d'alimentation du Datawarehouse. Développer et optimiser des requêtes SQL complexes sur Teradata et Google BigQuery. Concevoir et maintenir les flux ETL sous PowerCenter et/ou IDMC (Informatica Intelligent Data Management Cloud). Participer à la migration et à l'industrialisation des traitements vers Google Cloud Platform. Garantir la qualité, la performance et la fiabilité des traitements de données. Participer aux phases d'analyse, de conception technique et de recette. Assurer le suivi des traitements batch et résoudre les incidents. Collaborer avec les équipes Data, BI, Architecture et Métiers dans un environnement Agile. Environnement techniqueBases de données & SQL (60%)SQL avancé Teradata Google BigQuery ETL (20%)Informatica PowerCenter Informatica IDMC Outils & Cloud (20%)Google Cloud Platform (GCP) Control-M Jira Git (apprécié) Profil recherchéMinimum 5 ans d'expérience en Data Engineering. Excellente maîtrise de SQL, notamment sur de gros volumes de données. Expérience significative sur Teradata et/ou Google BigQuery. Bonne maîtrise des outils Informatica PowerCenter ou IDMC. Expérience dans un environnement Google Cloud Platform (GCP). Connaissance des ordonnanceurs (Control-M) appréciée. Expérience en environnement Agile. Autonomie, rigueur et esprit d'équipe. Compétences indispensablesSQL avancé Teradata Google BigQuery Informatica PowerCenter ou IDMC Google Cloud Platform (GCP) Datawarehouse Optimisation de requêtes SQL Les plusExpérience dans un contexte industriel ou aéronautique. Connaissance des problématiques de migration vers le Cloud. Maîtrise des outils de suivi de projet (Jira). Sensibilité aux bonnes pratiques Data et à la qualité des données.

Dans le cadre de l'évolution d'une plateforme Data Cloud stratégique, nous recherchons un Data Engineer Azure confirmé à expert, capable d'intervenir sur les enjeux de gouvernance, de partage et d'industrialisation de la donnée dans un environnement Azure Databricks. MissionsFaire évoluer une plateforme Data Lake existante sur Azure. Participer à l'intégration et au déploiement du Unity Catalog Databricks. Définir et mettre en œuvre les modèles de gouvernance et de gestion des accès aux données. Industrialiser les mécanismes de partage de données. Mettre à disposition les données sous forme de tables Delta Lake / Iceberg. Contribuer aux études techniques et aux Proofs of Concept (POC). Accompagner le déploiement d'un Data Lake gouverné. Compétences requisesIndispensables : Azure Databricks Unity Catalog Spark Data Engineering Azure GitHub Azure DevOps Gouvernance des données Architecture Data Lake Appréciées : Java JavaScript / TypeScript Formats Delta Lake et Iceberg Profil recherchéConsultant senior à expert Forte autonomie technique. Expérience significative sur des plateformes Data Cloud à grande échelle. Capacité à intervenir aussi bien sur les sujets d'architecture que de mise en œuvre opérationnelle. Excellentes capacités de communication et de collaboration avec les équipes Data et Infrastructure.

Contexte de la mission Au sein de la Direction Data, l'équipe se compose de deux pôles : Gouvernance et BI Reporting. Le poste s'inscrit dans le pôle BI Reporting, sur une stack Power BI, SQL et Talend. Le rôle est un poste de transition managériale : remplacer le Team Lead actuel le temps du recrutement d'un remplaçant en interne. L'équipe fonctionne comme une véritable DSI interne, en traitant des sujets ERP, des sujets industriels et de la gestion de projet, au-delà du seul reporting. Missions principales Encadrer et animer l'équipe BI Reporting, en assurant la continuité managériale dans l'attente d'un recrutement interne. Piloter des projets répartis à parts égales entre data visualisation et data engineering/dataops. Créer des dashboards from scratch (certains projets peuvent prendre jusqu'à 3 mois selon leur ampleur), en gérant un portefeuille de projets nombreux et parfois volumineux. Promouvoir une approche agile sur les projets, sans rigidité excessive — poursuivre la trajectoire vers plus d'agilité déjà engagée par l'équipe. Assumer un rôle proche du Product Owner data sur le plan fonctionnel et organisationnel : cadrage des sujets, priorisation, coordination avec les parties prenantes métier et IT (ERP, industriel). Maintenir une bonne dynamique d'équipe, dans la continuité du management précédent, reconnu pour son écoute et sa proximité relationnelle avec les collaborateurs. Stack technique Power BI, SQL, Talend

Au sein d'une équipe Data & Digital, vous intervenez sur le développement et l'industrialisation de solutions Big Data à forte volumétrie dans un environnement exigeant et innovant. Vous contribuerez à la conception, au développement et à l'exploitation de plateformes Data reposant sur des technologies Cloud et Big Data. Vos missionsDévelopper des applications Data et des API REST en Java/Spring. Participer aux études de faisabilité et aux choix techniques. Concevoir et implémenter des traitements Big Data. Mettre en œuvre les bonnes pratiques de qualité logicielle (TDD/BDD). Automatiser les déploiements et contribuer à l'industrialisation des environnements. Optimiser les performances applicatives et la stabilité des plateformes. Accompagner les équipes métiers et participer au support des phases de tests. Assurer le maintien en conditions opérationnelles des solutions. Profil recherchéBac+5 École d'Ingénieur ou équivalent. Expérience significative en Data Engineering et environnements Big Data. Excellente maîtrise de Java. Solides compétences sur Spark et Hadoop. Expérience des environnements Cloud AWS et/ou Azure. Bonne maîtrise de Python et/ou Scala. Expérience des API REST et du framework Spring. Environnement techniqueJava Spring Boot Spark Hadoop HDFS Oozie Scala Python AWS Azure Shell Unix Git / GitHub Containers TDD / BDD

Contexte & Enjeux du Projet Au sein d'un éditeur logiciel d'envergure internationale, l'équipe Regtech développe une nouvelle solution de suivi réglementaire destinée aux grandes banques dépositaires (vérification du respect des contraintes légales et prospectus des fonds d'investissement). La chaîne applicative automatisée comprend : Gestion du cycle de vie des fonds et suivi réglementaire. Data Engineering / ETL sur-mesure : Ingestion et transformation quotidienne de données de marché à forte volumétrie. IA / NLP : Identification et annotation automatique des règles statutaires dans les documents (modèles internes). Moteur de règles haute performance : Vérification quotidienne de la conformité sur des centaines de milliers de règles. Workflow de remédiation : Suivi et gestion des breaches (non-conformités). Indicateurs de charge (1er client - Banque française / +10 000 fonds) : ~3 400 fichiers importés/jour ➔ ~60 000 datasets ➔ ~1 000 000 de règles exécutées par nuit. Historisation réglementaire de 15 ans. Organisation & Périmètre de la Squad L'équipe Regtech réunit ~40 personnes (PM, PO, DevOps, Dev, QA) réparties en 3 squads fonctionnelles et 1 squad transverse, dans un environnement Agile Scrum distribué entre la France et l'Inde. Vous piloterez la squad Moteur de Règles & Workflow de Breaches (cœur de réacteur applicatif soumis aux plus fortes exigences de volumétrie et performance). Composition de la Squad : 1 Product Manager, 1 à 2 Product Owners 7 à 8 Développeurs Fullstack (avec forte appétence Back-end, seniors) 2 QA (dont 1 expert en automatisation de tests Playwright) 1 Co-Squad Lead basé en Inde (relai sur les revues de code) Rattachement direct au responsable des squads, appuyé par un Architecte/SRE. Missions du Squad Lead (50% Pilotage / 50% Code) Architecture & Technique : Définir et garantir les architectures cibles. Prendre et défendre des choix techniques structurants. Encadrement & Lead : Manager, faire monter en compétences et accompagner au quotidien les développeurs de la squad. Développement Hands-on : Contribuer activement au code (.NET) avec un haut niveau d'exigence sur la performance, la maintenabilité et la qualité. Qualité de code : Promouvoir les bonnes pratiques, le refactoring et une couverture de tests unitaires rigoureuse. Environnement Technique & Outillage IA Back-end : .NET 8 (migration .NET 10 en cours), Entity Framework, NHibernate, Hangfire Front-end : Angular 15 (migration v20/21 prévue cette année) Data / Scalabilité : NuoDB, PostgreSQL, DuckDB in-memory (pour l'exécution parallèle des règles sans goulet d'étranglement) Infra / Services : Redis (cache distribué & queuing), AWS S3, JS Report Tooling : Visual Studio, Cursor, Jira, Confluence, Playwright (QA) Culture IA : Utilisation active de Cursor et mise à disposition de GPU dédiés pour faire tourner des agents internes (ex: agent de revue automatisée de PR, agent d'analyse automatique de logs et pré-diagnostic de tickets).

Job Title: Senior Power BI Developer Location: Completely Remote role, can be Located anywhere in the UK! Salary: Depending on experience Job Type: Permanent, Full Time We're proud to be a trusted leader in SQL development services, and in database, server, cloud, and application services. We enjoy helping our clients, many of which are well-known household brands, stay connected and supported. We are seeking an experienced Senior Power BI Developer to design, develop and support modern business intelligence and analytics solutions using Power BI and other SQL Server technologies. About the role: The successful candidate will combine strong technical expertise with excellent stakeholder engagement skills, helping clients and internal teams transform raw data into meaningful business insights. The role will involve creating enterprise-grade Power BI reporting platforms, and mentoring junior developers to support their technical and professional growth. This is an excellent opportunity for someone who enjoys working across the full BI lifecycle, from requirements gathering and solution design through to development, deployment, optimisation and support. Key duties: Business Intelligence & Reporting Design, develop and maintain enterprise Power BI solutions Design and maintain scalable data models using dimensional modelling and star schema best practices Create intuitive dashboards, reports and visualisations that enable data-driven decision making. Develop and maintain semantic models, datasets, dataflows and Power BI workspaces. Implement best practices for report performance, usability, security and governance. Develop advanced DAX calculations, measures and KPIs. Optimise report and dataset performance, ensuring reliability and scalability Wider Fabric Knowledge would be advantageous Understanding of data warehouse solutions would be ideal but not essential Client & Stakeholder Engagement Work directly with clients and business stakeholders to understand requirements Translate business requirements into robust technical solutions Conduct workshops, technical reviews and design sessions Produce high-quality technical documentation and solution designs Provide guidance and recommendations on best practices and future roadmap opportunities Leadership & Mentoring Provide technical leadership within the BI aspect of the Development team Mentor and support junior BI Developers and Data Engineers Undertake code reviews and provide constructive technical feedback Assist in developing standards, frameworks and development methodologies Promote continual learning and knowledge sharing across the team About you Essential Strong commercial experience developing Power BI solutions Advanced knowledge of Power BI including: DAX Power Query Semantic Models Row Level Security (RLS) Workspace and deployment management Extensive SQL Server development experience Experience designing and implementing dimensional models Experience gathering requirements and producing technical documentation Experience working directly with business stakeholders and clients Experience troubleshooting and performance tuning reporting and database solutions Experience using source control systems such as Git and Azure DevOps Desirable Experience with Azure Data Services Experience with Microsoft Fabric Data Factory Experience with Lakehouse architectures Experience with PowerShell automation Experience with CI/CD pipelines and automated deployments Experience with Python for data engineering or analytics An understanding of data warehousing principles and methodologies is preferable Experience developing ETL/ELT processes Knowledge of Microsoft Fabric and modern data platform technologies is preferable Knowledge of Microsoft Purview and data governance frameworks Microsoft certifications including PL-300, DP-600 or DP-203 Personal Attributes Excellent analytical and problem-solving skills. Strong communication and stakeholder management abilities. Passion for data and new technologies. Self-motivated and capable of working independently. Strong mentoring and coaching capabilities. Commercial awareness and customer-focused mindset. Ability to prioritise and manage multiple assignments simultaneously. Commitment to continual professional development. Why join us: Competitive salary and benefits package Generous Pension Contribution Scheme (up to 10% match) Income Protection/Life Insurance 5 weeks' annual leave (pro rata) plus options to buy/sell days Paid birthday leave, volunteering days, and extra leave for long service Work with modern Microsoft technologies including Fabric, Power BI and Azure. Opportunity to influence technical direction and best practices. Supportive environment focused on learning and professional growth. Exposure to a diverse client base and challenging projects. Opportunity to mentor and develop the next generation of BI professionals. Company-sponsored training and certifications Quarterly team training and get-togethers Please click on the APPLY button to send your CV, you will then be sent a link to a Skills Assessment Form. Only candidates that complete the Skills Assessment form will be considered. Expected recruitment timeline: Applications close: 17 September First interviews: Week of 21 September via video Second interviews: 14 October in person Candidates with experience of; Power BI Developer, Senior BI Developer, Business Intelligence Developer, BI Analyst, Data Visualization Specialist, Microsoft Fabric Developer, DAX Developer, SQL & Power BI Engineer, BI Consultant, Analytics Developer, Reporting Specialist, Data Modeller, Enterprise BI Developer, BI Technical Lead, Business Intelligence Analyst also be considered for this role. IndeedH2F