Trouvez votre prochaine offre d’emploi ou de mission freelance Data Lake

Contexte :Dans le cadre de la structuration et de la gouvernance des données au sein d'un système d'information complexe et fortement interconnecté, nous recherchons un Data Steward. Le Data Steward joue un rôle clé dans la qualité, la fiabilité et la bonne utilisation des données au sein de l'organisation. Il agit en interface entre les équipes métiers, les équipes IT et les data owners afin de garantir la cohérence, la traçabilité et la conformité des données tout au long de leur cycle de vie. Missions principales :Gouvernance et qualité des donnéesDéfinir, formaliser et maintenir les règles de gestion des données Mettre en place et suivre les indicateurs de qualité (complétude, unicité, cohérence, fraîcheur) Identifier, analyser et corriger les anomalies de données Participer à la mise en place de processus de Master Data Management (MDM) Assurer le suivi des référentiels de données et des données de référence Modélisation et référentielsContribuer à la définition des modèles de données conceptuels et logiques Participer à la structuration des dictionnaires de données et catalogues Garantir l'uniformisation des définitions entre les systèmes Collaborer avec les Data Architects et Data Owners sur la définition des objets métier Qualité et exploitation des flux de donnéesSuivre les flux de données issus des systèmes sources (API, ETL, ESB, streaming) Contrôler la qualité des données injectées dans les plateformes analytiques Participer à la mise en place de contrôles automatisés (data quality checks, profiling, dédoublonnage) Contribuer au monitoring des flux et à la détection d'anomalies Support aux métiersAccompagner les utilisateurs métiers dans la compréhension et l'usage des données Garantir la bonne utilisation des référentiels dans les outils opérationnels et décisionnels Participer à la diffusion d'une culture data au sein des équipes Environnement technique :Data & IntégrationAPI REST / SOAP ETL (type Azure Data Factory ou équivalent) ESB / Message Broker (Kafka ou équivalent) Bases de données relationnelles (PostgreSQL, SQL Server, MySQL) Bases NoSQL (MongoDB) Cloud & Data PlatformEnvironnements Cloud (Azure principalement, éventuellement AWS ou GCP) Data Warehouse / Data Lake Solutions de gouvernance et catalogage de données BI & exploitationOutils de visualisation (Power BI, équivalent) SQL avancé pour analyse et contrôle qualité Outils de monitoring des flux et de data quality

RÉSUMÉ EXPRESS Data Engineer senior (4 ans+, Bac+5) pour construire et opérer les pipelines data d'une plateforme cloud de paiement à fort volume transactionnel. Il maîtrise Python/PySpark et Databricks en production, conçoit les architectures data lakehouse sur AWS (S3, Redshift), optimise les jobs Spark et garantit la fiabilité et la qualité des données pour les usages analytics et ML. Expérience fintech ou paiement fortement appréciée. 2 jours de télétravail par semaine / Anglais professionnel opérationnel obligatoire. MISSIONS PRINCIPALES Design & Construction des Pipelines Data Concevoir et construire les pipelines ETL/ELT d'ingestion, transformation et chargement depuis de multiples sources (terminaux POS, APIs, systèmes de paiement) Choisir les patterns adaptés selon les cas d'usage : batch vs streaming, data warehouse vs data lake vs lakehouse Développer en Python/PySpark avec des pratiques d'ingénierie logicielle solides (tests, packaging, code maintenable) Databricks & Optimisation Spark Construire et optimiser les workflows Databricks (Jobs, Delta Live Tables) en production sur des volumes significatifs Optimiser les jobs Spark : partitionnement, broadcast joins, caching, memory management, tuning des performances et des coûts Architecture Data & Stockage AWS Concevoir les structures de données et les patterns de stockage sur AWS (S3, Redshift, formats Parquet/Delta/Iceberg) Modéliser et optimiser les données dans Redshift (distribution keys, sort keys, requêtes analytiques) Gérer la sécurité des données dans un contexte de données de paiement sensibles (IAM, chiffrement, conformité) Fiabilité Production & Qualité des Données Assurer le monitoring et l'alerting des pipelines en production, intervenir sur les incidents (données manquantes, pipeline en retard, données corrompues) Mettre en place des contrôles de qualité des données (data validation, schema evolution, data lineage) Collaboration & Veille Travailler avec les data scientists pour comprendre leurs besoins et leur fournir des datasets de qualité pour le ML Assurer une veille technologique active sur les nouvelles technologies et best practices data

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Architecte Databricks (H/F) à Lyon, France. Contexte : Au sein du pôle, l'équipe transverse agit sur les deux départements, cette équipe en cours de construction est aujourd'hui constituée d'un chef de projet. La mission du projet : Accompagner la migration et l'industrialisation d'une plateforme data cible autour de Databricks / Spark / Power BI​. Les missions attendues par le Architecte Databricks (H/F) : Activité principale Concevoir, développer et maintenir des pipelines data sous Databricks / Spark Développer les traitements en Python, PySpark et SQL Contribuer à la définition et à la mise en œuvre du modèle de données cible Industrialiser les pipelines : standards de développement, tests, CI/CD, déploiement Mettre en place des traitements robustes, maintenables et scalables Orchestrer les traitements via Databricks Workflows / Lakeflow Jobs Contribuer à la qualité, à l'observabilité et à la fiabilité des traitements Participer au run : suivi de production, analyse d'incidents, amélioration continue Prendre en compte les enjeux de performance et de maîtrise des coûts Activité secondaire Participer au cadrage des besoins avec le Product Owner et les équipes utilisatrices Contribuer aux choix techniques liés à la nouvelle plateforme data Participer à la mise en place des pratiques de développement Databricks Contribuer à l'interfaçage avec Power BI ou à des processus intégrés Databricks / Power BI Participer à l'intégration de sources d'alimentation du datalake, Kafka apprécié Contribuer à la documentation technique et aux standards d'équipe Participer aux rituels agiles et à l'amélioration continue de la feature team Stack technique de l'équipe Obligatoires : Databricks, Spark, PySpark, Python, SQL Obligatoires : Modélisation data, Delta Lake, Unity Catalog Obligatoires : CI/CD, tests, industrialisation des pipelines Demandées : Certification Databricks, cloud public, Terraform Demandées : Databricks Workflows, observabilité Appréciées : Kafka, Lakeflow / DLT, Power BI Appréciées : Certification cloud

Tech Lead en grand compte, c'est d'abord garantir la réussite technique d'un produit : architecture cible, choix technologiques, qualité logicielle, cybersécurité by design, industrialisation, montée en compétence d'une équipe. La chaîne data et l'IA font partie du scope de la Squad — comme une dimension du produit, pas comme votre spécialité d'expert. Vous avez tenu ce rôle 3 à 5 ans en SAFe ? Rejoignez une Squad Agile Data & IA d'un leader européen de la production électrique. Au sein d'une Squad Agile Data & IA d'un leader européen de la production électrique, vous rejoignez en Tech Lead un produit dont vous êtes le référent technique principal. Vous êtes responsable de l'architecture cible, des choix technologiques, de la qualité des développements, de la sécurité, de l'industrialisation et de la montée en compétence de l'équipe. Le produit couvre plusieurs couches techniques que vous portez en transverse : backend Java / Spring Boot avec APIs REST (OpenAPI, OAuth2 / JWT) déployé sur Openshift et adossé à des plateformes data internes (Hexadata, GoldenGate), frontend Angular ou React, pipelines data (Airflow, Spark, Trino, Data Warehouse, Data Lake), chaîne IA (Machine Learning, Deep Learning, LLM, RAG, LangChain, IA agentique), cloud et DevOps (Azure / AWS / GCP, Docker, Kubernetes, Terraform, GitLab CI/CD, Jenkins, SonarQube). Vous portez également les sujets de cybersécurité (OWASP, IAM, MFA, chiffrement, RGPD, sécurisation des APIs, gestion des secrets) et le support de niveau 3 / maintenance évolutive. La data et l'IA sont dans le scope de la Squad — vous appréhendez la chaîne sans être attendu comme expert pur sur ces sujets. Vos ResponsabilitésVotre quotidien s'articulera autour de quatre piliers majeurs : Architecture cible & choix technologiques : Définir l'architecture cible du produit et réaliser les choix technologiques structurants sur l'ensemble des couches — backend Java / Spring Boot, frontend Angular ou React, pipelines data (Airflow / Spark / Trino), chaîne IA, cloud (Azure / AWS / GCP), déploiements Openshift. Arbitrer les décisions d'architecture transverses et défendre les options retenues. Tech leadership, qualité & industrialisation : Encadrer les développeurs (coaching, pair programming, animation d'ateliers techniques, gestion de la dette technique), réaliser les revues de code, garantir la qualité logicielle (couverture de tests, SonarQube), piloter les sujets DevOps et CI/CD (Git, GitLab, Jenkins, Docker, Kubernetes, Terraform), et participer aux cérémonies Agile et SAFe. Cybersécurité by design : Assurer la sécurité des développements et porter les standards de cybersécurité du produit (OWASP Top 10, gestion des identités et des accès, MFA, chiffrement des données, RGPD, sécurisation des APIs, gestion des secrets) dans un cadre grand compte exigeant. Référent technique du produit, support N3 & livrables : Constituer le référent technique principal du produit, accompagner les décisions stratégiques, assurer le support de niveau 3 et la maintenance évolutive, et produire les livrables structurants (dossiers d'architecture, spécifications techniques, schémas de flux, documentation Confluence, backlog technique, plan de tests, guides de déploiement, documentation d'exploitation).

Project Manager with Digital Banking Operations and Artificial Intelligence AI We are seeking a Project Manager with Digital Banking Operations and Artificial Intelligence (AI) Projects experience to join our Client a bank based in Central London. This is a full-time role located in London, with flexibility for some remote work. As an AI project manager, you be responsible for overseeing and managing the implementation of AI projects within our digital banking operations. You will collaborate with cross-functional teams to define project goals, develop project plans, allocate resources, track progress, and ensure timely and successful delivery of projects. Experience and Qualifications Previous experience in project management, preferably within the banking or financial services industry Strong understanding of digital banking operations and Artificial Intelligence AI technologies Proven track record of successfully delivering complex projects on time and within budget Excellent communication and interpersonal skills, with the ability to effectively collaborate with cross-functional teams Strong problem-solving and decision-making abilities Knowledge of agile project management methodologies Experience with data analysis and reporting Ability to adapt to changing priorities and work well under pressure Project management certification (e.g., PMP) is a plus Bachelor's degree in a relevant field Areas to Consider 1. Customer Service Enhancement Chatbots and Virtual Assistants: Deploy AI-driven chatbots to handle routine inquiries, provide 24/7 support, and reduce wait times. Sentiment Analysis: Use AI to analyze customer feedback and sentiment from various channels to improve services. 2. Fraud Detection and Prevention Real-Time Monitoring: Implement AI algorithms to detect and flag unusual transactions in real-time. Predictive Analytics: Use machine learning models to predict potential fraud based on historical data and behavioural patterns. 3. Loan Processing Automation Credit Scoring: AI can evaluate creditworthiness more accurately by analyzing a wider range of data points. Document Verification: Automate the verification of documents submitted for loan applications, speeding up the approval process. 4. Personalized Banking Services Customer Insights: Leverage AI to gain insights into customer behaviour and preferences, allowing for personalized product recommendations. Marketing Campaigns: Use AI to target customers with tailored marketing campaigns based on their transaction history and preferences. 5. Risk Management Risk Assessment: AI can analyze market trends and economic indicators to provide early warnings about potential risks. Compliance Monitoring: Automate compliance checks and monitoring to ensure adherence to regulations and reduce the risk of non-compliance penalties. 6. Operational Efficiency Process Automation: Use robotic process automation (RPA) to handle repetitive tasks such as data entry, account reconciliation, and report generation. Workflow Optimization: AI can optimize workflows by identifying bottlenecks and suggesting improvements. Implementation Strategy Assessment: Evaluate the current state of digital banking operations and identify areas where AI can add value. Pilot Projects: Start with pilot projects to test AI applications in a controlled environment. Scalability: Ensure that AI solutions are scalable and can handle increasing volumes of data and transactions. Employee Training: Train staff on AI tools and their applications to ensure seamless integration. Continuous Improvement: Regularly update AI models and algorithms based on new data and evolving business needs. Challenges and Considerations Data Quality: Ensure high-quality data for accurate AI predictions and analysis. Regulatory Compliance: Stay compliant with financial regulations while implementing AI solutions. Customer Trust: Maintain transparency in AI-driven decisions to build and maintain customer trust. Integration: Seamlessly integrate AI with existing banking systems and processes. The main emphasis of this position to is harness the data from a variety of data tables at the bank and collate a Data Lake from which to extract a variety of AI reports to increase the banks customer strategy. By strategically implementing AI in these areas, a Digital Banking Operations Manager can greatly improve the efficiency, security, and customer satisfaction in digital banking operations. The position will be hybrid 3 days a week in the office. The salary is negotiable depending on experience but probably in the range £80K - £120K plus benefits. Do send your CV to us in Word format along with your salary and notice period.