Trouvez votre prochaine offre d’emploi ou de mission freelance Data Lake

La mission consiste à intervenir en tant que Data Engineer dans le cadre d'un projet de bascule vers une architecture Data Lakehouse autour de Snowflake pour un acteur du secteur transport. Le consultant participera à l'évolution d'un DataHub existant vers un modèle cible Lakehouse, avec la mise en place de nouvelles zones data telles que Landing Zone, Data Lake, Datamarts et Data Products. Il contribuera à la migration des flux existants, à l'industrialisation des pipelines, au décommissionnement progressif de Talend, ainsi qu'aux développements liés aux demandes évolutives sur le périmètre data existant.

Je suis à la recherche d'un Directeur de programmes IT/Data complexes. Le client poursuit la centralisation et la modernisation du SI-RC. Le programme Plateformes Data & IA coordonne huit chantiers : BLEU/Microsoft Fabric, migration Teradata avant fin 2028, devenir Hadoop/Cloudera avant fin de support en juin 2027, trajectoire SAS, accès transitoire aux socles existants, plateforme Data On Premise souveraine, plateforme de services Data/IA et convergence ou migration du Cloud vers l'On Premise. Les patrimoines actuels comprennent notamment environ 52 To compressés sur Teradata et un Data Lake Hadoop/Cloudera d'environ 47 To. Les missions principales sont les suivantes : • Initialiser le programme : diagnostic du portefeuille, découpage, responsabilités, priorités, arbitrages et feuille de route pluriannuelle. • Piloter coûts, qualité, délais, risques, ressources, valeur, plannings, budgets, charges et dépendances interprojets. • Préparer les décisions et sécuriser les échéances Teradata (fin 2028), SAS (avril 2028) et Cloudera (juin 2027). • Appuyer les directeurs de projets internes sans se substituer à leurs responsabilités. • Éclairer les scénarios Cloud BLEU/Fabric, On Premise souverain, hybridation, convergence et réversibilité. • Garantir sécurité, conformité, souveraineté, indépendance numérique, standards ouverts et portabilité. • Tenir la cartographie consolidée des risques, organiser les revues de jalons et sécuriser le chemin critique. • Proposer et animer la comitologie stratégique, programme, opérationnelle et technique. Environnement technique : Teradata, Hadoop/Cloudera, SAS, Microsoft Fabric, Power BI, RAISE, GitHub Copilot, Microsoft 365 Copilot, ETL/ELT, Data Lake, Data Warehouse, Data Marts, API, événements, MLOps, agents, assistants IA, RPA, architectures Cloud / On Premise / hybrides, gouvernance et catalogue de données. Direction de programmes IT/Data complexes, multi-projets et multi-acteurs, avec budgets et échéances contraints Pilotage d'équipes importantes : ressources internes, éditeurs, intégrateurs, ESN et experts Architectures Data modernes Cloud, On Premise et hybrides Mise en œuvre de plateformes Data industrielles, gouvernées, sécurisées et exploitables Migration de plateformes décisionnelles/analytiques, données historiques, ETL/ELT, BI et data science Teradata, Hadoop/Cloudera, SAS, Microsoft Fabric, Power BI, gouvernance et catalogue Plateformes de services, API, événements, agents, assistants IA, MLOps et RPA Souveraineté, indépendance numérique, open source, portabilité, réversibilité, sécurité et RGPD

Véritable référent technique, vous participerez aux choix d'architecture et piloterez les développements Data afin de construire une plateforme robuste, évolutive et pérenne.Au sein des équipes Data, en collaboration étroite avec les équipes Infrastructure et les métiers, vous serez chargé de :Définir, concevoir et faire évoluer l'architecture Data (ingestion, stockage, modélisation et exposition des données). Piloter les activités de Data Engineering et garantir l'application des bonnes pratiques de développement. Encadrer, accompagner et faire monter en compétence les équipes de développement internes et externes. Arbitrer les choix techniques et assurer la cohérence globale de l'écosystème Data. Garantir la qualité, la performance, la maintenabilité et la scalabilité des solutions déployées. Structurer la documentation technique et contribuer à l'industrialisation des développements. Participer à l'amélioration continue des méthodes de travail et des processus Agile. Collaborer avec les différentes parties prenantes afin d'aligner les solutions techniques sur les besoins métiers. Environnement techniqueTechnologies et outilsPython SQL ETL / ELT Orchestration de pipelines de données Data Lake Data Warehouse Environnements Cloud DevOps et CI/CD Méthodologies Agile

ContexteDans le cadre de projets d'intégration et de valorisation des données, nous recherchons un Développeur Talend chargé de concevoir, développer et maintenir les flux de données entre les différents systèmes de l'entreprise. Missions principalesConcevoir et développer des flux d'intégration de données sous Talend. Réaliser les développements ETL/ELT pour alimenter les entrepôts de données. Participer à l'analyse des besoins métiers et à la rédaction des spécifications techniques. Assurer l'extraction, la transformation et le chargement des données. Optimiser les performances des traitements et des flux. Mettre en place les contrôles de qualité et de cohérence des données. Gérer les incidents et assurer la maintenance corrective et évolutive. Participer aux phases de recette et de mise en production. Documenter les développements réalisés. Compétences techniques requisesTalend Data Integration (DI) Talend ESB (apprécié) SQL avancé Bases de données : Oracle, SQL Server, PostgreSQL, MySQL ETL / ELT Modélisation de données Shell Unix / Linux API REST / Web Services (SOAP, REST) Git Ordonnancement (Control-M, Autosys, VTOM ou équivalent) Compétences fonctionnellesAnalyse et compréhension des besoins métiers Qualité des données (Data Quality) Résolution de problèmes Rigueur et autonomie Travail en équipe Bon relationnel Profil recherchéBac+5 en informatique ou équivalent. Minimum 3 à 5 ans d'expérience sur Talend. Expérience sur des environnements Data Warehouse, BI ou Data Lake. Bonne maîtrise des requêtes SQL et de l'intégration de données. Une connaissance du Cloud (Azure, AWS ou GCP) est un plus. Environnement techniqueTalend DI | Talend ESB | SQL | Oracle | PostgreSQL | SQL Server | API REST | Linux | Git | ETL | Data Warehouse | Data Lake

Dans le cadre du développement et de l'industrialisation de solutions d'IA Générative et Agentique, nous recherchons un Développeur IA / AI Engineer spécialisé dans la conception d'agents IA, de chatbots métiers et leur intégration au système d'information. Vous interviendrez sur des sujets à fort enjeu autour des LLM, RAG, agents outillés, orchestration et industrialisation de solutions IA. Vos missionsDéveloppement d'agents IA Concevoir et développer des agents IA capables d'appeler des API, utiliser des outils internes et exécuter des actions complexes. Mettre en œuvre des workflows multi-étapes : analyse → décision → action → supervision. Développer des outils et connecteurs IA : actions, wrappers, permissions, exécuteurs d'outils. Intégrer les contraintes de sécurité, de conformité et de gouvernance IA. Conception de chatbots et assistants métiers Développer des assistants IA pour la documentation, les workflows et la qualification documentaire. Implémenter les mécanismes de RAG, mémoire, récupération d'information et contextualisation. Concevoir des flows conversationnels complexes et optimiser les prompts. Travailler avec différents LLM : Mistral, GPT, Claude, etc. Améliorer l'expérience utilisateur et la qualité des interactions conversationnelles. Intégration au SI Développer des intégrations sécurisées avec les API internes et les différents systèmes métiers. Connecter les agents aux environnements ERP, GED, CRM, RPA, data lakes et outils documentaires. Concevoir des connecteurs métier et des mécanismes d'orchestration. Mettre en place une gestion fine des autorisations, de la traçabilité et des logs. Industrialisation & fiabilisation Mettre en place l'observabilité des solutions : logs, métriques, monitoring, coûts et traçabilité. Développer des tests unitaires et end-to-end pour les agents et chatbots. Contribuer à l'amélioration des frameworks et librairies IA internes. Participer aux démonstrations, PI Planning et rituels Agile. Adopter une approche DevSecOps / You Build It, You Run It. Compétences recherchéesDéveloppement Excellente maîtrise de Python, notamment FastAPI et programmation asynchrone. Bon niveau en Node.js / TypeScript. Maîtrise des architectures API-first. Expérience avec les architectures cloud, containers et CI/CD. Pratique des environnements Azure Functions. IA Générative & Agentique Expérience concrète dans la conception d'agents IA outillés et de workflows agentiques. Maîtrise d'au moins un framework : LangChain, LlamaIndex, CrewAI, Semantic Kernel ou équivalent. Très bonne connaissance des LLM : Mistral, GPT, Claude… Maîtrise du RAG, de la mémoire, de la contextualisation et de la reformulation. Bonne maîtrise du prompt engineering. Capacité à modéliser des workflows IA complexes répondant à des problématiques métiers. Intégration & Data Maîtrise des API REST / GraphQL. Expérience avec des systèmes documentaires, bases de données et Data Lakes. Conception et utilisation de connecteurs métier. Une connaissance de Kafka est appréciée. Cloud / DevOps / Observabilité Containers, CI/CD, Azure Functions. Grafana, Prometheus, Langfuse. Sensibilité forte aux problématiques de sécurité, audit, monitoring et traçabilité. Sécurité & gouvernanceUne bonne compréhension des enjeux liés à la sécurisation des agents IA est attendue : Gestion des permissions et autorisations d'actions. Filtrage et contrôle des commandes. Sandboxing. Traçabilité et audit. Prise en compte des contraintes SSI, DPO et gouvernance IA. ProfilNous recherchons un profil autonome, technique et orienté produit, capable de porter des sujets IA de bout en bout. Vous êtes à l'aise pour : travailler en transverse avec des équipes techniques et métiers ; vulgariser des sujets complexes autour de l'IA ; documenter vos réalisations et produire des guides/API docs ; challenger les besoins et proposer des solutions ; participer activement aux démonstrations et rituels Agile. Mots-clés : AI Engineer, GenAI, Agentic AI, Agents IA, LLM, RAG, LangChain, LlamaIndex, CrewAI, Semantic Kernel, Python, FastAPI, TypeScript, API, Azure, Kafka, Langfuse, Grafana, Prometheus, DevSecOps.

Avanda est une société de services Franco-Suisse. Dans le cadre d'un large appel d'offre du secteur public en Suisse Romande, nous recherchons plusieurs profils dans le domaine Architecture. Notre client est une très grande organisation publique, avec plusieurs milliers de collaborateurs. Ces opportunités long terme (plusieurs années) nécessitent une présence régulière sur Genève (ou dans la région frontalière). Ces rôles sont pour des consultants (Permanent ou Freelance) intéressés à rejoindre un grand projet dans la région de Genève. Nous nous occupons de toute la partie administrative (payroll, permis, administration et relocation le cas échéant). LE ROLE Au sein du secteur Architecture Plateformes et Filières Solutions, qui définit les architectures des filières de développement sur mesure (Java, PHP, Python), des plateformes et centres d'expertise métiers (ERP, CRM, SIRH, ServiceNow) et des plateformes de données, vous intervenez comme architecte des SIC de manière transverse sur différents domaines, programmes et projets. Concevoir et faire évoluer les architectures dans votre domaine d'expertise, en garantissant qualité, sécurité et performance. Réaliser les dossiers d'architecture pour les points de conception des projets (vues architecturales et exigences non fonctionnelles). Analyser les besoins métiers et techniques et les traduire en exigences et orientations d'architecture; participer aux chiffrages des projets. Accompagner les projets et programmes dans leurs choix d'architecture, de modernisation et de migration. Contribuer au support opérationnel des équipes de développement et d'exploitation (analyse d'incidents complexes, chiffrage de solutions). Participer aux comités d'architecture, aux COPILs et aux revues d'architecture entre pairs; conduire des études d'architecture et des POCs. Définir et maintenir les standards, principes et patterns d'architecture des socles techniques et applicatifs. Démarrage prévu en janvier 2027. Requirements VOTRE PROFIL Master en informatique ou diplôme d'ingénieur (ou équivalent), idéalement complété par une formation continue de niveau CAS. Minimum 2 ans d'expérience dans une fonction similaire. Expertise en conception et modélisation d'architectures techniques, et capacité à évaluer des solutions, leur chiffrage et les risques. Expertise des protocoles d'interopérabilité (SOAP, REST, JMS) et d'authentification et d'autorisation (OAuth2/OIDC, SAMLv2, Kerberos). Expertise en haute disponibilité et continuité de service: architectures résilientes, observabilité et monitoring distribué. Maîtrise d'au moins un domaine: filières de développement (Java, Python, PHP, microservices, OpenShift, DevOps), données (SQL/NoSQL, BI, Data Lake) ou plateformes et centres d'expertise métiers (ERP, CRM, ServiceNow, HR Access, Oracle E-Business Suite). Un plus: TOGAF, ITIL, architectures cloud et événementielles, expérience dans une grande administration ou grande entreprise. Qualités: leadership, écoute, autonomie, rigueur, qualité rédactionnelle et capacité à vulgariser. Une accréditation de sécurité peut être demandée. Benefits C'est une excellente opportunité de rejoindre une large entité genevoise sur le long terme et de participer à un grand projet de transformation. Si vous êtes intéressé, merci de nous contacter. Envoyez-nous votre CV en français en précisant dans le sujet la référence JOBID:J5305 et en indiquant dans votre email votre disponibilité ou préavis. Un membre de l'équipe vous contactera dans les 24h suivant votre candidature.

Vous intégrerez une Data Factory au sein d'un Data Office, dont la mission est de concevoir, déployer et faire évoluer des plateformes Data innovantes, agiles et orientées métier. L'équipe adopte une approche « produit », centrée sur les utilisateurs, afin de répondre aux besoins concrets des métiers tout en garantissant la performance, la sécurité et l'évolutivité des solutions. Missions principales Transformer les données brutes en données exploitables et requêtables dans le Data Lake. Consolider et orchestrer les données au fur et à mesure de leur ingestion. Exploiter les données pour répondre aux enjeux métiers : création de Business Views ; réintégration des données dans le SI ; mise en place de services de scoring. Participer à la conception et à l'évolution du socle technique Data. Développer, automatiser et industrialiser les pipelines de données. Fiabiliser le cycle de développement et de mise en production des traitements Data. Mettre en place et respecter un processus qualité comprenant : documentation ; tests unitaires ; tests d'intégration ; commentaires du code ; gestion du versioning. Collaborer avec les différents interlocuteurs du projet : PO, BA, testeurs, architectes et équipes métiers.

Si pour vous être Tech Lead Data GCP, c'est : Piloter la conception et l'architecture de plateformes data modernes, scalables et sécurisées sur Google Cloud Platform ; Encadrer et accompagner des équipes Data Engineers dans la mise en œuvre de pipelines robustes et industrialisés ; Maîtriser l'écosystème GCP : BigQuery, Dataflow, Dataproc, Cloud Storage, Cloud Functions, Looker ; Concevoir et optimiser des traitements de données à grande échelle via Spark, Dataflow ou Dataproc ; Mettre en place des pratiques DataOps / FinOps : CI/CD, monitoring, optimisation des coûts et performance ; Travailler en étroite collaboration avec les équipes BI, Data, DevOps et métiers pour transformer les besoins en solutions concrètes ; Garantir la qualité, la gouvernance et la sécurité des plateformes data ; Apporter du leadership technique, structurer les bonnes pratiques et faire grandir les équipes… …Alors vous êtes le profil que nous recherchons ! Vous disposez d'une expertise confirmée en data engineering et architecture GCP, et vous êtes à l'aise dans des environnements exigeants, avec une forte dimension projet et delivery. Dans le cadre de missions à fort enjeu chez nos clients, vous interviendrez en tant que référent technique GCP sur des projets de transformation data. Vous serez amené(e) à : Accompagner les clients dans la modernisation de leurs plateformes data sur GCP (cadrage, architecture, gouvernance) ; Concevoir des architectures cloud data performantes et évolutives basées sur les services managés GCP ; Piloter des projets de déploiement de Modern Data Platforms (data lake, data warehouse, streaming, batch) ; Assurer la cohérence technique et la qualité des livrables, en garantissant performance, sécurité et scalabilité ; Conseiller les équipes IT et métiers sur leurs choix techniques et stratégiques ; Encadrer les équipes projet et diffuser les bonnes pratiques d'ingénierie data ; Mettre en place des modèles d'industrialisation : CI/CD, orchestration, monitoring, data quality ; Réaliser une veille active sur les innovations de l'écosystème GCP et Data Cloud.

Cartographier et documenter les sources de données Assurer la maintenance des différentes applications données (Data) déployées en production et des infrastructures Concevoir les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité Structurer le data lake Contribuer à la gestion des référentiels de données Intégration des données : · Capter et stocker, en toute sécurité, les données (structurées ou non) produites dans les différentes applications ou venant de l'extérieur de l'entreprise · Assurer la supervision et l'intégration des données de diverses nature qui proviennent de sources multiples · Vérifier la qualité des données qui entrent dans le Data Lake et s'assure de leur sécurité · Nettoyer la donnée (élimination des doublons…) et la valider pour une utilisation aval Animation des communautés : · Animer une communauté technique qui met en œuvre les dispositifs prévus ou nécessaires à l'application de la politique de la donnée Veille technologique : · Assurer une veille sur les technologies liées au traitement de la manipulation de la donnée et identifier les solutions utilisables · Mettre en œuvre des POC le cas échéant · Propose des évolutions pour les infrastructures et solutions de données en place Entrants · Normes et standards d'architecture d'entreprise · Plan d'occupation des sols (POS) et cartographies SI · Exigences métiers Principaux livrables · Dossier d'architecture (ou cadre technique) des solutions (plateformes) de traitement des données · Data lake adapté aux besoins actuels et futurs · Cartographie des données · Eléments permettant de garantir la qualité de la donnée · Rapport d'études de veille technologique, POC · Comptes rendus, plan d'actions animation communautés

Dans le cadre d'un programme stratégique autour de l'Intelligence Artificielle, nous recherchons un Data Engineer SAP AI capable d'intervenir sur la conception, l'intégration et l'exploitation de données issues de SAP S/4HANA, afin d'alimenter des cas d'usage Data & AI à forte valeur métier. La mission nécessite une présence sur site à Paris 3 jours par semaine. Missions principalesConcevoir et développer des pipelines de données à partir de SAP S/4HANA. Extraire, transformer et intégrer les données SAP vers des plateformes Data. Participer à la mise en œuvre de cas d'usage IA / GenAI exploitant les données SAP. Garantir la qualité et la fiabilité des données. Collaborer avec les équipes métiers, Data Scientists, Data Engineers et Architectes Data. Optimiser les performances des flux de données et traitements analytiques. Préparer et mettre à disposition les données pour les modèles IA. Compétences recherchéesSAP Expertise SAP S/4HANA Bonne compréhension des données et processus métiers SAP Expérience en intégration et extraction de données SAP Data Engineering SQL avancé Python Spark ETL / ELT Data Lake / Data Warehouse APIs et traitements de données AI / Analytics Connaissance des architectures IA et GenAI Préparation des données pour les modèles IA Compréhension des enjeux RAG, LLM et gouvernance des données appréciée Cloud Azure, AWS ou GCP apprécié ModalitésType de mission : Assistance technique / Expertise Data Localisation : Paris Présence : 3 jours/semaine sur site Démarrage : ASAP Durée : à confirmer

Dans le cadre d'un programme de modernisation du SI dans le secteur bancaire, vous rejoindrez une équipe Data & Business Intelligence en charge du développement d'un Data Lake dédié aux métiers du financement. En tant que Project / Delivery Leader Data & BI, vous aurez pour missions de : Piloter les relations avec les interlocuteurs métiers et les Product Owners. Recueillir les besoins, challenger les demandes et définir les priorités. Construire et maintenir le backlog produit avec les Product Owners. Assurer la bonne compréhension des besoins et la qualité des User Stories. Animer les revues d'avancement et de priorisation. Accompagner les équipes dans l'atteinte de leurs objectifs de delivery et de production. Suivre la qualité et la stabilité de la production. Mettre en place et suivre les KPI de pilotage. Communiquer sur les priorités, budgets, nouvelles demandes et avancement auprès des parties prenantes.

Au sein de la Direction des Systèmes d'Information, rattaché(e) à une équipe spécialisée en BI & Data, vous intervenez sur la mise à disposition de solutions sécurisées de reporting et d'analyse de données. Les principaux cas d'utilisation sont : Enrichissement du Data Lake d'entreprise et des Data Products. Préparation, transformation et mise à disposition des données à des fins d'analyse et de reporting. Accompagnement des utilisateurs dans l'exploitation et l'usage des données. Conception et mise en œuvre de nouvelles solutions Data. Participation aux nouveaux projets et aux migrations des solutions existantes vers le Cloud. Dans le cadre de la transformation de l'écosystème Data vers le Cloud, vos principales missions seront : Analyser et qualifier les besoins avec les équipes métier. Participer à la conception des solutions Data. Rédiger la documentation projet et technique : planning, spécifications, documents d'exploitation, contrats d'interface, datamapping, etc. Développer les traitements de transformation et de préparation des données avec Python, PySpark et SQL. Participer à la modélisation, à la gouvernance et à l'amélioration de la qualité des données. Mettre en place et assurer le monitoring des traitements. Optimiser les performances et la fiabilité des pipelines Data. Assurer la communication et la coordination avec les différentes parties prenantes des projets. Accompagner les utilisateurs et les équipes dans la conduite du changement liée à la migration vers le Cloud. Participer au développement et à l'évolution des solutions BI et de reporting, notamment avec Power BI.

Dans le cadre de l'évolution du DataHub vers une architecture Data Lakehouse, le client engage une bascule progressive depuis une architecture BI classique (ETL Talend, DWH centralisé) vers un modèle cible de type Lakehouse. Cette trajectoire inclut la migration des flux existants, la mise en place de nouvelles zones data (Landing Zone, Data Lake, Datamarts, Data Products) et le décommissionnement de Talend. Le/la Data Engineer intervient sous la responsabilité du Responsable de l'équipe technique et en appui du Techlead sur le projet de bascule Lakehouse. Son périmètre couvre à la fois la contribution au projet de décommissionnement Talend et de nouvelle architecture Snowflake, la réalisation de projets et demandes évolutives sur le périmètre data existant, ainsi que le traitement des incidents et le support au Run. Livrables attendus : - Inventaire et documentation des jobs Talend repris - Pipelines Snowflake industrialisés issus de la migration Talend - Modèles Lakehouse documentés - Contribution à la stratégie de migration et de décommissionnement Talend - Développements réalisés sur les projets et demandes évolutives traités - Suivi et documentation des incidents traités (analyse de cause racine, correctifs)