Trouvez votre prochaine offre d’emploi ou de mission freelance Data Lake

Contexte : Le Data Engineer Python / AWS est chargé de concevoir et maintenir des pipelines de données efficaces au sein de l'équipe Power Data. Ce rôle exige une expertise approfondie en Python et AWS, ainsi que des compétences en ingénierie des données pour transformer les besoins commerciaux en solutions fonctionnelles basées sur les données. Livrables : Collecte de données Préparation et nettoyage des données à l'aide de Dataiku Création et maintenance de pipelines de données Ingestion de données dans un data lake Traitement et transformation des données selon des cas d'utilisation Intégration de Dataiku, services AWS et PowerBI Développement et maintenance de dashboards et rapports PowerBI Visualisation efficace des données Formation et mentorat sur les meilleures pratiques Compétences : Expérience en ingénierie des données (Data Engineering) Maîtrise de Python Expérience avec AWS Compétences en analyse de données et en création de modèles de données Connaissance de Dataiku et PowerBI Compétences en gestion de la qualité et sécurité des données Expérience en visualisation de données Anglais courant / Français est un plus Autres Détails : Télétravail 3 jours par semaine, intégration à une équipe à Bruxelles avec des déplacements occasionnels à Paris. Durée du contrat : 3 ans.

Nous recherchons un Consultant / Tech Lead Data expérimenté pour rejoindre notre équipe basée à Clermont-Ferrand . Vous interviendrez en tant que référent technique sur nos projets Data, en particulier autour de l’écosystème Databricks et de la plateforme Microsoft Azure . Piloter techniquement les projets Data et accompagner les équipes dans la montée en compétences. Concevoir, développer et optimiser des pipelines de données sous Databricks . Mettre en œuvre des architectures Data sur Azure (Data Lake, Data Factory, Synapse…). Développer, transformer et industrialiser les traitements Spark .

Contexte Experience : 10 ans et plus Métiers Fonctions : Data Management, Chef de projet Senior Spécialités technologiques : Transformation digitale Mission L’organisation souhaite structurer et mettre en œuvre une gouvernance de la donnée pour soutenir sa transformation digitale, améliorer son excellence opérationnelle et piloter ses activités à partir de données fiables, accessibles et sécurisées. Nous recherchons un chef de projet senior spécialisé en data pour poursuivre la construction de la gouvernance de la donnée et garantir son intégration dans les outils, les méthodes et l’architecture fonctionnelle et technique en cours d’urbanisation. MISSION : Le consultant devra notamment : - Structurer et déployer une gouvernance de la donnée adaptée au contexte. - Diffuser les concepts fondamentaux de la data dans les méthodes et projets existants - Veiller à la bonne prise en compte des exigences data dans les systèmes techniques et métiers, ainsi qu’à la mise à disposition autonome des données via des outils de data visualisation - Challenger la démarche existante, les actions et les ressources au regard de la feuille de route et des ambitions - Sécuriser la méthode et les étapes pour accompagner la montée en maturité data Le consultant collaborera étroitement avec : - Un chef de projet data déjà en poste, notamment sur les problématiques liées à la dématérialisation - La direction numérique, la DSI et les directions métiers Expertise souhaitée - Expérience confirmée en gouvernance de la donnée et projets data - Maîtrise des enjeux réglementaires (ex. : RGPD) - Connaissance des architectures data (data lake, data warehouse, MDM) - Compétences en pilotage de projets complexes et conduite du changement - Capacité à vulgariser les concepts data et à mobiliser les parties prenantes

En tant que Lead Data Quality Analyst , vous êtes le garant de la fiabilité et de l'intégrité de nos actifs data. Votre rôle central consiste à définir, mesurer et mettre en œuvre les stratégies et processus assurant une haute qualité des données, indispensable à la prise de décision et au succès de nos initiatives métier. Vous pilotez l'ensemble du cycle de vie de la qualité des données : Gouvernance et Stratégie Data Quality : Définir et maintenir les règles de qualité des données (complétude, unicité, validité, cohérence et format). Établir les indicateurs clés de performance (KPI) de la qualité des données et s'assurer de leur suivi régulier. Analyse et Audit des Données : Analyser la qualité des données au sein de nos systèmes sources et cibles (Data Warehouse, Data Lake). Identifier les anomalies, les causes racines des problèmes de qualité (système, processus, ou saisie) et recommander des actions correctives. Implémentation Technique : Mettre en œuvre des contrôles de qualité automatisés directement dans les outils d'entrepôt de données (notamment Snowflake ). Développer des tableaux de bord de monitoring de la qualité pour visualiser les scores et les tendances (via Qlik ou d'autres outils de visualisation). Coordination et Amélioration Continue : Collaborer étroitement avec les Data Engineers, les Data Scientists et les équipes métier pour garantir la bonne application des règles de qualité. Gérer la priorisation des tickets et des actions d'amélioration de la qualité des données.

En tant que Data Engineer chez Smile, vous ferez partie de notre aventure où chaque jour est une nouvelle occasion de construire des solutions qui dépassent les attentes de nos clients (et les vôtres !)🧑‍🚀👩‍🚀 Ce que vous ferez en tant que Data Engineer chez Smile ? Conception et développement de pipelines de données (ETL/ELT). Maintenance et optimisation de l'infrastructure de données. Mise en place de solutions de stockage et de traitement de données (data warehouses, data lakes). Collaboration avec les équipes de data science et d'analyse. Automatisation des processus de gestion des données. Veille technologique sur les outils et technologies de données. Côté technique justement, vous évoluerez dans un environnement Open Source ☕: Ingénierie des données et Cloud : ETL/ELT, Big Data (Spark, Hadoop), plateformes cloud (AWS, Azure, GCP), orchestration (Kubernetes, Docker). Analyse de données et Business Intelligence : Visualisation (Power BI, Tableau), reporting, analyse prédictive, bases de données SQL/NoSQL. Développement logiciel et programmation : Développement backend, langages (Python, Java, Scala, R), API, intégration continue (CI/CD). Recherche et indexation de données : Moteurs de recherche (Elasticsearch, Solr), recherche full-text, optimisation de la performance des requêtes. Vous intègrerez un environnement stimulant où votre expertise et votre passion seront reconnues 💥. Nous vous invitons à participer à des projets captivants et à contribuer à notre croissance commune🌱. Smile s’engage pour un environnement où la diversité est une force et l’inclusion, un pilier. Ici, chaque talent est reconnu, respecté et encouragé à aller plus loin.

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data engineer senior H/F à Lille, France. Contexte : Les missions attendues par le Data engineer senior H/F : Au sein de l'équipe Data Ingénieur, vous serez responsable de la conception, du développement et de la maintenance des infrastructures et pipelines de données permettant de collecter, transformer, stocker et mettre à disposition des données fiables et optimisées pour les besoins analytiques et opérationnels. Concevoir et développer des pipelines ETL/ELT pour l’ingestion et la transformation des données. Assurer la qualité, la cohérence et la sécurité des données dans les systèmes. Optimiser les performances des bases de données et des flux de données. Collaborer avec les Data Scientists, Analystes et équipes métiers pour comprendre les besoins et fournir des solutions adaptées. Mettre en place des outils de monitoring et de gouvernance des données. Garantir la conformité aux normes RGPD et aux politiques internes de sécurité. Compétences techniques : Maîtrise des langages de programmation (Python, SQL). Expérience avec des systèmes de bases de données (relationnelles et NoSQL). Connaissance des plateformes Cloud (GCP, Snowflake). Expérience ETL (Une connaissance de semarchy est un plus) Familiarité avec les outils de workflow (Airflow, PubSub). Bonne compréhension des architectures orientées données (Data Lake, Data Warehouse, Golden).

Nous recherchons pour notre client, un acteur majeur du secteur aéroportuaire, un Expert Développeur d'Applications .NET. Cette mission s'inscrit dans un contexte de transformation numérique industrielle de grande envergure, visant à moderniser les infrastructures de gestion de données et d'objets connectés (IoT). Le consultant intègrera l'équipe en charge de deux projets stratégiques : BIFRÖST (Plateforme d’Acquisition de Données Commune) et INI (Infrastructure Numérique Intelligente). Le projet BIFRÖST a pour vocation de collecter, centraliser et diffuser les données issues du monde industriel via un stockage type Data Lake et des API temps réel. Le projet INI, quant à lui, constitue la structure d'accueil et de fédération des objets connectés déployés dans les terminaux et bâtiments tertiaires. Vos missions principales s'articuleront autour de plusieurs axes techniques et fonctionnels : Développement et Évolution .NET : Vous serez le garant de la montée de version de l'écosystème applicatif existant. Votre rôle consistera à faire évoluer les solutions ".NET" actuelles, en participant activement au développement de nouvelles fonctionnalités et à l'amélioration de l'existant. Vous devrez assurer la robustesse du code et sa maintenabilité sur le long terme. Architecture et Gestion de Données : Une partie critique de la mission concerne la migration et la gestion des bases de données. Vous piloterez la migration complexe d'un serveur SQL vers PostgreSQL, nécessitant une maîtrise parfaite des enjeux de performance et d'intégrité des données. De plus, vous travaillerez sur l'amélioration de la robustesse de RabbitMQ pour assurer une gestion fluide des files d'attente de messages dans un environnement distribué. API et Interopérabilité : Vous développerez des WEB API performantes destinées à la fourniture de flux en temps réel. Ces interfaces permettront la communication entre les systèmes industriels (SI) et la plateforme centrale, jouant un rôle clé dans la gouvernance de la donnée. DevOps et Environnement Linux : Bien que centré sur .NET, le poste requiert une forte compétence en environnement Linux. Vous serez chargé d'automatiser le déploiement sur les différents environnements via Azure DevOps, garantissant ainsi une chaîne d'intégration et de déploiement continu (CI/CD) efficace et sécurisée. Qualité, Tests et Documentation : La rigueur est au cœur de cette prestation. Vous effectuerez des tests de validation complets (performance, conformité) pour garantir que les fonctionnalités respectent les exigences utilisateurs. Vous assurerez également l'assistance et le support lors de la VABF (Vérification d'Aptitude au Bon Fonctionnement) et de la mise en production. La rédaction et la mise à jour de la documentation technique et fonctionnelle seront impératives pour assurer la pérennité des connaissances. Transfert de Compétences : En fin de mission ou de lot, vous devrez mettre en place un plan de transfert de compétences structuré vers les équipes internes du client, assurant une transition fluide de la propriété du code. La prestation est organisée en lots distincts, incluant une phase initiale de 6 sprints dédiée à la migration et aux correctifs, suivie de phases optionnelles pour répondre aux demandes d'évolutions techniques et applicatives métiers. Vous opérerez dans un cadre méthodologique Agile, nécessitant une communication fluide et une capacité d'adaptation rapide.

Context La prestation s'incrit dans la mission de MCO/MCS et de développement de la solution Denodo. L'equipe centrale a la responsabilité de fournir une plateforme opérationnel et d'optimiser sont fonctionnement pour rendre le meilleur service possible aux métiers / clients. Il faut également que le prestataire soit en capacité de réalisé des vues dans la solution pour assister les projets qui souhaitent utiliser Denodo mais n'ont pas de compétences dans leur équipe. Mission Infrastructures de données : * Cartographie et documente les sources de données. * Assure la maintenance des différentes applications données (Data) déployées en production et des infrastructures. * Conçoit les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité. * Structure les bases de données (sémantique, format, etc.). * Contribue à la gestion des référentiels de données. Intégration des données : * Capte et stocke, en toute sécurité, les données (structurées ou non) produites dans les différentes applications ou venant de l'extérieur de l'entreprise. * Assure la supervision et l'intégration des données de diverses nature qui proviennent de sources multiples. * Vérifie la qualité des données qui entrent dans le Data Lake et s'assure de leur sécurité. * Nettoie la donnée (élimination des doublons?) et la valide pour une utilisation aval. Animation des communautés : * Anime la communauté technique qui met en œuvre les dispositifs prévus ou nécessaires à l'application de la politique de la donnée de l'entreprise. Veille technologique : * Reste en alerte sur les technologies liées au traitement de la manipulation de la donnée et identifie les solutions utilisables. * Propose des évolutions pour les infrastructures et solutions de données en place Exemple de livrables * Dossier d'architecture (ou cadre technique) des solutions (plateformes) de traitement des données. * Un data lake adapté aux besoins actuels et futurs de l'entreprise. * Une cartographie des données. * Les éléments permettant de garantir la qualité de la donnée.

Nous recherchons un profil technique pour accompagner des projets data stratégiques au sein d’un acteur spécialisé dans la transformation et l’architecture des systèmes d’information. Vos missions Concevoir et faire évoluer des architectures data modernes (cloud, data lake, data warehouse, data mesh… selon les projets). Définir les standards et bonnes pratiques d’ingénierie des données. Concevoir, développer et optimiser des pipelines de données robustes et industrialisés. Participer aux choix technologiques et contribuer à la mise en place d’une gouvernance data efficace. Collaborer avec les équipes projet (data engineers, data analysts, product owners…) pour garantir la qualité et la fiabilité de la donnée. Compétences recherchées Maîtrise d’un ou plusieurs environnements cloud : AWS, Azure ou GCP. Expérience avérée en conception d’architectures data (batch, streaming, event-driven…). Solide pratique des langages et écosystèmes data : Python, SQL, Spark, DBT, Kafka, Airflow… Bonne compréhension des modèles de stockage et de traitement (Delta Lake, BigQuery, Snowflake…). Connaissance des bonnes pratiques de CI/CD, observabilité, sécurité et gouvernance data. Profil 3 à 7 ans d’expérience en data engineering ou en architecture data. Capacité d’analyse, rigueur technique et vision d’ensemble des systèmes de données. Aisance en communication et capacité à travailler en équipe sur des projets multidisciplinaires. Ce que nous offrons Participation à des projets à forte valeur ajoutée. Environnement orienté expertise, innovation et montée en compétences. Culture technique stimulante et possibilités d’évolution.

Nous recherchons un(e) Intégrateur(trice) Industry 4.0 pour rejoindre l’équipe Manufacturing 4.0 d’un grand acteur de l’aéronautique, dans le cadre d’un projet ambitieux de modernisation des systèmes industriels et digitaux de l’usine du futur. Contexte : Les usines produisent des éléments de turboréacteurs en titane avec une précision extrême (jusqu’à 10 µm). L’équipe Manufacturing 4.0 apporte des outils digitaux et des moyens technologiques pour soutenir les équipes métiers et la production industrielle. Le projet vise à concevoir et déployer une solution Industry 4.0 intégrée, performante, sécurisée et scalable, incluant robotique, pilotage par la donnée et intelligence artificielle. Vos missions principales : Assurer l’intégration des différents modules du système d’information industriel. Préparer et réaliser les tests techniques du système « Usine du futur » : robustesse, performance, scalabilité, sécurité, traçabilité. Analyser les protocoles, flux et structures de données. Identifier et corriger les problèmes, proposer des améliorations. Participer à l’optimisation des performances du système et à la mise en place de la chaîne CI/CD. Collaborer étroitement avec les équipes IT, MES, UNS, PLM, maintenance et qualité industrielle. Profil recherché : Ingénieur ou bachelor expérimenté en informatique, avec 5+ ans sur des projets de grands systèmes d’information. Expérience en intégration de systèmes industriels et tests techniques approfondis (Recette, IVVQ, Qualification, Acceptance). Curiosité technique et capacité à résoudre les problèmes. Connaissance du monde industriel/OT et des architectures SI industrielles (atout). Bon relationnel, autonome et capable de travailler en équipe. Maîtrise du français à l’oral et à l’écrit ; anglais technique apprécié. Compétences techniques requises : Connaissance des architectures de systèmes d’information. Expérience sur cloud public (AWS, Azure, GCP). Idéalement : MES, conteneurs (Podman), IIOT, brokers (Kafka, MQTT), plateformes Big Data/Data Lakes. Certifications ISTQB, Katalon Practitioner ou équivalent appréciées. Conditions : Mission de 4 mois, possible extension. Présentiel sur le site industriel (Belgique) avec télétravail possible 1 à 2 jours/semaine. Horaires de jour, flexibles selon interventions. Qualités attendues : Autonomie, pro-activité, curiosité et esprit critique constructif. Esprit d’équipe, polyvalence et orientation résultat.

Contexte L’entreprise recherche un expert Talend capable de concevoir, industrialiser et optimiser des flux de données dans un environnement moderne orienté cloud. Le rôle consiste à renforcer l’équipe Data dans un contexte d’industrialisation, de migration ou de modernisation des pipelines existants. Missions Conception et développement Concevoir et développer des pipelines ETL/ELT sous Talend (Open Studio ou Talend Data Integration). Mettre en place des jobs complexes (gestion d’erreurs, reprise, optimisation des performances). Définir et structurer les modèles de données selon les bonnes pratiques. Industrialisation et optimisation Optimiser les performances des jobs existants. Mettre en place les bonnes pratiques de versioning, CI/CD, automatisation des déploiements. Assurer la qualité, la traçabilité et la robustesse des flux. Intégration Cloud / Écosystème Intégrer Talend à un environnement cloud (Azure, AWS ou GCP, selon le client). Exploiter les services de stockage et de traitement du cloud (exemples : Azure Data Lake, AWS S3, BigQuery). Implémenter des orchestrations via Airflow, Talend TAC, ou équivalent. Support et expertise Accompagner les équipes internes dans l'utilisation de Talend. Diagnostiquer et résoudre les incidents sur les chaînes de traitement. Documenter les processus et assurer la mise en production. Compétences techniques attendues Indispensables Talend Data Integration (niveau expert, minimum 5 ans). Maîtrise des jobs complexes : tMap, tFlowToIterate, tJava, tREST, tFileInput/Output, etc. ETL/ELT avancé : transformations, normalisation, gestion des erreurs, optimisation. SQL avancé (PostgreSQL, Oracle, SQL Server ou autre). Connaissances solides en architectures Data (Batch, temps réel, Data Lake, Data Warehouse). Versioning Git. Méthodologies CI/CD (Jenkins, GitLab CI ou équivalent). Souhaitables Connaissances cloud (Azure / AWS / GCP). Orchestration Airflow, Control-M ou équivalent. Talend Administration Center (TAC). Notions en API, microservices, REST. Connaissances en Data Quality / Data Governance (optionnel). Soft skills Capacité d’analyse précise et rigoureuse. Autonomie et fiabilité. Capacité à challenger les besoins métier de manière factuelle. Communication claire avec l’équipe Data. Profil recherché Minimum 5 à 7 ans d’expérience sur Talend. Expérience dans des environnements Data complexes. Capacité à intervenir comme référent ou expert technique.

Au sein de la DSI Finance, tu interviendras au sein du département Alimentations Comptables, International & Projets sur un programme stratégique orienté finance, produits bancaires et transformation SI. Le rôle nécessite un Business Analyst confirmé, capable d’échanger avec les équipes métier, MOA, architectes et développeurs (France & international). Missions : -Recueillir, formaliser et challenger les besoins métiers (ateliers & backlog) -Contribuer au cadrage, rédaction des spécifications fonctionnelles (Générales & Détaillées) -Participer à la priorisation (Agile / incrémental) -Préparer et exécuter les phases de recette (DSI & métier) -Définir et modéliser les données dans un environnement Big Data / Finance -Participer aux travaux de migration et rationalisation du SI Finance -Accompagner les parties prenantes (Métier, MOA, Dev, QA) Profil recherché -Business Analyst Finance confirmé (>5 ans) -Très bonne compréhension des produits bancaires : Produits de marché obligatoire Financement obligatoire Affacturage serait un plus -Aisance en environnement SI Finance, grands comptes, réglementaire -Solides compétences communication, coordination, rédaction Environnement & compétences techniques : -SQL, manipulation et analyse de données -Big Data (Kafka / data lake) – appréciés -Méthodologie Agile (Scrum / Kanban) -Outils : Jira, Confluence -EasyMorph (plus) -Anglais professionnel (écrit + oral)

Vous serez en charge du déploiement ainsi que du MCO/MCS de l’écosystème Cloudera (Cloudera Manager, services Cloudera Data Platform : HDFS, Vous interviendrez également sur la gestion d’une architecture Lake house , comprenant : Data Security : Apache Ranger Data gouvernance : Apache Atlas Data processing : Spark, Apache Zeppelin Data ingestion : NiFi Data analytics : Apache Impala Data lake : Hadoop, Apache Kudu Data serving : Hue Responsabilités Documenter les procédures d’exploitation et rédiger des rapports synthétiques Garantir le bon fonctionnement des services dans le respect des SLA Opérer en environnement de production en s’appuyant sur les processus ITIL (gestion des incidents, problèmes, changements) Communiquer en anglais avec les éditeurs (dont Cloudera) et les fournisseurs Automatiser les déploiements (fichiers de configuration, certificats, keystores) via Ansible Utiliser les outils DevOps (GitHub, Jenkins) pour le versionning et les pipelines Exploiter les environnements Linux et analyser les logs dans le cadre du traitement des incidents Être force de proposition concernant l’amélioration de l'exploitabilité, la robustesse et la supervision des services Participer aux réunions d’équipe, aux projets et aux différents comités, et assurer un reporting régulier Livrables attendus Dossier d’ingénierie de la plateforme Lake house Fiches et procédures d’exploitation Dossier de mise en production PV de mise en production

Client final : secteur paiement – mission longue – environnement Cloudera CDP Nous recherchons un Administrateur Lakehouse / Administrateur Cloudera confirmé ou senior pour accompagner l’un de nos clients grands comptes dans la gestion et l’exploitation de son écosystème Big Data. 🎯 Compétences OBLIGATOIRES (critères majeurs) 👉 Maîtrise parfaite des composants Lakehouse suivants : Apache Ranger (Data Security) Apache Atlas (Gouvernance & Lineage) Spark + Apache Zeppelin (Processing) NiFi (Ingestion) Apache Impala (Analytics) Hadoop (HDFS) + Apache Kudu (Data Lake) Hue (Serving / SQL UI) ➡️ Ces compétences sont indispensables : seuls les profils maîtrisant ces briques seront retenus. 🧩 Vos responsabilités Administrer et maintenir l’écosystème Cloudera / CDP (Cloudera Manager, HDFS, Yarn, Zookeeper…). Assurer le MCO/MCS : disponibilité, performances, sécurité, supervision. Documenter les procédures d’exploitation & rédiger des rapports synthétiques. Respecter les SLA et intervenir en cas d’incident. Travailler en environnement ITIL (gestion incidents, problèmes, changements). Automatiser les déploiements via Ansible (certificats, keystores, configurations). Utiliser les outils DevOps : GitHub , Jenkins . Exploiter les environnements Linux (analyse de logs, diagnostic). Participer aux réunions d’équipe, aux projets et aux comités. Être force de proposition sur l’amélioration continue et la supervision. 🌍 Environnement technique Cloudera CDP • Cloudera Manager • HDFS • Yarn • Zookeeper Apache Ranger • Apache Atlas • Spark • Zeppelin • NiFi • Impala Hadoop • Kudu • Hue Ansible • GitHub • Jenkins • Linux 📌 Profil recherché 5 à 7+ ans en administration Big Data / Hadoop / Cloudera impératif. Très forte expertise sur les briques Lakehouse listées ci-dessus. À l’aise en production, ITIL, sécurité, automatisation. Bon niveau d’anglais (échanges éditeurs Cloudera & fournisseurs). Consultant autonome, structuré, capable de rendre compte et d’améliorer l’existant. 🚀 Disponibilité immédiate ou rapide Si vous maîtrisez Cloudera + Ranger + Atlas + Spark + NiFi + Impala + Kudu , contactez-moi directement.