Find your next tech and IT Job or contract Data Engineering

Hanson Regan recherche un Junior Data Engineer ((€300 Max)) pour une mission freelance de 12 mois à Clermont Ferrand. Expérience : 2 à 3 ans Vos missions En tant que Data Engineer, vos principales responsabilités seront les suivantes : 1. Développement et intégration des données • Concevoir, développer et maintenir des pipelines d'intégration et de transformation de données. • Participer à la collecte, à l'extraction, à la structuration et à la mise à disposition des données provenant de différentes sources. • Développer et maintenir des traitements avec les technologies Python, Talend et dbt. • Contribuer à la conception et à l'évolution des architectures et des flux de données. • Participer à l'industrialisation des traitements et à leur intégration dans les chaînes CI/CD. 2. Qualité et tests des données • Concevoir et mettre en œuvre des stratégies de tests adaptés aux traitements et aux pipelines de données. • Développer et maintenir des tests automatisés : tests unitaires, tests d'intégration et tests de non-régression. • Mettre en place des contrôles de qualité des données : complétude, cohérence, unicité, validité et fiabilité. • Rédiger les plans de tests et réaliser les campagnes de qualification. • Identifier, analyser et corriger les anomalies liées aux traitements ou à la qualité des données. • Contribuer à l'amélioration continue des pratiques de tests et de validation des données. 3. Documentation et collaboration • Rédiger et maintenir la documentation technique et fonctionnelle des développements. • Collaborer avec les Data Analysts, Data Scientists, développeurs et équipes métiers pour comprendre les besoins et proposer des solutions adaptées. • Participer aux cérémonies Agile (SAFe) et contribuer à l'amélioration continue des pratiques de l'équipe. • Être force de proposition sur les bonnes pratiques de développement, d'intégration et de qualité des données. Profil recherché Vous bénéficiez de 2 à 3 ans d'expérience en tant que Data Engineer, idéalement dans un environnement de développement et d'intégration de données. Vous possédez une bonne connaissance de l'écosystème Data et comprenez les différentes étapes du cycle de vie de la donnée : ingestion, stockage, transformation, exposition et exploitation. Compétences techniques attendues : • Data Engineering : bonne compréhension des architectures Data, des pipelines ETL/ELT, des flux d'intégration et des mécanismes de transformation de données. • Talend : expérience dans le développement et la maintenance de traitements d'intégration de données. • dbt : connaissance des mécanismes de transformation, de modélisation et de tests des données. • Python : capacité à développer des scripts et des traitements de données. • SQL : bonne maîtrise du langage SQL et capacité à manipuler des volumes de données. • CI/CD : connaissance des pratiques d'intégration et de déploiement continu. • Tests et Data Quality : expérience ou forte appétence pour l'automatisation des tests, la validation des données et la mise en place de contrôles qualité. Qualités personnelles • Rigueur et exigence sur la qualité et la fiabilité des données produites. • Esprit analytique et capacité à investiguer et résoudre des problèmes techniques. • Curiosité et envie de développer ses compétences sur les technologies et pratiques Data. • Capacité à travailler en équipe et à collaborer avec des interlocuteurs aux profils variés. • Autonomie, pragmatisme et force de proposition. • Sensibilité particulière aux bonnes pratiques de développement, à la qualité logicielle et à l'amélioration continue. Conformément aux exigences du client, les freelances doivent pouvoir travailler via leur propre entreprise. Nous n'acceptons malheureusement pas les candidatures via des sociétés de portage salarial pour ce poste. Si cette opportunité vous intéresse, veuillez nous contacter au plus vite.

Data Engineer AWS / Snowflake – Expertise plateforme Data (H/F) Contexte de la mission Dans le cadre du développement de sa plateforme Data, un grand groupe recherche un Data Engineer spécialisé AWS et Snowflake pour renforcer son équipe. Déjà utilisée par plusieurs directions métiers, cette plateforme accueille un périmètre croissant de données et de cas d'usage. Vous contribuerez à son évolution, à son exploitation et à l'optimisation de ses performances, en veillant à la sécurité et à la disponibilité des services. Vos missions Administrer et optimiser les environnements AWS et Snowflake. Diagnostiquer et résoudre les incidents, puis mettre en place des actions préventives. Participer à la conception et au développement des composants techniques de la plateforme. Créer et maintenir les pipelines CI/CD et les workflows Git : branches, pull requests et merges. Concevoir des solutions Snowflake intégrant les fonctionnalités multi-cluster, le partage sécurisé des données et l'optimisation des charges de travail. Développer des modèles et architectures de données conciliant performance et maîtrise des coûts. Mettre en place des environnements modulaires et conteneurisés pour faciliter l'expérimentation et le prototypage. Intégrer des données structurées et non structurées issues de sources variées. Assurer le nettoyage, la validation et la sécurisation des données, et contribuer à la cohérence des référentiels internes. Collaborer avec les équipes de développement et d'exploitation pour répondre aux besoins métiers. Documenter les architectures, processus et solutions, et contribuer à l'amélioration continue de la sécurité.

Dans le cadre du développement de ses activités Data, notre client recherche un Data Engineer pour rejoindre une équipe spécialisée dans l'ingénierie de la donnée, l'automatisation et l'exploitation des modèles de Machine Learning. Vous intégrerez une équipe technique intervenant auprès de différents métiers et directions, avec pour objectif de mettre à disposition les plateformes et les données nécessaires à la réalisation de cas d'usage Data, ainsi qu'à leur déploiement et leur maintien en conditions opérationnelles. Vos principales missions seront : Développer et mettre en œuvre des projets Big Data répondant aux besoins métiers. Transformer les données brutes en données exploitables et structurées, accessibles sous forme de tables interrogeables au sein du Data Lake. Consolider et enrichir les données au fil de leurs alimentations récurrentes dans le Data Lake. Exploiter les données afin de répondre aux objectifs métiers : création de vues métiers (Business Views), réintégration des résultats dans le système d'information ou mise en place de services de scoring. Concevoir, développer et maintenir des pipelines de traitement et d'intégration de données. Mettre en place et garantir l'application durable des processus qualité tout au long du cycle de développement. Assurer la qualité et la fiabilité des livrables à travers la documentation, les tests unitaires, les tests d'intégration et les tests fonctionnels, les commentaires de code et le versioning. Accompagner les autres Data Engineers de son périmètre afin de garantir la qualité des développements et des livrables

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Engineer Big Data Confirmé (H/F) à Lyon, France. Les missions attendues par le Data Engineer Big Data Confirmé (H/F) : Développement & Industrialisation Big Data : Concevoir, développer et optimiser des pipelines de données massives en pySpark, gérer leur ordonnancement et garantir un haut niveau de qualité logicielle (couverture de tests > 80 %, CI/CD). Supervision & Run : Mettre en place des tableaux de bord de suivi de performance et de qualité de données et assurer le MCO et la gestion des incidents en production. Architecture & Accompagnement : Proposer des évolutions d'architecture de données (approche Médaillon compatible Cloud) et accompagner les Data Scientists de l'équipe dans l'industrialisation de leurs modèles et codes d'expérimentation. Migration Cloud (Databricks) : Préparer, tester et réaliser la migration des pipelines existants (Hadoop/HDFS) vers Databricks / Delta Lake. Conseil & Partage : Assurer une veille technologique active, animer des ateliers de bonnes pratiques (performance Spark, qualité de code) Environnement technique Langages & Big Data : Python, pySpark, SQL (PostgreSQL) Plateformes Data : Hadoop / HDFS (actuel) /Databricks / Delta Lake (cible 2027) Orchestration & DevOps : Airflow, GitLab, GitLab-CI/CD BI & Gestion de projet : PowerBI, Jira, Confluence Impératifs Data Engineering & pySpark massif : Au moins 5 ans d'expérience en Data Engineering, dont une pratique approfondie de pySpark (conception et mise en production de pipelines traitant plusieurs dizaines de millions de lignes). Maîtrise Spark en production (Databricks / Hadoop) Expérience avérée du Run en production : Une expérience significative en mise en production, optimisation, maintenance (MCO) et supervision de pipelines Spark (monitoring, contrôles qualité de données, gestion des incidents). Localisation : Lyon Démarrage : ASAP TJM : 440 €

Profil senior expert en Software Engineering, Data Engineering et architectures Data & AI Mesh, capable de concevoir, développer et industrialiser l'ensemble de la chaîne de traitement et de valorisation des données, depuis les systèmes sources jusqu'aux services de consommation métier et IA. Capacité à implémenter les principes du Data Mesh : data contracts, gouvernance, métadonnées, lineage, traçabilité, interopérabilité et exposition sécurisée des données via APIs et événements. Expertise dans le développement de microservices, l'intégration des agents IA et connecteurs MCP, les workflows transactionnels (**Temporal**) et les interactions Human-in-the-Loop au sein des applications DWINGS. Expérience confirmée dans l'industrialisation sur OpenShift/Kubernetes, les pratiques CI/CD, DevSecOps, IaC, observabilité et API-First, avec une forte culture de développement hands-on et de mise en production de systèmes distribués complexes.

ocalisation : La Défense (92) Démarrage : ASAP Durée : Mission longue durée Contrat : Freelance, portage salarial ou ESN Expérience : 10 ans minimum en Data, dont 3 ans minimum en architecture Data Méthodologie : Agile SAFe Contexte de la missionPour le compte d'un grand acteur du secteur de l'énergie, nous recherchons un Architecte Urbaniste Data AWS Senior pour accompagner la conception, l'évolution et la gouvernance d'une Data Platform reposant sur les principes du Data Mesh. La plateforme s'appuie sur un Data Lake et un Data Warehouse AWS organisés selon une architecture médaillon (Bronze, Silver, Gold). Les enjeux portent notamment sur le passage à l'échelle, la sécurité, la gouvernance des données, la rationalisation de l'architecture et l'application des standards d'urbanisme Data. Au sein de l'équipe Architecture, vous travaillerez en étroite collaboration avec l'architecte technique Data, les équipes cybersécurité, les Product Owners, les Data Product Owners et les squads Data métiers. Missions principales1. Architecture et modélisation DataConcevoir et modéliser les données du Data Lake et du Data Warehouse selon une architecture médaillon. Traduire les besoins métier en modèles de données adaptés aux datamarts et aux Data Products. Définir les principes de modélisation décisionnelle et les architectures OLTP/OLAP. Réaliser des macro-études d'architecture pour évaluer les besoins, les impacts et les solutions à mettre en œuvre. 2. Urbanisme Data et définition des standardsDéfinir, formaliser et maintenir les standards, normes et patterns d'architecture Data. Rédiger et actualiser les dossiers d'architecture fonctionnelle, les DAT/DAG et les guides de modélisation. Élaborer et maintenir la cartographie des flux et des échanges entre la Data Platform et les autres producteurs de données du SI. Contribuer au plan d'occupation des sols Data en coordination avec les urbanistes du SI. Identifier et rationaliser les doublons fonctionnels et techniques, tout en veillant au respect des règles d'urbanisme. 3. Gouvernance et accompagnement des équipesAccompagner les Data Engineers, les squads métiers, l'infogéreur et les équipes TMA dans la mise en œuvre des architectures définies. Garantir la cohérence entre les besoins métier, les modèles de données et les choix d'architecture. Accompagner les mises en production et contribuer à la maîtrise de la dette technique. Participer aux comités d'architecture, aux instances projet et aux rituels SAFe : Coproj, Copil et Comop. Promouvoir les bonnes pratiques auprès des Product Owners, Tech Leads et Data Engineers.

Tâches En collaboration avec les équipes Manufacturing 4.0, IT, vous assurez les tâches suivantes : Explorer, analyser et préparer les données issues des systèmes industriels (machines, capteurs, MES, inspection qualité, etc.) ; Concevoir, entraîner et évaluer des modèles de Machine Learning et/ou de Computer Vision adaptés aux contraintes industrielles ; Mettre en œuvre des pipelines MLOps end-to-end (entraînement, validation, déploiement, monitoring) ; Déployer les modèles en production sur une architecture hybride on-prem / cloud, en s'appuyant sur des containers et AWS SageMaker ; Assurer le suivi des performances des modèles en production (qualité, dérive, robustesse) et proposer des améliorations continues ; Collaborer avec les équipes IT pour l'intégration des modèles dans les systèmes existants et la chaîne CI/CD Documenter les solutions développées et partager les bonnes pratiques au sein de l'équipe. Challenges Être un acteur clé de la transformation Manufacturing 4.0 par la donnée et l'intelligence artificielle ; Déployer des modèles IA robustes, fiables et maintenables dans un environnement industriel exigeant ; Concilier innovation technologique, contraintes industrielles et exigences de mise en production ; Faire preuve d'autonomie, de pro-activité et d'esprit critique constructif ; Être force de proposition pour améliorer les pratiques Data Science et MLOps du programme ; Partager les bonnes pratiques de MLOps avec le reste des data scientists de l'équipe.

Contexte du posteDans le cadre du développement de ses activités Data, notre client industriel recherche un Data Engineer polyvalent pour renforcer ses capacités de collecte, de structuration et de valorisation des données. Au cœur des échanges entre les équipes IT, les équipes techniques et les utilisateurs de la donnée, vous interviendrez sur la mise à disposition de données fiables et exploitables pour répondre aux enjeux opérationnels et analytiques de l'entreprise. Le poste s'inscrit dans une démarche de long terme, avec la volonté de développer et d'internaliser cette compétence afin de construire progressivement une expertise Data pérenne au sein de l'organisation. Vos missionsIngénierie et architecture des données Concevoir, développer et maintenir des pipelines de données adaptés aux besoins de l'entreprise. Collecter, transformer, structurer et fiabiliser les données issues de différentes sources, notamment des systèmes industriels et des applications métiers. Développer et optimiser les traitements de données en garantissant leur qualité, leur disponibilité et leur performance. Participer à la structuration des architectures et des environnements Data. Interface avec les équipes techniques et analytiques Échanger avec les équipes IT, les experts techniques et les utilisateurs de la donnée afin de comprendre leurs besoins. Traduire les problématiques métiers et techniques en solutions de traitement et de mise à disposition des données. Collaborer avec les profils Data Scientist sur la préparation des jeux de données nécessaires aux analyses statistiques et aux modèles de Machine Learning. Comprendre les enjeux liés aux modèles prédictifs et aux cas d'usage analytiques afin d'adapter les flux et les structures de données. Faciliter la collaboration entre les équipes qui produisent les données et celles qui les exploitent. Amélioration continue et développement de la compétence Data Identifier les opportunités d'amélioration des flux, des traitements et des pratiques Data. Documenter les développements et contribuer à la mise en place de bonnes pratiques. Participer à la structuration progressive des outils, des méthodes et des standards Data. Devenir progressivement un interlocuteur de référence sur les sujets d'ingénierie des données au sein de l'entreprise.