Trouvez votre prochaine offre d’emploi ou de mission freelance Data engineer

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data engineer (H/F) à Lille, Hauts-de-France, France. Les missions attendues par le Data engineer (H/F) : - Développer les compétences techniques et l'autonomie de l'équipe de Data Engineer - Faciliter la coopération - Développer et garantir les pratiques de développement et de documentation associés (DevOps) - Développer l'industrialisation de modèles statistiques ou de machine learning demandés par le Product Owner - Garantir le maintien et la qualité de fonctionnement d'ensemble ainsi que la performance - Assurer une veille technologique sur les outils data - Collecter, stocker puis exposer les données - Recueillir les besoins métiers détaillés auprès du Product Owner - Définir et valider avec le Data Architect les solutions techniques en cohérence avec les normes, standards et processus - Développer les solutions techniques de collecte / stockage / exposition de la donnée - Mettre en place l'automatisation des traitements (pipelines) - Réaliser les tests unitaires, d'intégration et procéder à la mise en production - Industrialiser et automatiser le nettoyage de la donnée selon les règles du Data Steward - Gérer le cycle de vie de la donnée conformément aux règles définies - Manager la qualité technique, la gestion du run et sécuriser l’accès aux données

L’équipe Reporting et Outils de TDMC – Pilotage des Flux, développe et maintient deux outils Intranets à destination des métiers. Ces outils nous permettent d’assurer un service de restitution et d’expertise en lien avec les interactions clients couvertes sur différents canaux (voix, emails, chat). Dans le cadre d’une mise en conformité de nos assets, des travaux ont démarré pour migrer nos Intranets dans un nouveau cadre technique. Celui-ci suppose des adaptations et évolutions de l’existant. Nous recherchons donc

Nous recherchons un Data Engineer SSAS/AAS Tabular pour une mission de 3 mois renouvelables sur Villeneuve d'Ascq. ▶ Finalité : Mettre en œuvre et maintenir la plateforme data, exposer les données aux métiers avec le niveau de qualité attendu. Garantir la sécurité et l'évolutivité du Système d'Information managé en cohérence avec les objectifs de l'entreprise et les contraintes externes et internes. ▶ Mission : ▪ Développer les compétences techniques et l'autonomie de l'équipe de Data Engineer • Faciliter la coopération • Développer et garantir les pratiques de développement et de documentation associés (DevOps) • Développer l'industrialisation de modèles statistiques ou de machine learning demandés par le Product Owner • Garantir le maintien et la qualité de fonctionnement d'ensemble ainsi que la performance • Assurer une veille technologique sur les outils data Collecter, stocker puis exposer les données • Recueillir les besoins métiers détaillés auprès du Product Owner • Définir et valider avec le Data Architect les solutions techniques en cohérence avec les normes, standards et processus • Développer les solutions techniques de collecte / stockage / exposition de la donnée • Mettre en place l'automatisation des traitements (pipelines) • Réaliser les tests unitaires, d'intégration et procéder à la mise en production Mettre et maintenir en qualité les données • Industrialiser et automatiser le nettoyage de la donnée selon les règles du Data Steward • Gérer le cycle de vie de la donnée conformément aux règles définies • Manager la qualité technique, la gestion du run et sécuriser l’accès aux données

emagine is looking for one of its Key Account Client : 1 Data Engineer LLM-AI Location : Paris (75) Start Date : ASAP Language : French - English Duration at least 6 month Full time hybrid mode Context : Join the AI Engineering team and collaborate on cutting-edge projects involving Large Language Models (LLMs) and Retrieval Augmented Generation (RAG). Expert in NLP topics, LLM, and Generative Artificial Intelligence to fill this role. The ideal profile will have expertise in developing and evaluating LLM-based and RAG-based applications, as well as experience in fine-tuning LLMs. MISSION - Develop applications using LLMs and RAG pattern. - Monitor and evaluate the performance of the LLM-based applications and make recommendations for improvements as needed. - Fine-tune models as needed. - Collaborate in industrializing the developed applications. - Ensure the security of the developed applications and the data they process. - Communicate regularly with different teams across the company, including business and IT teams. Skills and experience required At least 3 years of expertise as a data scientist. Strong expertise in Large Language Models, and Generative AI, with a particular focus on RAG-based applications. - Strong practical expertise : In evaluating LLM applications and related tools and metrics, In LLM fine-tuning and related model optimization, cloud computing tools such as Azure and AWS, AI Ethics With LangChain or LlamaIndex, Vector databases. Python programming language. Good culture and curiosity on models and their application. English mandatory

Data Engineer confirmé ayant une expérience de 3 à 5 ans sur des projets de tranformation de données dans un environnement cloud. Le candidat sera responsable de migrer des flux ETL développés sur Informatica vers Databricks. Une connaissance d'informatica et AWS est très appréciée. Le candidat doit maitriser le langage SQL et Python et avoir une bonne culture Data des best practices en terme de nettoyage, de transformation et modélisation de données Une certification sur Databricks est également fortement appréciée

Nous sommes à la recherche d'un Data Engineer ayant au moins 4 ans d'expérience, et possédant des compétences en SSAS/AAS Tabular. La mobilité sur Lille est requise, avec une présence sur site de 3 jours par semaine. Dans le cadre de ce poste : Le candidat sera chargé de mettre en place et de maintenir la plateforme de données, en veillant à ce que les données soient accessibles aux différents départements avec le niveau de qualité requis. Il devra également garantir la sécurité et la scalabilité du système d'information, aligné sur les objectifs de l'entreprise et les exigences internes et externes. En termes de responsabilités : Il sera responsable du développement des compétences techniques et de l'autonomie de l'équipe de Data Engineers, de faciliter la collaboration, et de mettre en place et de garantir les bonnes pratiques de développement et de documentation (DevOps). Il devra également industrialiser les modèles statistiques ou de machine learning selon les besoins du Product Owner, tout en assurant le maintien de la qualité globale, de la performance et en restant à jour sur les outils technologiques liés aux données. Il sera également chargé de collecter, stocker et rendre accessible les données, de recueillir les exigences métier détaillées auprès du Product Owner, de travailler en étroite collaboration avec le Data Architect pour valider les solutions techniques conformes aux normes et processus établis, et de mettre en place l'automatisation des traitements de données. Le candidat devra réaliser des tests unitaires, d'intégration et procéder à la mise en production, en maintenant la qualité des données et en automatisant leur nettoyage conformément aux règles du Data Steward. Il sera également responsable de gérer le cycle de vie des données conformément aux règles établies, et de superviser la qualité technique, la gestion opérationnelle et la sécurité de l'accès aux données.

Nous recherchons pour le compte d'un de nos clients un Data Engineer en gestion de données Azure, souhaitant contribuer à des projets innovants dans un environnement dynamique et en constante évolution. Vous aurez l'occasion de travailler sur des tâches variées allant de la gestion de base de données SQL sur Azure à l'automatisation des pipelines ETL et au développement de scripts Python pour le web scraping. xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

Dans un secteur logistique en plein essor, en prise direct avec les problématiques actuelles (smart cities, environnement, géopolitique), et en pleine transformation technologique (véhicules autonomes, digitalisation, mobilité), DPD Group vous offre l’opportunité d’avoir un impact direct sur la gestion de colis du futur. Vous intégrerez l’équipe Analytics et contribuerez principalement au développement de la plateforme DataHub. Actuellement petite équipe autonome de 4 personnes engagées à 100% sur ce projet, l’équipe Analytics est intégrée au sein de l’équipe Data Science & Analytics de la DPSIN. L’objectif de la plateforme interne DataHub est de stocker les données historiques des activités et permettre leur requêtage efficient. Les données sont issues de et exploitées par divers acteurs – Marketing, Sales, OPS, IT, Data Science, … en central ou depuis les Business Units – pour des usages tels que la récupération simple de données historiques, la BI ou le machine learning. L’environnement de travail est international, avec des contacts quotidiens avec des équipes en France et à l’étranger. Les demandes d’utilisations de la plateforme croissent fortement. La plateforme DataHub en quelques faits : § 2023 : Forte croissance des usages de la plateforme (BI, requêtage ad-hoc, requêtages fréquents standardisés et hautes performances d’applications), enrichissement de l’offre de services (Data Viz avec Superset) § 2024 : Monter en charge sur les usages (plus de use cases !), étendre l’offre de services et améliorer l’expérience utilisateurs (Data Viz, Data lineage), optimiser l’usage de notre stack technique (Spark, Airflow...), généraliser l’usage de tables d’Apache Iceberg, poursuivre l’industrialisation des pipelines de traitement de données… o Les cas d’usages aujourd’hui en production : § 9 rapports BI servis § Requêtages fréquents (standardisés et tunés, avec ou sans API) par des applications :: 4 cas d’usages § Requêtage ad-hoc croissant des data scientists et équipes IT (+1000 requêtes / mois) o Volumes de données sous gestion active : § ~10 To de données § +15 flux de données § Flux de donné majeur : +100 millions d’évènements / jour d’évènements sur les colis Environnement technique : § Data Lake basé sur des technologies open source. § Architecture Cloud Kubernetes (Outscale Cloud) § Stockage des données sur du S3 (Outscale OOS) sous forme de fichiers Parquet (simples ou tables Iceberg) ou json § Query engine pour se connecter (S3 et autres DB) et requêter (SQL standard) les données : Dremio § Maintenance de tables Iceberg et requêtage de données avec Apache Spark § Automatisation des opérations et traitements de données en python avec Apache Airflow § Data Viz orientée métier avec Apache Superset § Data Viz orientée Monitoring IT avec Grafana § APIs développées en Python et Java § Gestion de version et CI/CD avec GIT Lab Organisation : § Equipe Produit de 4 personnes § Mode de travail Agile Scrum

Nous recherchons un ingénieur et architecte de données polyvalent et expérimenté pour rejoindre notre client. Le candidat retenu jouera un rôle central dans la construction de pipelines de données robustes pour alimenter des systèmes d’IA générative de pointe. Ce rôle offre une opportunité passionnante de contribuer à des projets révolutionnaires à l’intersection de l’ingénierie des données et de l’intelligence artificielle, tout en assumant des responsabilités dans l’architecture des données. Les principales responsabilités sont les suivantes : Vous êtes en charge de la conception et de la construction de pipelines de données évolutifs permettant de récupérer, d’agréger et de prétraiter efficacement les données provenant de différentes sources, tout en garantissant une fiabilité et des performances élevées. Vous êtes en charge de la conception des modèles de données, des solutions de stockage et des schémas d’accès. Vous avez la possibilité de collaborer avec les parties prenantes pour comprendre les besoins et pour définir et faire évoluer la stratégie d’architecture des données, y compris la modélisation des données, le stockage et les schémas d’accès. Vous travaillez avec une équipe agile interfonctionnelle pour intégrer des données provenant de divers systèmes et sources, effectuer des processus d’extraction, de transformation et de chargement (ETL) et maintenir l’intégrité des données tout au long du pipeline, en itérant sur les solutions et en communiquant sur les progrès réalisés. Maîtrise des langages de programmation Une solide compréhension des technologies de base de données (par exemple, SQL, NoSQL), des entrepôt de données et d’Azure Expérience en architecture de données la conception de modèles de données, la définition de solutions de stockage et les schémas d’accès aux données. Familiarité avec le Machine learning, les concepts de traitement du langage naturel (NLP) et la Génération Augmentée de Récupération (RAG) est un plus. Vous avez d’excellentes compétences en matière de communication et de collaboration, et êtes capable de travailler efficacement dans un environnement d’équipe et dans le cadre de projets agiles.

Nous recherchons pour le compte de notre client un profil + de 5ans d'expérience pour le poste Data Engineer, idéalement un profil avec une expérience dans le retail, industrie, grande distribution. Missions : - concevoir, développer, faire évoluer des systèmes de traitement et d’exposition de données robustes et scalables pour industrialiser nos solutions qui comprennent des algorithmes de machine learning, et de recherche opérationnelle - être au choix des bons outils et schémas architecturaux afin d’améliorer la performance des systèmes et de faciliter leur suivi et maintenance, dans une démarche cloud-first - contribuer de manière itérative aux projets, conduire des revues de code Environnement technique : Python, SQL, Docker, Kubernetes, Terraform, Git, Airflow, GCP

Missions principales : Mise en œuvre de projets data Data engineering : mise à disposition des données dans le data Lake au format delta lake (Azure Databricks) ▪ Conception des flux data ▪ Développement des pipelines de données avec ADF et Databricks (ingestion Bronze*/ Implémentation Silver**) ▪ Mise en œuvre avec le superviseur des flux du monitoring de ceux-ci ▪ Intégration des tests unitaires Analyse & BI : ▪ Analyse des besoins ▪ Conception, élaboration et déploiement des rapports et tableaux de bord sous Power BI à partir du Gold ▪ Modélisation des datamarts ▪ Analyses de données et Requêtages ▪ Maintenance évolutive et corrective o Coordination des intervenants SI o Rédaction de spécifications & Documentation o Mise en place des exigences RGPD/SSI

Ingestion des données sources via NIFI dans des tables de travail Cassandra ou en parquet sur AWS S3 Développement des Traitements Spark/Scala en lots des données sources ingérées Traitement au quotidien des nouvelles données clients (ajout nouveaux clients Enrichissement au quotidien des données des clients avec des fichiers de scoring et de segmentation (fournis par un autre projet) Traitement toutes les 8 heures des nouvelles ventes avec notamment la mise à jour des ventes auditées ainsi que l’enrichissement des ventes avec les données des clients Ingestion toutes les 8 heures des données des ventes dans Druid Ajout et mise à jour des nouveaux produits des marques avec leur description, leur taille, leurs stocks …. Traitement en temps réel via Kafka/Spark des données sources fournies par les marques dans les topics dédiés : Enrichissement des données des produits des différentes marques en temps réel avec les informations des stocks, des prix Mise à jour temps réel des données des ventes Mise à jour temps réel des données clients Mise à jour des commandes clients Anonymisation des informations clients (RGPD) Mise à jour des stocks disponibles en magasin Exposition des informations des produits en transit (magasin d’origine, magasin destination) afin que les utilisateurs de Luce puissent estimer leurs dates de livraison Traitement et Stockage des données dans Apache Solr et Cassandra Exposition des données traitées dans une API nodejs à travers Cassandra et Solr Ingestion des données des ventes et commandes sur Apache Druid via NIFI Mise en place de tests automatiques afin d’éviter les régressions suite aux nouvelles évolutions Développement de tests unitaires avant déploiement Garantie de la cohérence des données Planification des heures de lancement des différents traitements afin d’éviter d’avoir des données corrompues Déploiement des différents traitements Spark via Jenkins/Livy dans les environnements dédiés Monitoring des Jobs Spark via Yarn et Spark UI avec un système d’alerting via Slack en cas de problème durant les traitements Mise en place de logs qui seront ensuite déposés dans ElasticSearch afin de faciliter la résolution et la recherche des bugs Optimisation des différents traitements Data (optimisation du code Spark, des traitements NIFI) Migration de tous nos workflows NIFI, traitements de données en lots/ temps réel Spark sur Amazon AWS Migration de l’api ainsi que des tables et collections utilisées dans Cassandra Environnement sur AWS Ordonnancement des tâches via Airflow/Python, gestion des différentes dépendances entre les traitements Mise à jour d’une librairie Airflow pour le lancement de nos Jobs Sparks ainsi que le monitoring (vérification des statuts des traitements). Mise en place des capteurs (sensors) nécessaires pour le suivi des statuts des traitements Mise à jour d’une librairie générique Spark pour les jobs d’ingestion via parquet/csv/json

Je cherche à parler à des ingénieurs DevOps ayant une expérience Data pour travailler sur un projet pendant 12 mois à Paris (Centre). Ce rôle est fortement axé sur Python (scripts, automatisation) et les pipelines de données. Il existe également Cloud AWS, donc une expérience avec les services AWS (EC2, S3, Lambda, etc.) est un atout important pour ce poste. - Ingénieur de données DevOps - Paris Centre - Durée de 12 Mois - Date de début : Mai - TJM: 500-650EUR Le Role: - Développer des scripts pour automatiser les tâches de données - Travailler sur les pipelines de données pour garantir la qualité et la fiabilité des données - Effectuer une analyse des systèmes de données existants et fournir des solutions pour augmenter les performances et la disponibilité - Aider à la conception et à l’architecture des systèmes de données garantissant l’évolutivité et la résilience Profil idéal : - Expérience avérée en tant qu’ingénieur de données avec un fort accent sur la fiabilité des données - Solide compréhension des principes d’ingénierie des données, des technologies de traitement des données et des principes ETL - Maîtrise des scripts Python, SQL et Shell - Familiarité avec Spark et Kafka - Anglais courant

Nous recherchons pour l’un de nos clients un Data Engineer AWS. Contexte de la mission : Au sein de l'équipe chargée de développer des outils internes d’une entité, constituée de 10 personnes : Développeurs back/frond end et Ingénieurs Data, le Data Engineer AWS est en charge de mener à bien un besoin clé du Groupe autour du sujet Zéro Carbone. Affecté à l'équipe métier, nous travaillons en mode Scrum en collaboration avec un autre Data Engineer et un PO pour réaliser les tâches et mener à bien le projet à terme. Missions : - Créer des fonctions AWS Lambda et pour consommer des APIs provenant de l'extérieur (données Gas/Power) et alimenter nos buckets S3 dédiés. - Développer des jobs AWS Batch pour alimenter nos buckets S3 avec des données pré-calculées de l'intensité Carbon du Groupe et de ses clients. - Mettre en place des dashboards sur Quicksight pour visualiser les résultats. - Développer une API Flask et exposer les calculs via Swagger. - Exploration des données via AWS Athena. - Mise en place de Jupyter Notebooks pour exposer et valider nos premiers résultats de calculs aux métiers. - Scheduler des jobs via CloudWatch et StepFunctions. - Archiver l'ensemble du code dans Git et mettre en place un déploiement automatique via Azure Devops - Mise en place de WebApps sur Azure pour héberger nos API Flask. - Collaborer avec nos clients pour présenter nos calculs et les accompagner. Environnement technique : Spark, Python, Jupyter/ Pytest, Flask, Swagger, AWS Lambda/ Athena/ CloudWatch/ QuickSight/ Batch / S3/ Partionning/ Bucketing, Azure Devops/ Functions/ AppService/ Web Apps.

Nous recherchons pour un de nos clients grand compte un(e) Data Engineer (F/H), Missions: Développer les compétences techniques et l'autonomie de l'équipe de Data Engineer Faciliter la coopération Développer et garantir les pratiques de développement et de documentation associés (DevOps) Développer l'industrialisation de modèles statistiques ou de machine learning demandés par le Product Owner Garantir le maintien et la qualité de fonctionnement d'ensemble ainsi que la performance Assurer une veille technologique sur les outils data Collecter, stocker puis exposer les données Recueillir les besoins métiers détaillés auprès du Product Owner Définir et valider avec le Data Architect les solutions techniques en cohérence avec les normes, standards et processus Développer les solutions techniques de collecte / stockage / exposition de la donnée Mettre en place l'automatisation des traitements (pipelines) Réaliser les tests unitaires, d'intégration et procéder à la mise en production Mettre et maintenir en qualité les données Industrialiser et automatiser le nettoyage de la donnée selon les règles du Data Steward Gérer le cycle de vie de la donnée conformément aux règles définies Manager la qualité technique, la gestion du run et sécuriser l’accès aux données

En tant que Data Engineer, vous serrez être en charge de la mise en oeuvre de projets BI Business en plus d'être responsable du développement de solutions d'ingestion et d'analyse de données (entrepôts de données, data marts, etc.) Vos tâches : Architecture de systèmes de données : concevoir des modèles de données robustes et évolutifs pour répondre aux besoins de l'entreprise. Développement ETL : création ou amélioration de processus efficaces d'extraction, de transformation et de chargement pour intégrer et traiter les données. Optimisation des performances : surveillance et réglage fin des pipelines de données et des bases de données pour une vitesse et une efficacité optimales. Mise en oeuvre de la sécurité des données : établir des mesures de sécurité des données pour protéger les informations sensibles et garantir la conformité. Collaboration interfonctionnelle : travailler en étroite collaboration avec des scientifiques des données, des analystes et d'autres équipes pour comprendre les exigences en matière de données et fournir des solutions techniques.