Trouvez votre prochaine offre d’emploi ou de mission freelance Data engineer

Nous sommes à la recherche d'un Data Engineer ayant au moins 4 ans d'expérience, et possédant des compétences en SSAS/AAS Tabular. La mobilité sur Lille est requise, avec une présence sur site de 3 jours par semaine. Dans le cadre de ce poste : Le candidat sera chargé de mettre en place et de maintenir la plateforme de données, en veillant à ce que les données soient accessibles aux différents départements avec le niveau de qualité requis. Il devra également garantir la sécurité et la scalabilité du système d'information, aligné sur les objectifs de l'entreprise et les exigences internes et externes. En termes de responsabilités : Il sera responsable du développement des compétences techniques et de l'autonomie de l'équipe de Data Engineers, de faciliter la collaboration, et de mettre en place et de garantir les bonnes pratiques de développement et de documentation (DevOps). Il devra également industrialiser les modèles statistiques ou de machine learning selon les besoins du Product Owner, tout en assurant le maintien de la qualité globale, de la performance et en restant à jour sur les outils technologiques liés aux données. Il sera également chargé de collecter, stocker et rendre accessible les données, de recueillir les exigences métier détaillées auprès du Product Owner, de travailler en étroite collaboration avec le Data Architect pour valider les solutions techniques conformes aux normes et processus établis, et de mettre en place l'automatisation des traitements de données. Le candidat devra réaliser des tests unitaires, d'intégration et procéder à la mise en production, en maintenant la qualité des données et en automatisant leur nettoyage conformément aux règles du Data Steward. Il sera également responsable de gérer le cycle de vie des données conformément aux règles établies, et de superviser la qualité technique, la gestion opérationnelle et la sécurité de l'accès aux données.

Nous recherchons pour le compte d'un de nos clients un Data Engineer en gestion de données Azure, souhaitant contribuer à des projets innovants dans un environnement dynamique et en constante évolution. Vous aurez l'occasion de travailler sur des tâches variées allant de la gestion de base de données SQL sur Azure à l'automatisation des pipelines ETL et au développement de scripts Python pour le web scraping. xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

Dans un secteur logistique en plein essor, en prise direct avec les problématiques actuelles (smart cities, environnement, géopolitique), et en pleine transformation technologique (véhicules autonomes, digitalisation, mobilité), DPD Group vous offre l’opportunité d’avoir un impact direct sur la gestion de colis du futur. Vous intégrerez l’équipe Analytics et contribuerez principalement au développement de la plateforme DataHub. Actuellement petite équipe autonome de 4 personnes engagées à 100% sur ce projet, l’équipe Analytics est intégrée au sein de l’équipe Data Science & Analytics de la DPSIN. L’objectif de la plateforme interne DataHub est de stocker les données historiques des activités et permettre leur requêtage efficient. Les données sont issues de et exploitées par divers acteurs – Marketing, Sales, OPS, IT, Data Science, … en central ou depuis les Business Units – pour des usages tels que la récupération simple de données historiques, la BI ou le machine learning. L’environnement de travail est international, avec des contacts quotidiens avec des équipes en France et à l’étranger. Les demandes d’utilisations de la plateforme croissent fortement. La plateforme DataHub en quelques faits : § 2023 : Forte croissance des usages de la plateforme (BI, requêtage ad-hoc, requêtages fréquents standardisés et hautes performances d’applications), enrichissement de l’offre de services (Data Viz avec Superset) § 2024 : Monter en charge sur les usages (plus de use cases !), étendre l’offre de services et améliorer l’expérience utilisateurs (Data Viz, Data lineage), optimiser l’usage de notre stack technique (Spark, Airflow...), généraliser l’usage de tables d’Apache Iceberg, poursuivre l’industrialisation des pipelines de traitement de données… o Les cas d’usages aujourd’hui en production : § 9 rapports BI servis § Requêtages fréquents (standardisés et tunés, avec ou sans API) par des applications :: 4 cas d’usages § Requêtage ad-hoc croissant des data scientists et équipes IT (+1000 requêtes / mois) o Volumes de données sous gestion active : § ~10 To de données § +15 flux de données § Flux de donné majeur : +100 millions d’évènements / jour d’évènements sur les colis Environnement technique : § Data Lake basé sur des technologies open source. § Architecture Cloud Kubernetes (Outscale Cloud) § Stockage des données sur du S3 (Outscale OOS) sous forme de fichiers Parquet (simples ou tables Iceberg) ou json § Query engine pour se connecter (S3 et autres DB) et requêter (SQL standard) les données : Dremio § Maintenance de tables Iceberg et requêtage de données avec Apache Spark § Automatisation des opérations et traitements de données en python avec Apache Airflow § Data Viz orientée métier avec Apache Superset § Data Viz orientée Monitoring IT avec Grafana § APIs développées en Python et Java § Gestion de version et CI/CD avec GIT Lab Organisation : § Equipe Produit de 4 personnes § Mode de travail Agile Scrum

Missions principales : Mise en œuvre de projets data Data engineering : mise à disposition des données dans le data Lake au format delta lake (Azure Databricks) ▪ Conception des flux data ▪ Développement des pipelines de données avec ADF et Databricks (ingestion Bronze*/ Implémentation Silver**) ▪ Mise en œuvre avec le superviseur des flux du monitoring de ceux-ci ▪ Intégration des tests unitaires Analyse & BI : ▪ Analyse des besoins ▪ Conception, élaboration et déploiement des rapports et tableaux de bord sous Power BI à partir du Gold ▪ Modélisation des datamarts ▪ Analyses de données et Requêtages ▪ Maintenance évolutive et corrective o Coordination des intervenants SI o Rédaction de spécifications & Documentation o Mise en place des exigences RGPD/SSI

Nous recherchons un ingénieur et architecte de données polyvalent et expérimenté pour rejoindre notre client. Le candidat retenu jouera un rôle central dans la construction de pipelines de données robustes pour alimenter des systèmes d’IA générative de pointe. Ce rôle offre une opportunité passionnante de contribuer à des projets révolutionnaires à l’intersection de l’ingénierie des données et de l’intelligence artificielle, tout en assumant des responsabilités dans l’architecture des données. Les principales responsabilités sont les suivantes : Vous êtes en charge de la conception et de la construction de pipelines de données évolutifs permettant de récupérer, d’agréger et de prétraiter efficacement les données provenant de différentes sources, tout en garantissant une fiabilité et des performances élevées. Vous êtes en charge de la conception des modèles de données, des solutions de stockage et des schémas d’accès. Vous avez la possibilité de collaborer avec les parties prenantes pour comprendre les besoins et pour définir et faire évoluer la stratégie d’architecture des données, y compris la modélisation des données, le stockage et les schémas d’accès. Vous travaillez avec une équipe agile interfonctionnelle pour intégrer des données provenant de divers systèmes et sources, effectuer des processus d’extraction, de transformation et de chargement (ETL) et maintenir l’intégrité des données tout au long du pipeline, en itérant sur les solutions et en communiquant sur les progrès réalisés. Maîtrise des langages de programmation Une solide compréhension des technologies de base de données (par exemple, SQL, NoSQL), des entrepôt de données et d’Azure Expérience en architecture de données la conception de modèles de données, la définition de solutions de stockage et les schémas d’accès aux données. Familiarité avec le Machine learning, les concepts de traitement du langage naturel (NLP) et la Génération Augmentée de Récupération (RAG) est un plus. Vous avez d’excellentes compétences en matière de communication et de collaboration, et êtes capable de travailler efficacement dans un environnement d’équipe et dans le cadre de projets agiles.

Nous recherchons pour le compte de notre client un profil + de 5ans d'expérience pour le poste Data Engineer, idéalement un profil avec une expérience dans le retail, industrie, grande distribution. Missions : - concevoir, développer, faire évoluer des systèmes de traitement et d’exposition de données robustes et scalables pour industrialiser nos solutions qui comprennent des algorithmes de machine learning, et de recherche opérationnelle - être au choix des bons outils et schémas architecturaux afin d’améliorer la performance des systèmes et de faciliter leur suivi et maintenance, dans une démarche cloud-first - contribuer de manière itérative aux projets, conduire des revues de code Environnement technique : Python, SQL, Docker, Kubernetes, Terraform, Git, Airflow, GCP

Ingestion des données sources via NIFI dans des tables de travail Cassandra ou en parquet sur AWS S3 Développement des Traitements Spark/Scala en lots des données sources ingérées Traitement au quotidien des nouvelles données clients (ajout nouveaux clients Enrichissement au quotidien des données des clients avec des fichiers de scoring et de segmentation (fournis par un autre projet) Traitement toutes les 8 heures des nouvelles ventes avec notamment la mise à jour des ventes auditées ainsi que l’enrichissement des ventes avec les données des clients Ingestion toutes les 8 heures des données des ventes dans Druid Ajout et mise à jour des nouveaux produits des marques avec leur description, leur taille, leurs stocks …. Traitement en temps réel via Kafka/Spark des données sources fournies par les marques dans les topics dédiés : Enrichissement des données des produits des différentes marques en temps réel avec les informations des stocks, des prix Mise à jour temps réel des données des ventes Mise à jour temps réel des données clients Mise à jour des commandes clients Anonymisation des informations clients (RGPD) Mise à jour des stocks disponibles en magasin Exposition des informations des produits en transit (magasin d’origine, magasin destination) afin que les utilisateurs de Luce puissent estimer leurs dates de livraison Traitement et Stockage des données dans Apache Solr et Cassandra Exposition des données traitées dans une API nodejs à travers Cassandra et Solr Ingestion des données des ventes et commandes sur Apache Druid via NIFI Mise en place de tests automatiques afin d’éviter les régressions suite aux nouvelles évolutions Développement de tests unitaires avant déploiement Garantie de la cohérence des données Planification des heures de lancement des différents traitements afin d’éviter d’avoir des données corrompues Déploiement des différents traitements Spark via Jenkins/Livy dans les environnements dédiés Monitoring des Jobs Spark via Yarn et Spark UI avec un système d’alerting via Slack en cas de problème durant les traitements Mise en place de logs qui seront ensuite déposés dans ElasticSearch afin de faciliter la résolution et la recherche des bugs Optimisation des différents traitements Data (optimisation du code Spark, des traitements NIFI) Migration de tous nos workflows NIFI, traitements de données en lots/ temps réel Spark sur Amazon AWS Migration de l’api ainsi que des tables et collections utilisées dans Cassandra Environnement sur AWS Ordonnancement des tâches via Airflow/Python, gestion des différentes dépendances entre les traitements Mise à jour d’une librairie Airflow pour le lancement de nos Jobs Sparks ainsi que le monitoring (vérification des statuts des traitements). Mise en place des capteurs (sensors) nécessaires pour le suivi des statuts des traitements Mise à jour d’une librairie générique Spark pour les jobs d’ingestion via parquet/csv/json

Je cherche à parler à des ingénieurs DevOps ayant une expérience Data pour travailler sur un projet pendant 12 mois à Paris (Centre). Ce rôle est fortement axé sur Python (scripts, automatisation) et les pipelines de données. Il existe également Cloud AWS, donc une expérience avec les services AWS (EC2, S3, Lambda, etc.) est un atout important pour ce poste. - Ingénieur de données DevOps - Paris Centre - Durée de 12 Mois - Date de début : Mai - TJM: 500-650EUR Le Role: - Développer des scripts pour automatiser les tâches de données - Travailler sur les pipelines de données pour garantir la qualité et la fiabilité des données - Effectuer une analyse des systèmes de données existants et fournir des solutions pour augmenter les performances et la disponibilité - Aider à la conception et à l’architecture des systèmes de données garantissant l’évolutivité et la résilience Profil idéal : - Expérience avérée en tant qu’ingénieur de données avec un fort accent sur la fiabilité des données - Solide compréhension des principes d’ingénierie des données, des technologies de traitement des données et des principes ETL - Maîtrise des scripts Python, SQL et Shell - Familiarité avec Spark et Kafka - Anglais courant

Nous recherchons pour un de nos clients grand compte un(e) Data Engineer (F/H), Missions: Développer les compétences techniques et l'autonomie de l'équipe de Data Engineer Faciliter la coopération Développer et garantir les pratiques de développement et de documentation associés (DevOps) Développer l'industrialisation de modèles statistiques ou de machine learning demandés par le Product Owner Garantir le maintien et la qualité de fonctionnement d'ensemble ainsi que la performance Assurer une veille technologique sur les outils data Collecter, stocker puis exposer les données Recueillir les besoins métiers détaillés auprès du Product Owner Définir et valider avec le Data Architect les solutions techniques en cohérence avec les normes, standards et processus Développer les solutions techniques de collecte / stockage / exposition de la donnée Mettre en place l'automatisation des traitements (pipelines) Réaliser les tests unitaires, d'intégration et procéder à la mise en production Mettre et maintenir en qualité les données Industrialiser et automatiser le nettoyage de la donnée selon les règles du Data Steward Gérer le cycle de vie de la donnée conformément aux règles définies Manager la qualité technique, la gestion du run et sécuriser l’accès aux données

Nous recherchons pour l’un de nos clients un Data Engineer AWS. Contexte de la mission : Au sein de l'équipe chargée de développer des outils internes d’une entité, constituée de 10 personnes : Développeurs back/frond end et Ingénieurs Data, le Data Engineer AWS est en charge de mener à bien un besoin clé du Groupe autour du sujet Zéro Carbone. Affecté à l'équipe métier, nous travaillons en mode Scrum en collaboration avec un autre Data Engineer et un PO pour réaliser les tâches et mener à bien le projet à terme. Missions : - Créer des fonctions AWS Lambda et pour consommer des APIs provenant de l'extérieur (données Gas/Power) et alimenter nos buckets S3 dédiés. - Développer des jobs AWS Batch pour alimenter nos buckets S3 avec des données pré-calculées de l'intensité Carbon du Groupe et de ses clients. - Mettre en place des dashboards sur Quicksight pour visualiser les résultats. - Développer une API Flask et exposer les calculs via Swagger. - Exploration des données via AWS Athena. - Mise en place de Jupyter Notebooks pour exposer et valider nos premiers résultats de calculs aux métiers. - Scheduler des jobs via CloudWatch et StepFunctions. - Archiver l'ensemble du code dans Git et mettre en place un déploiement automatique via Azure Devops - Mise en place de WebApps sur Azure pour héberger nos API Flask. - Collaborer avec nos clients pour présenter nos calculs et les accompagner. Environnement technique : Spark, Python, Jupyter/ Pytest, Flask, Swagger, AWS Lambda/ Athena/ CloudWatch/ QuickSight/ Batch / S3/ Partionning/ Bucketing, Azure Devops/ Functions/ AppService/ Web Apps.

En tant que Data Engineer, vous serrez être en charge de la mise en oeuvre de projets BI Business en plus d'être responsable du développement de solutions d'ingestion et d'analyse de données (entrepôts de données, data marts, etc.) Vos tâches : Architecture de systèmes de données : concevoir des modèles de données robustes et évolutifs pour répondre aux besoins de l'entreprise. Développement ETL : création ou amélioration de processus efficaces d'extraction, de transformation et de chargement pour intégrer et traiter les données. Optimisation des performances : surveillance et réglage fin des pipelines de données et des bases de données pour une vitesse et une efficacité optimales. Mise en oeuvre de la sécurité des données : établir des mesures de sécurité des données pour protéger les informations sensibles et garantir la conformité. Collaboration interfonctionnelle : travailler en étroite collaboration avec des scientifiques des données, des analystes et d'autres équipes pour comprendre les exigences en matière de données et fournir des solutions techniques.

ALMATEK recherche pour l'un de ses clients un DATA Engineer sur Charenton-Le-Pont Description de la mission Data Engineer : Récupérer les données issues de sources externes • Utiliser la puissance du Datalake • Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. Mise en œuvre de la chaîne : Ingestion de données, Validation de données, Croisement de données, Déversement dans le datalake des données enrichies • Développer dans le respect des règles d’architecture définies • Développer et documenter les user stories avec l’assistance du Product Owner. • Produire les scripts de déploiement • Prioriser les corrections des anomalies • Assister les équipes d’exploitation • Participer à la mise en œuvre de la chaîne de delivery continue • Automatiser les tests fonctionnels Aspects Humains : • Grande capacité à travailler dans une équipe, en mode Scrum / Kanban. • Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail). • Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées. Connaissances techniques : • Plateforme et environnement GCP (indispensable) • Environnement GKE • Développement d'API REST • Stockage : HDFS / GCS • Traitement : Maitrise de l’écosystème Spark / Kafka / Scala • Planification : Airflow / Composer • Méthodologies : Scrum, Kanban, Git • DWH : SQL, BigQuery, BigTable • Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build

Nous poursuivons notre développement et recherchons actuellement un(e) Data Engineer Snowflake pour intervenir chez un de nos clients. Le candidat idéal sera responsable des nouveaux développements de pipelines de données, tout en suivant les normes, les meilleures pratiques et les principes CI/CD. Responsabilités Principales : Création et modification d'objets de base de données Snowflake, y compris les bases de données, les tables et les vues. Développement de procédures stockées Snowflake en utilisant SQL et Javascript. Gestion de l'environnement de développement jusqu'à l'implémentation en production en suivant le processus CI/CD. Assurer un niveau de service élevé, couvrant la conception, la construction, l'exécution et la gestion des incidents. Garantir la qualité des codes fournis par l'équipe de développement.

Python - Confirmé - Impératif Generative IA - Confirmé - Impératif Anglais Lu, écrit (Impératif) nous cherchons un Data Engineer qui aura pour missions de : - Collecter de la data de différentes sources (données structurées et non structurées), en allant parfois jusqu'à faire du scraping - Transformer cette data, pour la rendre "ready to use" pour des algorithmes de Generative AI / LLM - Ordonnancer ces traitements de data, piloter la qualité de cette data - Etre un acteur clé de la mise en place des bonnes pratiques de développement sur les sujets de type Gen IA Les processus et outils relatifs à la Generative AI n'étant pas encore industriels, une partie importante de la mission consistera à contribuer à explorer, à réaliser des benchmarks et à industrialiser les manières de faire. Sur cette mission, les principales compétences attendues sont : - Hard Skills : GCP, Big Query, GCS, Python et SQL, Generative AI et plus généralement Machine Learning, Bases de données (SQL, No SQL, bases d'embedding) - Soft Skills : ouverture d'esprit, capacité à apprendre, capacité à industrialiser Enfin, des compétences "basiques" de développement Front (préférence pour Vue JS ou Svelte ou Angular) seront des atouts supplémentaires. Mission pouvant être réalisée en partie en télétravail - 2 jours sur site par semaine souhaités pour les collaborateurs en dehors de la métropole lilloise. 3 jours sur site pour les collaborateurs à Lille ou aux alentours

En tant que Data Engineer, vous intégrerez une feature team pour participer aux différents projets de développement. Pour cela vous aurez en charge : · Compréhension des besoins métiers · Conception des solutions nécessitant l’utilisation de technologies cloud & data pour répondre aux besoins métier · Déploiement, optimisation et industrialisation au quotidien des pipelines de données dans le Cloud · Travaille avec différents profils data du groupe (Data Scientist, data engineer, data architect, data analyst) · Assurer le monitoring des modèles en production · Contribuer au développement et à l’amélioration continue des outils data interne

Nous recherchons pour l’un de nos clients, un(e) Data Engineer Missions (liste non exhaustive) : -Création/modification d’objets de base de données Snowflake -Développement de procédures stockées sur Snowflake (SQL & Javascript) -De l’environnement de développement à la mise en œuvre de l’environnement de production en utilisant le processus CI/CD -Assurer un haut niveau de service, y compris la cadrage, build, run et la gestion des incidents. -Assurer la qualité des codes fournis par l’équipe de développement