Trouvez votre prochaine offre d’emploi ou de mission freelance Data engineer

Ingestion des données sources via NIFI dans des tables de travail Cassandra ou en parquet sur AWS S3 Développement des Traitements Spark/Scala en lots des données sources ingérées Traitement au quotidien des nouvelles données clients (ajout nouveaux clients Enrichissement au quotidien des données des clients avec des fichiers de scoring et de segmentation (fournis par un autre projet) Traitement toutes les 8 heures des nouvelles ventes avec notamment la mise à jour des ventes auditées ainsi que l’enrichissement des ventes avec les données des clients Ingestion toutes les 8 heures des données des ventes dans Druid Ajout et mise à jour des nouveaux produits des marques avec leur description, leur taille, leurs stocks …. Traitement en temps réel via Kafka/Spark des données sources fournies par les marques dans les topics dédiés : Enrichissement des données des produits des différentes marques en temps réel avec les informations des stocks, des prix Mise à jour temps réel des données des ventes Mise à jour temps réel des données clients Mise à jour des commandes clients Anonymisation des informations clients (RGPD) Mise à jour des stocks disponibles en magasin Exposition des informations des produits en transit (magasin d’origine, magasin destination) afin que les utilisateurs de Luce puissent estimer leurs dates de livraison Traitement et Stockage des données dans Apache Solr et Cassandra Exposition des données traitées dans une API nodejs à travers Cassandra et Solr Ingestion des données des ventes et commandes sur Apache Druid via NIFI Mise en place de tests automatiques afin d’éviter les régressions suite aux nouvelles évolutions Développement de tests unitaires avant déploiement Garantie de la cohérence des données Planification des heures de lancement des différents traitements afin d’éviter d’avoir des données corrompues Déploiement des différents traitements Spark via Jenkins/Livy dans les environnements dédiés Monitoring des Jobs Spark via Yarn et Spark UI avec un système d’alerting via Slack en cas de problème durant les traitements Mise en place de logs qui seront ensuite déposés dans ElasticSearch afin de faciliter la résolution et la recherche des bugs Optimisation des différents traitements Data (optimisation du code Spark, des traitements NIFI) Migration de tous nos workflows NIFI, traitements de données en lots/ temps réel Spark sur Amazon AWS Migration de l’api ainsi que des tables et collections utilisées dans Cassandra Environnement sur AWS Ordonnancement des tâches via Airflow/Python, gestion des différentes dépendances entre les traitements Mise à jour d’une librairie Airflow pour le lancement de nos Jobs Sparks ainsi que le monitoring (vérification des statuts des traitements). Mise en place des capteurs (sensors) nécessaires pour le suivi des statuts des traitements Mise à jour d’une librairie générique Spark pour les jobs d’ingestion via parquet/csv/json

Nous poursuivons notre développement et recherchons actuellement un(e) Data Engineer Snowflake pour intervenir chez un de nos clients. Le candidat idéal sera responsable des nouveaux développements de pipelines de données, tout en suivant les normes, les meilleures pratiques et les principes CI/CD. Responsabilités Principales : Création et modification d'objets de base de données Snowflake, y compris les bases de données, les tables et les vues. Développement de procédures stockées Snowflake en utilisant SQL et Javascript. Gestion de l'environnement de développement jusqu'à l'implémentation en production en suivant le processus CI/CD. Assurer un niveau de service élevé, couvrant la conception, la construction, l'exécution et la gestion des incidents. Garantir la qualité des codes fournis par l'équipe de développement.

Dans le cadre d'une assistance technique, pour l'un de nos clients se trouvant en métropole Lilloise, nous recherchons: Un/une: Data Engineer / Analytics engineer. Vos missions sont les suivantes: - Automatiser et industrialiser les pipelines de transformation de données qui servent aux dashboards, modèles IA et data analyses - Construire et modéliser la semantic layer de domaine métier (commerce, supply, sports, etc.) ; - Définir la stratégie de nos stacks techniques et garantir la qualité des données exposées ; - Maintenir et repenser les datasets et pipelines existants pour servir une plus large variété de use cases ; - Permettre de l'analytique intelligente en construisant des datasets robustes, fiables et pertinents ; - Contribuer activement à notre communauté d'analytics engineers et de data engineers ; Et après ? En tant que véritable partie prenante de DAVRICOURT, vous vous verrez proposer des projets techniques et à forte valeur ajoutée par nos équipes.

Data Engineer confirmé ayant une expérience de 3 à 5 ans sur des projets de tranformation de données dans un environnement cloud. Le candidat sera responsable de migrer des flux ETL développés sur Informatica vers Databricks. Une connaissance d'informatica et AWS est très appréciée. Le candidat doit maitriser le langage SQL et Python et avoir une bonne culture Data des best practices en terme de nettoyage, de transformation et modélisation de données Une certification sur Databricks est également fortement appréciée

Dans le cadre de sa transformation digitale, notre client utilise les technologies Big Data et a créé une plateforme depuis 2018. Elle est utilisée par les différentes directions métiers et le Laboratoire d’Innovation Digitale et son équipe de Data Science. Je cherche pour l'un de nos clients un Data Engineer Senior pour rejoindre leur factory Data d'un 15 aine de Data engineer et autant en BI (UX/UI) : Mission : Construire leur plateforme data Transformer les workflows Élaborer les modèles data pour les équipes BI Travailler sur la qualité des data Développer des outils d'industrialisation pour les data scientists

ALMATEK recherche pour l'un de ses clients un DATA Engineer sur Charenton-Le-Pont Description de la mission Data Engineer : Récupérer les données issues de sources externes • Utiliser la puissance du Datalake • Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. Mise en œuvre de la chaîne : Ingestion de données, Validation de données, Croisement de données, Déversement dans le datalake des données enrichies • Développer dans le respect des règles d’architecture définies • Développer et documenter les user stories avec l’assistance du Product Owner. • Produire les scripts de déploiement • Prioriser les corrections des anomalies • Assister les équipes d’exploitation • Participer à la mise en œuvre de la chaîne de delivery continue • Automatiser les tests fonctionnels Aspects Humains : • Grande capacité à travailler dans une équipe, en mode Scrum / Kanban. • Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail). • Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées. Connaissances techniques : • Plateforme et environnement GCP (indispensable) • Environnement GKE • Développement d'API REST • Stockage : HDFS / GCS • Traitement : Maitrise de l’écosystème Spark / Kafka / Scala • Planification : Airflow / Composer • Méthodologies : Scrum, Kanban, Git • DWH : SQL, BigQuery, BigTable • Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build

Python - Confirmé - Impératif Generative IA - Confirmé - Impératif Anglais Lu, écrit (Impératif) nous cherchons un Data Engineer qui aura pour missions de : - Collecter de la data de différentes sources (données structurées et non structurées), en allant parfois jusqu'à faire du scraping - Transformer cette data, pour la rendre "ready to use" pour des algorithmes de Generative AI / LLM - Ordonnancer ces traitements de data, piloter la qualité de cette data - Etre un acteur clé de la mise en place des bonnes pratiques de développement sur les sujets de type Gen IA Les processus et outils relatifs à la Generative AI n'étant pas encore industriels, une partie importante de la mission consistera à contribuer à explorer, à réaliser des benchmarks et à industrialiser les manières de faire. Sur cette mission, les principales compétences attendues sont : - Hard Skills : GCP, Big Query, GCS, Python et SQL, Generative AI et plus généralement Machine Learning, Bases de données (SQL, No SQL, bases d'embedding) - Soft Skills : ouverture d'esprit, capacité à apprendre, capacité à industrialiser Enfin, des compétences "basiques" de développement Front (préférence pour Vue JS ou Svelte ou Angular) seront des atouts supplémentaires. Mission pouvant être réalisée en partie en télétravail - 2 jours sur site par semaine souhaités pour les collaborateurs en dehors de la métropole lilloise. 3 jours sur site pour les collaborateurs à Lille ou aux alentours

En tant que Data Engineer, vous intégrerez une feature team pour participer aux différents projets de développement. Pour cela vous aurez en charge : · Compréhension des besoins métiers · Conception des solutions nécessitant l’utilisation de technologies cloud & data pour répondre aux besoins métier · Déploiement, optimisation et industrialisation au quotidien des pipelines de données dans le Cloud · Travaille avec différents profils data du groupe (Data Scientist, data engineer, data architect, data analyst) · Assurer le monitoring des modèles en production · Contribuer au développement et à l’amélioration continue des outils data interne

Contexte de la mission : Viveris apporte son expertise à ses clients pour la gestion et l'exploitation des serveurs du périmètre bureau technique, dans le but de maintenir les infrastructures opérationnelles à un niveau optimal en termes de qualité, de productivité et de sécurité. Dans ce cadre, nous recherchons un Data Engineer. Sa principale mission consistera à assurer le bon fonctionnement des systèmes de production bancaire, en garantissant leurs disponibilités, leurs performances et leurs sécurités. Intégré au sein du département Infrastructures, vous serez chargé de diriger et de coordonner les projets liés à l'infrastructure technique, en veillant à leur succès dans un environnement dynamique et en constante évolution. Responsabilités : - Concevoir, développer et mettre en oeuvre des pipelines de données robustes, fiables et évolutifs pour l'extraction, la transformation et le chargement (ETL) des données provenant de différentes sources ; - Collaborer avec les équipes métier pour comprendre leurs besoins et concevoir des solutions de données innovantes et efficaces ; - Concevoir et mettre en oeuvre des modèles de données et des architectures de données optimisées pour la performance et l'évolutivité ; - Assurer la qualité et l'intégrité des données tout au long du processus de traitement, en mettant en place des contrôles de qualité et des mécanismes de surveillance.

Nous recherchons pour l’un de nos clients, un(e) Data Engineer Missions (liste non exhaustive) : -Création/modification d’objets de base de données Snowflake -Développement de procédures stockées sur Snowflake (SQL & Javascript) -De l’environnement de développement à la mise en œuvre de l’environnement de production en utilisant le processus CI/CD -Assurer un haut niveau de service, y compris la cadrage, build, run et la gestion des incidents. -Assurer la qualité des codes fournis par l’équipe de développement

Contexte de la mission We are looking for a Snowflake data engineer Senior to join our team. The hire will be responsible for new developments data pipelines according to norms, best practices and with all CI/CD principles. He must be self-directed and comfortable supporting the data needs of multiple teams, systems and products for different business teams across the world. We need somebody technically operational day 1, who can support and help growing junior profile. Objectifs et livrables Snowflake database objects creation/modification (database, tables, views, etc) Snowflake Stored procedures development (SQL & Javascript) From development environment to production environment implementation using CI/CD process Ensure a high level of service including scoping, build, run, incidents management Ensure quality of codes provide by development team

Bonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. Mission : Livrables n 1 : Sprint n 1 + Lot 1 : développement des US et tests associés ; + Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation ; + Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; + Lot 4 : Mise en place du monitoring ; LE PROFIL RECHERCHE Compétences métiers & outils : Les compétences technologiques attendues sont : + Indispensables : maîtrise de l’API Scala Spark (batch principalement), maîtrise des techniques d’optimisation Spark, expérience dans le traitement de volumétries importantes / complexes, développement et bonnes pratiques Scala, build Maven, travail en environnement cloud (idéalement Azure) + Appréciées : écosystème Databricks, développement d’API HTTP, expérience sur la stack ELK Compétences transverses + Aisance relationnelle + Esprit d’équipe et d’adaptabilité + Esprit de synthèse + Rigueur et esprit d’analyse + Autonomie + Force de proposition + Vous avez le sens des priorités et la capacité à gérer les délais + Vous aimez le travail en mode multi-projets + Appétence client, besoin métier et compréhension du fonctionnel + Mentoring et partage de connaissances

2.1 Le contexte Pour accroître sa compétitivité et poursuivre son développement dans les meilleures conditions, GEMS IS investit de manière significative dans son système d’information. Au sein de l’équipe Digital & Data Accelerator nous développons des outils et applications et accompagnons l’ensemble des équipes dans leur digitalisation, notamment au travers de Dataiku & Amazon Web Services. 2.2 Objet du service Le service sera réalisé au sein de l’équipe Digital & Data Accelerator située à Bruxelles ou à Paris (avec des déplacements réguliers à Bruxelles). 2.3 Activités Les activités principales sont : - Administration de la plateforme Dataiku - Développement de plugins Dataiku (en python) - Mentorat de nos utilisateurs (Data Analyst, Data Engineers, Data Scientists) sur la plateforme Dataiku - Support de niveau 1 sur la plateforme Dataiku Activités secondaires : - Implémentation de cas d’utilisation de données à travers Dataiku

Le client est un groupe dans le domaine de l'immobilier, dont le siège est sité à Villeneuve d'Ascq, proche Croix. Si vous êtes intéressé, merci d'envoyer votre CV word + TJ souhaité + une lettre de motivation et préciser si vous pouvez venir travailler sur site 2 à 3 jours par semaine à dorra @ axande fr ( sans espaces ) Profil recherché Ingénieur ou Master 2 en informatique, en data science ou en statistiques Connaissances SSAS/AAS Tabular Expérience d’au moins 4 ans en tant que Data Engineer ou développeur ETL Maîtrise de l’environnement Microsoft Azure. Il est recherché un Data Engineer dont la mission sera : • Développer les compétences techniques et l'autonomie de l'équipe de Data Engineer • Faciliter la coopération • Développer et garantir les pratiques de développement et de documentation associés (DevOps) • Développer l'industrialisation de modèles statistiques ou de machine learning demandés par le Product Owner • Garantir le maintien et la qualité de fonctionnement d'ensemble ainsi que la performance • Assurer une veille technologique sur les outils data • Collecter, stocker puis exposer les données • Recueillir les besoins métiers détaillés auprès du Product Owner • Définir et valider avec le Data Architect les solutions techniques en cohérence avec les normes, standards et processus • Développer les solutions techniques de collecte / stockage / exposition de la donnée • Mettre en place l'automatisation des traitements (pipelines) • Réaliser les tests unitaires, d'intégration et procéder à la mise en production • Mettre et maintenir en qualité les données • Industrialiser et automatiser le nettoyage de la donnée selon les règles du Data Steward • Gérer le cycle de vie de la donnée conformément aux règles définies • Manager la qualité technique, la gestion du run et sécuriser l’accès aux données

Un grand groupe est à la recherche d'un Data Engineer senior pour participer à un projet de computer vision. Le data engineer senior rejoindra une équipe agile constituée d’un.e PO, de data scientists (pour certains spécialisés en recherche opérationnelle) et un.e data analyst. Il pourra également participer aux échanges réguliers avec la communauté d’une quarantaine d'ingénieurs (data scientists, engineers, devops) : présentations, partage de retours de conférences, débats sur les problématiques ML, de développement logiciel, ...

OS MISSIONS : Dans le cadre de notre croissance, nous recherchons un Data Engineer AWS F/H au sein de son pôle Datascience. TES MISSIONS : Conception des solutions BigData avec les architectes Data Mise en œuvre des techniques permettant la collecte, le nettoyage, l’organisation, la valorisation, la synthèse et la modélisation des données Développement de traitements de donnée distribués en mode batch ou streaming, Intégration des données sources de données dans l’environnement Big Data (datalake, datahub) Réalisation des tests Support Niveau 3 et maintien en conditions opérationnelles de la plateforme