Trouvez votre prochaine mission ou futur job IT.

Dans le cadre des travaux à réaliser, nous recherchons un profil Data Engineer confirmé : Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Client : Entreprise de transport Poste : Architecte technique Senior DSM Expérience : Plus de 8 ans TJM d’achat max : 5 15€ Localisation : Banlieue parisienne Deadline réponse : 09/12 Démarrage : 01/01/2025 Durée : Mission très longue DESCRIPTION DE LA MISSION Objectifs La prestation, objet du présent cahier des charges, est une prestation à temps plein de Data Engineer Senior Scala/Spark. Vous interviendrez en tant que contributeur individuel sur l’étude, le chiffrage, la réalisation et l’exploitation de tâches liées à la constitution de traitements Data complexes. Les projets sont menés en équipe de 2 à 6 Data Engineers, accompagnés d’opérateurs, d’architectes et encadrés par un chef de projet. Description détaillée des tâches qui constituent la mission Dans le cadre de cette prestation, il est notamment demandé de réaliser les livrables décrits ci-dessous. S'agissant d'un projet mené en méthodologie agile, le découpage des livrables est réalisé par sprints. Le contenu de chaque sprint est variable mais toujours constitué sur la base d’US (User Stories). Les livrables liés aux US sont donc variables mais suivent généralement une recette commune liée à la Definition of Done du projet. Ces livrables sont réalisés par l'équipe projet, sans responsabilité de production individuelle. Les sprints s’échelonnent généralement sur 2 semaines. Contenu général des sprints : Développement des US et tests associés ; Documentation du projet, mapping des données, modélisation des pipelines, documents d’exploitation ; Mise en place du CI/CD sur l’usine logicielle ; Mise en place du monitoring ;

Descriptif du poste La mission se déroule au sein de l'équipe Infrastructure CaaS (Container As a Service) pour la gestion, la maintenance et le contrôle de la Data et des assets de l'équipe. Nous proposons une mission de Data Engineering avec des expertises des produits récents sur le Big Data. Responsabilités Interaction avec REST APIs Gestion des jobs et administration Ansible + Scripts Python BigData Opensearch / Elastic + Dashboard Kibana / Power BI Technologies Confluence / JIRA pour la gestion documentaire, Git / Bitbucket

Nous recherchons pour notre client Grand-Compte un Ingénieur Data , Expert ELK pour: accompagner les besoins et projets sur la collecte, transformation, stockage et mise à disposition des données, provenant de sources diverses en adéquation avec la Stratégie Data Concevoir et mettre à disposition les outils et processus (CI/CD) permettant d’automatiser les pipelines d’ingestion de données prenant en compte les besoins de fréquences (batch, temps réel, …) Développer et déployer des mécanismes de contrôle qualité ainsi que des routines de vérification pour garantir l'intégrité et la fiabilité des données L’objectif est de passer d’une logique très outillée/infrastructure à une approche orientée usages data & métiers . Refonte complète de l’offre logs existante (tous types de logs : applicatifs, systèmes, réseau, sécurité) Forte volumétrie et enjeux de standardisation, qualité et exploitabilité de la donnée Missions Concevoir et mettre en œuvre les chaînes de collecte et d’ingestion des logs Implémenter et industrialiser les cas d’usage observabilité pour les équipes opérationnelles Accompagner les équipes métiers et techniques dans l’exploitation des logs Développer des dashboards et visualisations avancées (Kibana, évolution possible vers Grafana) Intervenir sur l’ensemble du cycle data : collecte → transformation → stockage → restitution Participer à l’évolution de l’offre groupe et à la structuration des bonnes pratiques Contexte technique - Kafka - Scripting Python/SQL/Java - Suite Elastic (ElasticSearch/Kibana) - Apache Flink / LogStash - Agent de collecte (Elastic ou autre Open-Source)

Description : Livrables : • Concevoir et mettre en œuvre des solutions data pour soutenir les objectifs business. • Analyser et interpréter des données complexes afin d’en extraire des informations exploitables. • Collaborer avec des équipes inter fonctionnelles pour identifier et résoudre les défis liés aux données. • Développer et maintenir des pipelines de données, des modèles et des outils de reporting. • Garantir la qualité, l’intégrité et la sécurité des données tout au long de leur cycle de vie. • Fournir une expertise technique et des conseils aux parties prenantes pour soutenir les prises de décisions fondées sur les données. Expertise : • Diplôme de niveau Bachelor ou Master en informatique, data science ou domaine connexe. • Plus de 5 ans d’expérience en data engineering, data analytics ou rôle similaire. • Expérience avérée dans la livraison de solutions data dans un environnement dynamique. • Maîtrise des technologies et architectures data modernes, telles que les plateformes cloud, les frameworks big data et les solutions de data warehousing. • Expertise en langages de programmation tels que Python, SQL et Spark. • Maîtrise de la modélisation de données, des processus ETL et des techniques de transformation de données. • Expertise des plateformes cloud orientées data (ex. : AWS, Azure, Google Cloud). • Maîtrise des outils de visualisation et de reporting (ex. : Power BI, Tableau). • Connaissance approfondie des bonnes pratiques en matière de sécurité, gouvernance et conformité des données.

Nous recherchons un(e) Tech Lead Data Engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Assurer la mise en œuvre de l'accès, du référencement et de la qualité de la donnée • Assurer l'industrialisation, la supervision et l'intégration des solutions • Rédiger les normes de développement • Participer à la rédaction du manuel d'exploitation En tant que Tech Lead, vous savez : • Vous présenter et promouvoir des architectures data face au client • Identifier et comprendre les besoins métiers • Former, encadrer et faire évoluer les consultants juniors • Participer à la réponse aux appels d'offres (avant-vente) Référence de l'offre : qvrd0gwo33

PROPULSE IT recherche un Lead Data Ingénieur ayant près de 10 ans d'expérience pour un de ses clients En tant que Lead Data Engineer, vous travaillerez au sein de l'équipe digitale « data et performance », en charge principalement de l'infrastructure data, et du traitement, de l'intégration et de la transformation de la donnée digitale d'Hermès (hermes.com). Vous serez aussi garant·e de sa qualité et sa sécurité et le respect de la vie privée liée à cette donnée. Vous serez rattaché·e au Data Manager et vous animez et pilotez une équipe de 2 Data Engineer au quotidien. Vous travaillerez principalement sur le Cloud de Google (GCP), mais aussi en partie sur le Cloud Amazon (AWS). Le respect de la vie privée étant au cœur de de votre travail, vous devrez être conscient des problématiques liées à la GDPR. Des connaissances sur les problématiques liées à l'e-Commerce sont un plus. Principales Activités : Industrialisation de l'infrastructure de la Data Platform sous GCP - Vous avez pour principale mission d'accompagner l'équipe Data et Performance dans l'industrialisation de sa plateforme data via : - Mise en place d'environnements dédiés et cloisonnés (Dev / Preprod / Production) - L'automatisation du déploiement et la maintenance des environnements via des outils d'infrastructure as code (Terraform) sous GCP - Mise en place de solutions d'observabilités (monitoring, alerting) au sein de GCP Manipulation/Transformation de données (en batch et stream) - Vous accompagnerez aussi l'équipe Data dans ses activités de transformation de données via : - Maintenance pipelines de données en python (batch et stream) - Des pipelines de transformation en SQL/SQLX dans l'outil DataForm (similaire à DBT) - Mise en place et maintenance d'un outil de data quality (ex : great expectations en python) - Aider au développement des workers dans les Cloud AWS pour récupérer la donnée depuis Kafka et l'envoyer vers PubSub dans GCP. - La connaissance de l'outil DataFlow (Apache Beam) est un plus. Collaboration avec les équipes du pole, centrée sur la donnée de qualité - Standardisation de la base de code de l'équipe (linting, CI/CD, divers tests - Maintien et réalisation de schémas d'architectures et documentation des processus internes - Collaboration avec les autres équipes du pôle Data : data analysts, SEO/SEA et emailing - Aider à la mise en place de bonnes pratiques : - Anonymisation et archivage de la donnée dans le respect du RGPD et de la politique interne du traitement de données - Sécurité de l'infra, de la data et du code

Nous recherchons un(e) Data Engineer spécialisé(e) sur Google Cloud Platform (GCP) pour renforcer l'équipe Data de notre client Vous serez chargé(e) de concevoir, développer et maintenir des pipelines de données performants et fiables, afin de structurer et valoriser les données de l’entreprise. Votre rôle sera central dans la mise en place d’une infrastructure data moderne et évolutive, au service des équipes métiers, Data Science et BI. Concevoir, développer et maintenir des pipelines de données sur GCP (Dataflow, Dataproc, Cloud Composer, etc.) Mettre en place et administrer des data lakes et data warehouses (BigQuery, Cloud Storage) Intégrer des flux de données provenant de sources variées (API, streaming, batch) Participer à la modélisation et à la gouvernance des données Automatiser les déploiements et superviser les environnements (Terraform, CI/CD) Collaborer avec les équipes Data Science, BI et Produit Garantir la qualité, la sécurité et la conformité des données (RGPD, bonnes pratiques GCP)

CITECH recrute ! 👌 Dans le cadre du renforcement de son pôle dédié à l’architecture, la valorisation et l’exploitation de la donnée, une grande entreprise nationale du secteur de l’énergie recherche un Data Engineer / Data Analyst (H/F) .🚀 L’objectif : contribuer à la fiabilité, la qualité et l’analyse des données nécessaires à la gestion des réseaux, ainsi qu’au développement de plateformes Data avancées. 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 Data Engineering 🔸Concevoir, développer et maintenir des pipelines de données robustes et scalables. 🔸Industrialiser les traitements dans un environnement Databricks (Spark, Delta Lake). 🔸Optimiser la qualité, la performance et la disponibilité des données. 🔸Participer à l’architecture des solutions Data, notamment dans un contexte cloud. Data Analysis 🔸Structurer, analyser et valoriser les données issues des réseaux et services. 🔸Construire des Dashboard et indicateurs fiables pour les équipes métiers et techniques. 🔸Contribuer à la mise en place d’une gouvernance efficace des données. Collaboration & Support 🔸Travailler étroitement avec les équipes Architecture, Exploitation et SI. 🔸Participer à la documentation, la standardisation et l’amélioration continue des pratiques Data. 🔸Accompagner les utilisateurs internes dans la compréhension et l’exploitation des datasets.

Nous recherchons un(e) Tech Lead Data Engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Assurer la mise en œuvre de l'accès, du référencement et de la qualité de la donnée • Assurer l'industrialisation, la supervision et l'intégration des solutions • Rédiger les normes de développement • Participer à la rédaction du manuel d'exploitation En tant que Tech Lead, vous savez : • Vous présenter et promouvoir des architectures data face au client • Identifier et comprendre les besoins métiers • Former, encadrer et faire évoluer les consultants juniors • Participer à la réponse aux appels d'offres (avant-vente) Référence de l'offre : sliv9e59p7

Nous recherchons un(e) Data Engineer spécialisé(e) sur Google Cloud Platform (GCP) pour renforcer l'équipe Data de notre client Vous serez chargé(e) de concevoir, développer et maintenir des pipelines de données performants et fiables, afin de structurer et valoriser les données de l’entreprise. Votre rôle sera central dans la mise en place d’une infrastructure data moderne et évolutive, au service des équipes métiers, Data Science et BI. Concevoir, développer et maintenir des pipelines de données sur GCP (Dataflow, Dataproc, Cloud Composer, etc.) Mettre en place et administrer des data lakes et data warehouses (BigQuery, Cloud Storage) Intégrer des flux de données provenant de sources variées (API, streaming, batch) Participer à la modélisation et à la gouvernance des données Automatiser les déploiements et superviser les environnements (Terraform, CI/CD) Collaborer avec les équipes Data Science, BI et Produit Garantir la qualité, la sécurité et la conformité des données (RGPD, bonnes pratiques GCP)

Notre client, société financière, recherche un Data Engineer pour rejoindre sa Data Factory. Responsabilités : Au sein d'une équipe dynamique, vous interviendrez sur l'ensemble des étapes des projets décisionnels : - Recueil et analyse des besoins (échanges avec la MOA et les utilisateurs) ; - Rédaction de spécifications fonctionnelles et techniques ; - Modélisatnique ; - Mise en production et suivi.

Contexte de la mission Dans un environnement IT Data du secteur de l’assurance , le client exploite une plateforme Hadoop pour le traitement de données volumineuses issues des systèmes historiques. La mission vise à maintenir, faire évoluer et structurer les flux data existants, tout en assurant leur intégration avec les usages analytiques et cloud. Missions principales Développer et maintenir des traitements de données sur environnement Hadoop Gérer des volumes importants de données métiers assurance Participer à la conception et à l’optimisation des flux data Assurer la fiabilité, la performance et la qualité des traitements Collaborer avec les équipes cloud, BI et Data Science Contribuer aux phases d’analyse technique et de conception des solutions data Stack technique obligatoire Hadoop Écosystème Big Data SQL Environnements data distribués Profil recherché Data Engineer confirmé spécialisé Hadoop Expérience en contexte de forte volumétrie et SI complexe Capacité à faire de la conception de flux , pas uniquement de l’exécution Sensibilité aux enjeux métiers et réglementaires du secteur assurance

Almatek recherche pour l'un de ses clients, un Data Engineer sur Clermont-Ferrand. Description détaillée Data engineer senior Connaissance essentielle de GCP : Google Cloud platforme. Compétences techniques : GCP - Expert - Important Data - Confirmé - Important Connaissances linguistiques Anglais Professionnel (Impératif) Almatek recherche pour l'un de ses clients, un Data Engineer sur Clermont-Ferrand. Description détaillée Data engineer senior Connaissance essentielle de GCP : Google Cloud platforme. Compétences techniques : GCP - Expert - Important Data - Confirmé - Important Connaissances linguistiques Anglais Professionnel (Impératif)

Notre client, acteur majeur du secteur [énergie / distribution], recherche un.e Data Engineer confirmé.e pour renforcer ses équipes Data. Le poste combine Data Engineering et MLOps , avec une implication sur l’ensemble du cycle de vie des pipelines de données et modèles ML. Missions principales : Data Engineering (intervention sur 2 projets) Concevoir, développer et maintenir les pipelines de données pour 2 applications disctinctes. Assurer l’ingestion, la transformation et le stockage de données à grande échelle. Optimiser les traitements pour garantir des performances adaptées aux volumes traités. Mettre en place des mécanismes de qualité des données (contrôles, alertes, monitoring). Collaborer avec le pôle Développement pour définir les interfaces de données (API, bases de données). Documenter les flux de données et maintenir le catalogue de données. MLOps (Intervention sur 1 des 2 projets) Industrialiser l’entraînement des modèles ML pour l’optimisation du dimensionnement des groupes électrogènes. Déployer des pipelines CI/CD pour les modèles ML (versioning des données et modèles, automatisation de l’entraînement). Assurer le monitoring des performances des modèles en production (drift detection, métriques de performance). Collaborer avec les Data Scientists pour faciliter le passage des modèles du développement à la production.

Les livrables sont Code Source Documentation KPI qualité Compétences techniques Python / Pyspark / SQL - Expert - Impératif Databricks - Expert - Impératif Datafactory - Confirmé - Important Modélisation BI - Confirmé - Souhaitable Description détaillée Contexte : Le projet Data-RH vise à centraliser et modéliser les données issues des systèmes dans un modèle unifié, permettant des analyses transverses et une exploitation optimale des données métier. Environnement technique : Azure Data Factory, Databricks, Python, PySpark, SQL, Azure DevOps et Power BI. Missions : - Concevoir et développer des pipelines d’ingestion de données via Azure Data Factory. - Créer et optimiser des flux de transformation de données en PySpark/Python. - Maintenir et développer de nouveaux indicateur de qualité de données - Mettre en œuvre et industrialiser les pipelines CI/CD avec Azure DevOps. - Participer au refactoring du code existant pour améliorer sa performance et sa maintenabilité. - Garantir la qualité du code et veiller au respect des normes de développement au sein de l’équipe. - Implémenter des tests unitaires et assurer la fiabilité des solutions. - Mettre en place des solutions de monitoring et de supervision pour l’application Data-RH. Profil recherché : - Maîtrise avérée de SQL, Python, PySpark et Spark. - Expérience confirmée sur l’écosystème Microsoft Azure (Data Factory, Databricks, DevOps). - Bonne connaissance de Git et des pratiques DevOps. - Sens de la communication, force de proposition et capacité à travailler en équipe. - Rigoureux, attaché aux bonnes pratiques de développement et à la qualité du code. Définition du profil : Il est garant du bon fonctionnement et de la disponibilité des données dont il a la responsabilité. Il assure la prévention des dysfonctionnements des données et contribue à la bonne utilisation de celles-ci