Trouvez votre prochaine mission ou futur job IT.

Contexte / Objectifs : 1. Développement de Pipelines de Données : o Concevoir, développer et optimiser des jobs Spark (Java) pour le traitement, la transformation et l'agrégation de grands volumes de données provenant de diverses sources. o Implémenter des flux de données robustes et performants sur Cloudera. o Utiliser HBase pour des besoins de stockages NoSQL rapides et l'accès à des données structurées/semi-structurées. o Développer des requêtes SQL complexes sur HIVE/SPARK pour l'extraction, l'analyse et la validation des données. 2. Optimisation et Performance : o Monitorer la performance des jobs Spark et identifier les goulots d'étranglement. o Optimiser les requêtes SQL et les stratégies de lecture/écriture sur HDFS et HBase. o Proposer et implémenter des solutions pour améliorer la scalabilité et l'efficacité de la plateforme. 3. Assurance Qualité et Déploiement (DevOps) : o Écrire des tests unitaires et d'intégration pour garantir la qualité du code. o Participer aux processus de Build et de déploiement via les outils CI/CD (Jenkins, XLD). o Intégrer des outils d'analyse de code statique (SonarQube, Checkmarx) dans le cycle de développement. o Gérer les dépendances et les versions avec Maven. 4. Collaboration et Documentation : o Documenter le code, les architectures et les processus. o Partager les bonnes pratiques et contribuer à l'amélioration continue de l'équipe.

Au cours de sa mission, le consultant : - Participera aux rituels agiles de l'équipe, - Analysera les besoins des utilisateurs et proposera des solutions innovantes et en phase avec les drivers de l'entreprises, - Développera les solutions data (Alimentation, stockage, modélisation, restitution), - Validera la qualité des développements de son équipe, - Améliorera et optimisera le patrimoine actuel de son équipe, - Maintiendra les solutions existantes (Run), - Contribuera à la construction du nouveau socle et des services sur la plateforme Google Cloud, - Accompagnera et acculturera les métiers sur les bonnes pratiques de l'exploitation de la Data

Conception, Développement et Optimisation de Pipelines de Données sur GCP : ○ Concevoir, développer et maintenir des pipelines robustes et performants de collecte, transformation et chargement de données à partir de diverses sources (Oracle, fichiers, APIs, etc.) vers BigQuery et d'autres destinations. ○ Utiliser et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) pour construire des architectures de données scalables et fiables. ○ Assurer l'automatisation des traitements, la gestion des dépendances et l'ordonnancement des jobs de données. ○ Optimiser les performances des pipelines et la consommation des ressources GCP. Modélisation et Gestion des Données : ○ Participer à la conception et à l'évolution des modèles de données dans BigQuery, en collaboration avec les Data Analysts et les équipes métier. ○ Assurer la qualité, la cohérence et l'intégrité des données stockées et mises à disposition. ○ Mettre en place et gérer des stratégies de versioning des schémas de données et de cycle de vie des données. Run Opérationnel, Maintenance et Support N2/N3 : ○ Assurer le support opérationnel de niveau 2/3 du produit Topase dans ensemble (GCP + Solution éditeur). ○ Développer et maintenir des scripts Bash pour l'automatisation des tâches opérationnelles, la supervision des flux, l'extraction/transformation de données et les tâches de maintenance système. ○ Écrire, optimiser et exécuter des requêtes SQL complexes pour l'analyse, la qualification, le diagnostic d'incidents, la manipulation et la restitution de données dans BigQuery et Oracle. ○ Gérer les incidents en collaboration avec l'éditeur et les équipes internes. ○ Participer à la qualification des livraisons de patchs éditeur impactant les flux de données. ○ Gérer les incidents éditeur sur son CRM et participer aux ateliers de suivi.

Le centre d’expertise Market Analysis (EC MA) fournit des analyses fondamentales et des études économiques sur les marchés de l’énergie afin de soutenir les activités de trading et la gestion de portefeuille. Évoluant dans un environnement de trading rapide, l’équipe combine une expertise approfondie des marchés de l’énergie avec des analyses quantitatives et des techniques de data science pour fournir des insights clés. Dans ce contexte, une plateforme de données dédiée à la gestion des séries temporelles a été mise en place chez S&EM. Cette plateforme répond à des enjeux majeurs tels que la scalabilité, l’accès à des données de haute qualité, la découvrabilité des données et la gouvernance des données. La plateforme repose sur une architecture de données moderne et est soutenue par une équipe cœur d’experts data, travaillant en mode agile avec les parties prenantes métier et le Data Office. Le projet est actuellement en phase d’expansion, et l’équipe cherche à renforcer ses capacités afin d’accompagner l’intégration de nouveaux utilisateurs et favoriser l’adoption de la plateforme. Le rôle consiste à garantir que la plateforme de données soit fiable, scalable et pleinement exploitable par ses utilisateurs finaux. La personne sera responsable de faire le lien entre la plateforme et ses utilisateurs. Un objectif clé du poste est d’accélérer l’adoption par les utilisateurs en assurant leur onboarding, leur support et leur accompagnement, afin qu’ils puissent rapidement devenir autonomes dans l’utilisation de la plateforme et de ses outils. Concrètement, le rôle s’articule autour de trois dimensions : Fiabilité de la plateforme : fournir des pipelines de données robustes, automatisés et monitorés Accompagnement des utilisateurs : onboarding, formation et support dans l’usage quotidien Amélioration continue : faire évoluer la plateforme en fonction des retours utilisateurs et des besoins opérationnels

Descriptif de la mission Notre Client recherche pour cette mission un Data Engineer. Les tâches au quotidien seront : - Définir et analyser les structures de données - Concevoir, construire et gérer des pipelines ETL (Extraction, Transformation, Chargement) qui ingèrent des données brutes provenant de diverses sources, les transforment et les chargent dans des entrepôts ou des lacs de données - Concevoir et gérer des solutions de stockage, telles que les entrepôts de données (Amazon Redshift), entrepôts de données (AWS S3 avec Databricks) ou bases de données NoSQL - Travailler en étroite collaboration avec les data scientists, les analystes et les équipes commerciales pour comprendre les données besoins, recueillir les exigences - Garantir la fiabilité de la production (surveillance, alerte et intervention selon les besoins) - Expérimenter les technologies de données émergentes et les meilleures pratiques pour améliorer l'infrastructure de données et l'efficacité des flux de travail

Dans le cadre de la modernisation de son système de gestion des données, notre client recherche un(e) Data Engineer afin de participer à la transformation et à l’industrialisation de ses traitements data. Vous intégrerez une équipe technique engagée sur des projets stratégiques liés à la migration d’applications historiques vers des technologies Big Data et Cloud plus performantes et évolutives. Vos missions Participer à la migration de traitements décisionnels développés sous Informatica et PL/SQL vers des solutions Big Data basées sur Spark (Java). Assurer la maintenance corrective et évolutive des traitements existants afin de garantir leur stabilité et leur performance. Concevoir, développer et optimiser des pipelines de données dans un environnement Cloud moderne autour de Databricks. Industrialiser les traitements data afin d’améliorer leur fiabilité, leur automatisation et leur exploitabilité. Développer et maintenir des flux de données performants répondant aux besoins métiers et techniques. Collaborer avec les différentes équipes projets pour comprendre les besoins fonctionnels et proposer des solutions adaptées. Participer aux phases de tests, de validation et de mise en production des traitements. Contribuer à l’amélioration continue des pratiques de développement et d’exploitation des plateformes data. Veiller à la qualité, à la cohérence et à la disponibilité des données au sein des environnements de production.

Concevoir, construire et maintenir des infrastructures et des pipelines robustes et performantes Garantir une architecture et une modélisation des flux optimisés et évolutives. Apporter une expertise et aider l'équipe à prendre les meilleurs choix techniques. Transformer la stack legacy vers les nouveaux standards de la Data Platform. Assurer la qualité, la fiabilité et la gouvernance des données . Maîtriser la qualité du code et promouvoir les meilleures pratiques. Collaborer en environnement Agile au sein d'une équipe internationale (Anglais) . Garantir un RUN de qualité (SLA) Respecter les engagements de sprint et s'inscrire dans une démarche d' amélioration continue .

Une opportunité idéale pour mettre votre expertise Data Engineering au service de projets stratégiques dans un environnement bancaire exigeant et innovant. Poste : Data Engineer Lieu : Villejuif Type de contrat : CDI uniquement – Poste non ouvert aux freelances, au portage salarial ni à la sous-traitance Télétravail : 2 à 3 jours de télétravail par semaine Expérience : Expérimenté Salaire : À partir de 60K selon profil Contexte : Dans le cadre du renforcement des équipes Data d’un grand compte du secteur bancaire, nous recherchons un(e) Data Engineer expérimenté(e) afin d’intervenir sur des projets à forte volumétrie de données et à forts enjeux métier. Vous participerez à la conception, au développement et à l’optimisation des traitements data au sein d’environnements techniques complexes et distribués, en lien avec les équipes métiers et techniques. Missions : Concevoir, développer et maintenir des pipelines de traitement de données. Participer à l’industrialisation et à l’optimisation des flux de données. Développer et maintenir des traitements Big Data dans des environnements Hadoop/Spark. Réaliser des développements et optimisations SQL complexes sous Teradata. Assurer le suivi et l’automatisation des déploiements dans une démarche DEVOPS. Participer à l’analyse, au traitement et à la fiabilisation des données. Collaborer avec les équipes projets, les équipes d’exploitation et les équipes métiers. Contribuer à la résolution des incidents et à l’amélioration continue des plateformes Data. Participer aux phases de recette, de validation et de mise en production. Compétences attendues : Excellente maîtrise de SQL. Bonne connaissance des environnements Big Data : Spark, Hadoop, HDFS. Maîtrise de Python dans un contexte Data Engineering. Expérience sur Teradata. Bonne connaissance des environnements Unix. Connaissance des pratiques DEVOPS. Expérience dans un environnement bancaire appréciée. Capacité à évoluer sur des architectures data complexes et distribuées.

Description du poste Description du poste Dans le cadre du projet de modernisation de la plateforme BI d’Amundi Technology, le consultant Data Engineer / Data Architect Senior interviendra au sein de l’équipe Cœur-Data de la R&D Épargne Salariale et Retraite. Il travaillera en collaboration avec une équipe de cinq personnes ainsi qu’avec les clients internes et les équipes transverses de l’entreprise. Missions principales Concevoir et mettre en œuvre des solutions de gestion et d’exploitation de données répondant aux besoins métiers existants et futurs. Participer à la définition de l’architecture du Lakehouse sur S3. Développer des pipelines de traitement de données en Python, Spark et PySpark . Mettre en place l’ordonnancement des traitements avec Dagster . Structurer, stocker et rendre accessibles les données aux équipes métiers, notamment marketing. Concevoir des rapports et solutions de restitution des données à partir du Lakehouse. Développer des solutions de collecte et de stockage des données. Réaliser les tests unitaires et assurer le suivi des traitements. Produire la documentation technique des développements. Accompagner les utilisateurs et la MOA lors des phases de recette. Assurer un reporting régulier sur l’avancement du projet et les éventuels blocages. Collaborer avec les équipes transverses sur les études et évolutions de la plateforme. Environnement technique Langages : Python, Spark, PySpark, SQL Versioning : Git CI/CD : Jenkins Gestion de projet : Jira Documentation : Confluence Environnement : Windows 10 + WSL Outils existants : Informatica, DAC, OBIEE, Eclipse BIRT, Oracle 19 Plateforme cible : Dagster, Trino, S3 Compétences recherchées Expertise en Data Engineering (Python, Spark, architecture de données). Bonne connaissance des environnements BI et Data Lake/Lakehouse. Expérience en Machine Learning appliqué à la donnée (Scikit-Learn, Feature Engineering). Capacité à échanger avec les métiers et à comprendre leurs besoins. Maîtrise des outils Informatica . Connaissance des outils LLM / GenAI pour l’accès et l’exploration de la donnée. Livrables attendus Solutions développées et déployées. Programmes testés et prêts pour la recette utilisateur. Documentation technique complète. Suivi d’avancement des travaux. Contribution à l’amélioration continue des processus de développement. En résumé : il s'agit d'une mission de Data Engineer / Data Architect Senior orientée modernisation d’une plateforme BI vers une architecture Lakehouse moderne, avec un fort volet développement Python/Spark, architecture data, industrialisation et collaboration avec les équipes métiers

Nous sommes à la recherche d'un(e) : Data Engineer Senior - Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe - Construire et maintenir de pipelines data robustes et scalables - Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données - Organiser et structurer le stockage des données - Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données - Construire et maintenir les workflows de la CI/CD - Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur - Assurer l’évolutivité, la sécurité, la stabilité des environnements - Participer aux différentes instances des data ingénieurs - Contribuer et veiller à la mise à jour de la documentation - Faire de la veille technologique active dans le domaine

Vos missions ? Intégré(e) à nos équipes ou chez nos clients, vous contribuez à développer et valoriser l'ensemble des données en résolvant des problématiques business concrètes via les technologies liées à la Data A ce titre, vos missions seront les suivantes : - Concevoir et mettre en place des architectures de données en choisissant les technologies adaptées aux besoins. - Gestion des bases de données en garantissant la performance et la scalabilité des solutions de stockage. - Analyser et explorer les données avec les différents outils. - Mettre en place des tableaux de bord avec Power BI ou Tableau en exploitant les données transformées via Talend. - Interagir avec les équipes métier pour comprendre et les besoins. - Utiliser TALEND pour extraire des données depuis plusieurs sources (SQL, API, Excel ...). - Automatiser les processus ETL pour centraliser les données dans un Data Wrehouse (Snowflake). - Participation aux projets IA. Compétences requises : • ETL: Talend • Analyse de données (PowerBI, Tableau) • Base de données (SQL, GCP) • Langages: Python, SQL

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 🏠 2 jours de télétravail / semaine - 📍 Lyon (07) - 🛠 Expérience de 3 ans minimum Et si votre prochain projet vous permettait de participer à la modernisation complète d’un environnement data stratégique ? 🚀 Nous recherchons actuellement un.e Développeur Big Data / Data Engineer pour rejoindre les équipes de l’un de nos clients. Ici, vous n’arrivez pas sur un projet “from scratch” déconnecté du terrain. Vous intervenez sur un SI déjà fortement utilisé, avec de vrais enjeux métier, des traitements critiques et une transformation Big Data ambitieuse déjà engagée. L’objectif : faire évoluer progressivement l’existant vers des architectures modernes autour de Spark et Databricks. Ce que vous ferez concrètement : Phase 1 : modernisation des traitements existants Dans un premier temps, vous participerez à la transformation progressive des traitements historiques. Concrètement, vous serez amené.e à : - migrer des traitements Informatica et PL/SQL vers Spark Java, - optimiser les traitements existants pour améliorer leurs performances, - maintenir et faire évoluer des traitements SQL / PL-SQL critiques, - comprendre les enjeux métier derrière les flux de données, - sécuriser la qualité et la robustesse des traitements. Cette phase demande autant de curiosité fonctionnelle que de compétences techniques. Phase 2 : participation à la transformation cloud Vous intégrerez ensuite les travaux autour de la migration vers Databricks. À ce titre, vous participerez à : - la conception de pipelines de données modernes, - l’industrialisation des traitements, - la mise en place des bonnes pratiques Big Data, - l’évolution des architectures data de l’équipe. Votre quotidien dans l’équipe Au-delà du développement, vous contribuerez aussi à la vie technique de l’équipe : - partage de connaissances, - amélioration continue, - documentation, - participation aux réflexions d’architecture, - optimisation des traitements Spark, - contribution à la guilde technique de l’équipe. L’environnement valorise les profils capables de prendre du recul sur les sujets techniques et de comprendre l’impact métier des traitements.

Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l’humain et la responsabilité sociétale au cœur de ses valeurs. C’est votre future équipe Les équipes de ConsortIA , sont des acteurs de référence de la Data, du Développement Digital et de l'Ingénierie Média. En combinant ces expertises, nous concevons des systèmes d’information augmentés, intégrés, agiles et sécurisés, au service de la performance et de la transformation numérique de nos clients. Data Engineer Teradata H/F C’est votre mission Vous êtes passionné·e par la donnée ? Ce poste est fait pour vous. En tant que Data Engineer Teradata , vous êtes responsable du développement des applications sur la base de puissantes plates-formes DATA à des fins d’usages variés servant toutes les directions métier de la banque. Missions principales Assurer le RUN / MCO des solutions de datavisualisation dédiées au reporting (SSRS, Power BI, Business Objects) Prendre en charge la gestion des incidents (analyse, plan d’actions, suivi et communication) Piloter les projets et les évolutions sur le périmètre (étude des données, développement, phases de tests et recette, mise en production ) Réaliser les activités de modélisation des données Accompagner les métiers : ( recueil des besoins, conception et développement des solutions , accompagnement au changement, coordination des différents acteurs du projet ) Participer à la communauté de pratique des concepteurs/développeurs en Reporting et Datavisualisation au sein de la tribu. Préparer et organiser les mises en production (MEP) : C’est votre parcours Vous avez au moins 6 ans d’expérience dans des environnements Big DATA exigeants. Vous aimez la donnée sans jamais cesser d’innover. Vous cherchez un cadre où vos idées comptent et où la technique va de pair avec la collaboration. C’est votre expertise : Les compétences techniques suivantes devront être maîtrisées : Mode de chargement dans l’entrepôt (ETL) : BTEQ Teradata CONTROL-M Environnement UNIX ( répertoires principaux, Usage & Entrepôt ) SQL sur SGBD relationnel (Teradata) Outils collaboratifs et documentaires : GIT, Jira, Confluence, MEGA, Zeenea SSRS, PowerBI, BO, SSAS multi dimensionnel Shell, Python, Linux C’est votre manière de faire équipe : Bon relationnel et bonne communication écrite et orale. Ecoute. Esprit d'analyse et de synthèse. Capacité d'organisation et d'adaptation. Capacité à travailler en équipe. Autonomie. Curiosité. C’est notre engagement Chez Consort Group, vous êtes un·e expert·e qu’on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain Une vraie proximité managériale Des formations accessibles en continu Des engagements concrets : inclusion, égalité, solidarité Un package RH complet : mutuelle, carte TR, CSE, prévoyance Une culture du feedback et des projets qui font sens C’est clair Le process de recrutement : Un premier échange téléphonique avec notre team recrutement Un entretien RH ainsi qu’un échange métier avec un.e ingénieur.e d’affaires Un test ou un échange technique avec un.e de nos expert.es Un dernier point avec votre futur.e manager ou responsable de mission Et si on se reconnaît : on démarre ensemble C’est bon à savoir Lieu : Villejuif Contrat : CDI Télétravail : Hybride Salaire : De 55 000 K€ à 60 000 K€ (selon expérience) brut annuel Famille métier : [DATA / BIG DATA / DEVOPS ] Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c’est le vôtre.

CraftmanData recherche un Expert ELK et Big Data pour accompagner un acteur majeur du secteur de l’énergie dans la modernisation de son infrastructure de gestion des données . Ce poste vise à centraliser, analyser et visualiser des données techniques et opérationnelles critiques (logs, métriques, flux temps réel) afin d’optimiser la production, la maintenance et la sécurité des infrastructures énergétiques. Vous interviendrez en tant que référent technique sur la stack ELK (Elasticsearch, Logstash, Kibana) et contribuerez à l’intégration de solutions Big Data (Hadoop, Spark) pour répondre aux enjeux métiers du secteur.

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 🏠 2 jours de télétravail / semaine - 📍 Lyon (07) - 🛠 Expérience de 3 ans minimum Et si votre prochain projet vous permettait de participer à la modernisation complète d’un environnement data stratégique ? 🚀 Nous recherchons actuellement un.e Développeur Big Data / Data Engineer pour rejoindre les équipes de l’un de nos clients. Ici, vous n’arrivez pas sur un projet “from scratch” déconnecté du terrain. Vous intervenez sur un SI déjà fortement utilisé, avec de vrais enjeux métier, des traitements critiques et une transformation Big Data ambitieuse déjà engagée. L’objectif : faire évoluer progressivement l’existant vers des architectures modernes autour de Spark et Databricks. Ce que vous ferez concrètement : Phase 1 : modernisation des traitements existants Dans un premier temps, vous participerez à la transformation progressive des traitements historiques. Concrètement, vous serez amené.e à : - migrer des traitements Informatica et PL/SQL vers Spark Java, - optimiser les traitements existants pour améliorer leurs performances, - maintenir et faire évoluer des traitements SQL / PL-SQL critiques, - comprendre les enjeux métier derrière les flux de données, - sécuriser la qualité et la robustesse des traitements. Cette phase demande autant de curiosité fonctionnelle que de compétences techniques. Phase 2 : participation à la transformation cloud Vous intégrerez ensuite les travaux autour de la migration vers Databricks. À ce titre, vous participerez à : - la conception de pipelines de données modernes, - l’industrialisation des traitements, - la mise en place des bonnes pratiques Big Data, - l’évolution des architectures data de l’équipe. Votre quotidien dans l’équipe Au-delà du développement, vous contribuerez aussi à la vie technique de l’équipe : - partage de connaissances, - amélioration continue, - documentation, - participation aux réflexions d’architecture, - optimisation des traitements Spark, - contribution à la guilde technique de l’équipe. L’environnement valorise les profils capables de prendre du recul sur les sujets techniques et de comprendre l’impact métier des traitements.

Contexte du poste : Nous recherchons un Data Engineer afin d’intégrer l’équipe DATA technique de notre client, acteur majeur du secteur des médias et du digital. L’équipe est en charge des traitements d’ingestion, de transformation et d’exposition des données du groupe : audience web et mobile, marketing digital, base clients, contenus éditoriaux, offres commerciales ou encore logistique de distribution. Dans un contexte de transformation de la plateforme DATA, le socle technique migre actuellement d’un environnement Cloudera on premise vers Snowflake. Missions principales : Développer et maintenir les flux d’ingestion et de transformation de données Participer à la migration des traitements Cloudera / Hive / Hadoop vers Snowflake Développer des traitements en Python, SQL et éventuellement PySpark Exploiter différentes sources de données : API, Kafka, RabbitMQ, fichiers plats, bases relationnelles Assurer le suivi de production, analyser les incidents et mettre en place les correctifs Participer aux revues de code et aux bonnes pratiques via Git Rédiger et maintenir la documentation technique des traitements Mettre en place des contrôles de cohérence et de qualité des données