Trouvez votre prochaine offre d’emploi ou de mission Data engineer

En tant que consultant Data Engineer, vous interviendrez dans le cadre de projets Big Data en cours ou From Scratch. Vous contribuerez : - Aux études, à la conception et à l implémentation des projets - A l’intégration de nouveaux flux en mode batch ou streaming - A la configuration et optimisation des programmes applicatifs - A la configuration des outils de restitution, gestion des habilitations, gestion de la sécurité - A la mise en place de POC sur de nouveaux outils - A la mise en œuvre des actions correctives à court et moyen terme - A la rédaction de dossier d implémentation, restitution à la communauté des intégrateurs - A assurer le RUN des projets passés en production : résolution des incidents niveau 2 et 3, diagnostique et remise en service dans les meilleurs délais

Les activités qui vous seront confiées sont : - Mise en place de la collecte et la mise à disposition des données - Industrialisation et mettre en production des traitements sur les données - Développements d’usages Dataiku - Conception technique des développements - Supervision des traitements en place - Support à des utilisateurs - Cérémonies agile (méthode Scrum)

Vos missions Vous participerez au développement des projets ou des services data en développant une chaîne de traitement de données robuste et automatisée : Spécifications techniques Release plan des différents livrables Ingestion et mise en qualité des données selon les bonnes pratiques de la Factory Traitement, agrégation et sauvegarde des données Intégration continue (versioning, packaging, tests et déploiement) Étroite collaboration avec le chef de projet, OPS et architectes Participation aux activités d’architecture, conception et développement Recette et mise en production Contribuer pro activement à la veille scientifique et technique, aux projets R&D, et à la construction d’assets et de services techniques orientés data ; Participer aux autres activités du pôle Data Science & Engineering (reporting d’activité, communication interne et externe, collaboration avec les universités et laboratoires associés) En mode agile : Scrum Compétences : Maitrise de Microsoft Azure Data Lake Storage Maitrise de Spark / Scala / Databricks / Snowflake Connaissances Git / Azure DevOps Connaissances Airflow / DataDog / Nifi

Maintenance des Bases de Données : - Surveillance régulière des performances des bases de données existantes. - Identification et résolution proactive des problèmes de performance, de sécurité et de fiabilité des données. - Optimisation des requêtes et des schémas pour garantir l’efficacité opérationnelle. - Traitement des incidents liés aux bases de données Maintenance et Développement des Routines : - Gestion, débug, amélioration et optimisation des routines existantes. - Développement de nouvelles routines pour répondre aux besoins spécifiques de l’entreprise. - Intégration de techniques avancées de Data Science pour améliorer la qualité des routines existantes. Administration de l’outil de la viz AWS Quicksight : - Création et gestion des droits d’utilisateur - Implémentation et maintenance des dashboards Pilotage de projet DWH

Exploitation de données en batch et en stream S’assurer du bon fonctionnement des flux de données de l’écosystème data : flux entre le datalake et les systèmes connexes, notamment le CRM, la DMP, les systèmes de personnalisation en temps réel Contrôler la cohérence des données stockées et les transformations éventuelles en lien avec les équipes métier (directions marketing, directions numériques, DSI) Améliorer la qualité des ciblages et des modèles grâce à l’aide des enrichissements proposés par le Responsable BDD. Participer à l’évolution de l’architecture des données dans le datalake pour des besoins opérationnels et de connaissance client en collaboration avec la DSI Préparer des entrepôts de données nécessaires à la réalisation de modèles de Datascience Préparer des entrepôts de données nécessaires aux reportings opérationnels et stratégiques Industrialiser des traitements Développer ponctuellement des applications de collecte ou de restitution de données Développer ponctuellement de nouveaux flux ou d’API en support de la DSI Soutenir les Data Scientists pour l’industrialisation des modèles de Machine Learning : Créer des pipelines d’extraction et de transformation des données, optimisation de l’architecture du Datalake Déployer des modèles sur Google Cloud Platform Mettre à disposition des données Maintenir une veille technologique pour aider le groupe à travers le pôle data à s’outiller efficacement pour répondre aux évolutions du marché

Concevoir et développez vos pipelines de transformation de données (Python, JSON, BigQuery, ). Construire vos solutions en environnement Google Cloud Platform. Rester en veille permanente sur les bonnes pratiques et nouvelles technos. collectez et transformez des données de différentes sources afin de générer des données propres . Prendre part aux rituels agiles de l’équipe.

💼 Poste : Data Engineer GCP 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Lancement d’un projet de construction d’un nouveau socle Data. Un chantier de collecte et de transformations de données est réalisé pour mettre à disposition des visions enrichies du marché, des tendances pour aider la prise de décisions et favoriser les initiatives sur les axes stratégiques majeurs, grâce à une meilleure autonomie dans la consommation de data. Il s’accompagne d’une nouvelle politique et d’une nouvelle organisation de gestion de la donnée pour en assurer l’intégrité, la sécurité et la qualité. Récupérer les données issues de sources externes Utiliser la puissance du Datalake Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. Mise en œuvre de la chaîne : D’ingestion de données, De validation de données, De croisement de données, De déversement dans le datalake des données enrichies Développer dans le respect des règles d’architecture définies Développer et documenter les user stories avec l’assistance du Product Owner. Produire les scripts de déploiement Prioriser les corrections des anomalies Assister les équipes d’exploitation Participer à la mise en œuvre de la chaîne de delivery continue Automatiser les tests fonctionnels 🤝 Expertises spécifiques : Connaissances techniques : Plateforme et environnement GCP (indispensable) Environnement GKE Développement d’API REST Stockage : HDFS / GCS Traitement : Maitrise de l’écosystème Spark / Kafka / Scala Planification : Airflow / Composer Méthodologies : Scrum, Kanban, Git DWH : SQL, BigQuery, BigTable Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build La proactivité, la rigueur, l’autonomie et la capacité d’immersion dans le détail associé à une capacité de prise de recul et un esprit de synthèse/vulgarisation seront des plus appréciable. Aspects Humains : Grande capacité à travailler dans une équipe, en mode Scrum / Kanban. Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail). Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées. A votre disposition pour en parler au besoin,

Principales activités : - Recueillir les besoins métiers des différentes unités demandeuses - Concevoir des applications transforment les données brutes en informations exploitables - Gérer le développement et de la maintenance de ses applications - Gérer l’infrastructure de données et de déployer des applications de traitement des données - Industrialiser et automatiser le nettoyage de la donnée selon les spécifications retenues - Gérer le cycle de vie de la donnée conformément aux directives inscrites dans le RGPD - Mise à jour permanente sur les technologies et langages utilisés dans le but de partager ses connaissances et aider à l’avancement du projet. Expertises : - Langage : Python, Scala, Spark, SQL - Bass de données : PostgreSQL, NoSQL - Orchestration : Airflow, Luigi - DevOps : GitLab, CI-CD, Docker, Ansible, Terraform - Outils Cloud : GCP, Databricks - Les plus : Dbt, Looker Studio, BigQuery, Airflow, Kafka, Dataflow, Firestore

💼 Poste : Data Engineer GCP 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Lancement d’un projet de construction d’un nouveau socle Data. Un chantier de collecte et de transformations de données est réalisé pour mettre à disposition des visions enrichies du marché, des tendances pour aider la prise de décisions et favoriser les initiatives sur les axes stratégiques majeurs, grâce à une meilleure autonomie dans la consommation de data. Il s’accompagne d’une nouvelle politique et d’une nouvelle organisation de gestion de la donnée pour en assurer l’intégrité, la sécurité et la qualité. Récupérer les données issues de sources externes Utiliser la puissance du Datalake Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. Mise en œuvre de la chaîne : D’ingestion de données, De validation de données, De croisement de données, De déversement dans le datalake des données enrichies Développer dans le respect des règles d’architecture définies Développer et documenter les user stories avec l’assistance du Product Owner. Produire les scripts de déploiement Prioriser les corrections des anomalies Assister les équipes d’exploitation Participer à la mise en œuvre de la chaîne de delivery continue Automatiser les tests fonctionnels 🤝 Expertises spécifiques : Connaissances techniques : Plateforme et environnement GCP (indispensable) Environnement GKE Développement d’API REST Stockage : HDFS / GCS Traitement : Maitrise de l’écosystème Spark / Kafka / Scala Planification : Airflow / Composer Méthodologies : Scrum, Kanban, Git DWH : SQL, BigQuery, BigTable Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build La proactivité, la rigueur, l’autonomie et la capacité d’immersion dans le détail associé à une capacité de prise de recul et un esprit de synthèse/vulgarisation seront des plus appréciable. Aspects Humains : Grande capacité à travailler dans une équipe, en mode Scrum / Kanban. Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail). Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées. A votre disposition pour en parler au besoin,

Il est garant de l’accès qualitatif aux sources de données. Il s’assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d’en faciliter l’exploitation par les équipes (Data Analysts et Data Scientists). Il contribue également à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer. Son périmètre d’intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT, Il assure la supervision et l’intégration des données de diverse nature qui proviennent de ces sources multiples et vérifie la qualité des données qui entrent dans le Data Lake (il recette de la donnée, supprime les doublons, ).

Nous recherchons pour l un de nos clients dans le secteur du Bancaire un(e) Data Engineer AWS (H / F ) Au sein de la DSI vous intégrerez la direction Data et Architecture, vous aurez la responsabilité de mettre en œuvre les usages de la Data Platform autour des technologies AWS Dans ce contexte, vous travaillerez en étroite collaboration avec les équipes de Data-Scientists, de Data-Miners, et des équipes Devops en suivant la méthodologie Agile Scrum. Vous échangerez régulièrement avec les autres équipes de la DSI : opérations, responsables des systèmes sources et consommateurs de la Dataplatform.) Vous serez amené à intervenir sur des projets variés tel que la construction des usages de la nouvelle DataPlatform Objectifs de la mission et tâches Requis : Maitrise des concepts de Base de données orientées analyse Bon niveau en développement python bonnes pratique et optimisation de code Connaissances solides des Framework BigData (spark, scala, Apache Airflow, Glue, Python ...) Fonction(s) de référencement Maîtrise d’ouvrage et fonctionnel Description du profil Maitrise des services data sur AWS Cloud (ATHENA, amazon s3)

💼 Poste : Data Engineer GCP 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Lancement d’un projet de construction d’un nouveau socle Data. Un chantier de collecte et de transformations de données est réalisé pour mettre à disposition des visions enrichies du marché, des tendances pour aider la prise de décisions et favoriser les initiatives sur les axes stratégiques majeurs, grâce à une meilleure autonomie dans la consommation de data. Il s’accompagne d’une nouvelle politique et d’une nouvelle organisation de gestion de la donnée pour en assurer l’intégrité, la sécurité et la qualité. Récupérer les données issues de sources externes Utiliser la puissance du Datalake Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. Mise en œuvre de la chaîne : D’ingestion de données, De validation de données, De croisement de données, De déversement dans le datalake des données enrichies Développer dans le respect des règles d’architecture définies Développer et documenter les user stories avec l’assistance du Product Owner. Produire les scripts de déploiement Prioriser les corrections des anomalies Assister les équipes d’exploitation Participer à la mise en œuvre de la chaîne de delivery continue Automatiser les tests fonctionnels 🤝 Expertises spécifiques : Connaissances techniques : Plateforme et environnement GCP (indispensable) Environnement GKE Développement d’API REST Stockage : HDFS / GCS Traitement : Maitrise de l’écosystème Spark / Kafka / Scala Planification : Airflow / Composer Méthodologies : Scrum, Kanban, Git DWH : SQL, BigQuery, BigTable Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build La proactivité, la rigueur, l’autonomie et la capacité d’immersion dans le détail associé à une capacité de prise de recul et un esprit de synthèse/vulgarisation seront des plus appréciable. Aspects Humains : Grande capacité à travailler dans une équipe, en mode Scrum / Kanban. Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail). Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées. A votre disposition pour en parler au besoin,

Nous sommes à la recherche d’un ingénieur de données Snowflake confirmé/Senior. Vous serez resposanbel du développement de nouveaux pipelines de données selon les normes, les meilleures pratiques et les principes CI/CD. Objectifs et livrables Vous êtes en charge de la gestion de la base de données et de la gestion de l’information : - Création/modification d’objets de base de données Snowflake (base de données, tables, vues, etc.) - Développement de procédures stockées Snowflake (SQL SERVER) - Vous êtes en charge de la mise en œuvre de l’environnement de développement à l’environnement de production en utilisant le processus CI/CD. - Assurer un haut niveau de service incluant le cadrage, la construction, l’exécution, la gestion des incidents. - Assurer la qualité des codes fournis par l’équipe de développement Expérience et qualités attendues : - Au moins 5 ans d’expérience - Expérience prouvée dans différents projets de données - Expérience confirmée en codage javascript/SQL, modélisation de données, Snowflake - Capacité à travailler en équipe, en mode squad, dans tous les environnements. - Capacité avérée à prendre des initiatives et à faire preuve d’innovation - Travail en équipe dans un environnement multinational - Capacité à travailler avec des ressources offshore

Il est garant de l’accès qualitatif aux sources de données. Il s’assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d’en faciliter l’exploitation par les équipes (Data Analysts et Data Scientists). Il contribue également à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer. Son périmètre d’intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT, ... Il assure la supervision et l’intégration des données de diverse nature qui proviennent de ces sources multiples et vérifie la qualité des données qui entrent dans le Data Lake (il recette de la donnée, supprime les doublons, ...). Activités et tâches : QUALIFICATION ET GESTION DES DONNÉES : Capte les données (structurées et non structurées) produites dans les différentes applications ou à l’extérieur de l’entité Intègre les éléments Structure la donnée (sémantique, etc.) Cartographie les éléments à disposition Nettoie la donnée (élimination des doublons, ...) Valide la donnée Éventuellement, il crée le référentiel de données Compétences associées Compétences associées : AWS (lambda, EMR, APIGateway, cognito ...) Python PySpark TerraForm Git CI/CD SQL (PostgreSQL) Elasticsearch Snowflake Architecture orienté service /serverless

💼 Poste : Data Engineer GCP 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Lancement d’un projet de construction d’un nouveau socle Data. Un chantier de collecte et de transformations de données est réalisé pour mettre à disposition des visions enrichies du marché, des tendances pour aider la prise de décisions et favoriser les initiatives sur les axes stratégiques majeurs, grâce à une meilleure autonomie dans la consommation de data. Il s’accompagne d’une nouvelle politique et d’une nouvelle organisation de gestion de la donnée pour en assurer l’intégrité, la sécurité et la qualité. Récupérer les données issues de sources externes Utiliser la puissance du Datalake Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. Mise en œuvre de la chaîne : D’ingestion de données, De validation de données, De croisement de données, De déversement dans le datalake des données enrichies Développer dans le respect des règles d’architecture définies Développer et documenter les user stories avec l’assistance du Product Owner. Produire les scripts de déploiement Prioriser les corrections des anomalies Assister les équipes d’exploitation Participer à la mise en œuvre de la chaîne de delivery continue Automatiser les tests fonctionnels 🤝 Expertises spécifiques : Connaissances techniques : Plateforme et environnement GCP (indispensable) Environnement GKE Développement d’API REST Stockage : HDFS / GCS Traitement : Maitrise de l’écosystème Spark / Kafka / Scala Planification : Airflow / Composer Méthodologies : Scrum, Kanban, Git DWH : SQL, BigQuery, BigTable Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build La proactivité, la rigueur, l’autonomie et la capacité d’immersion dans le détail associé à une capacité de prise de recul et un esprit de synthèse/vulgarisation seront des plus appréciable. Aspects Humains : Grande capacité à travailler dans une équipe, en mode Scrum / Kanban. Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail). Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées. A votre disposition pour en parler au besoin,

En tant qu’Ingénieur Data Azure, vous serez responsable de plusieurs aspects cruciaux de nos projets, notamment : -Mise en place d’un pipeline Azure pour garantir l’intégrité et la fluidité des flux de données. -Construction de pipelines de données dans un environnement Synapse, en travaillant avec des pools dédiés SQL ou des pools Apache Spark. -Collaboration étroite avec l’équipe Data Analytics & BI pour la mise en œuvre efficace de la modélisation des données. -Développement de solutions innovantes pour rendre les données accessibles aux applications tierces.