Trouvez votre prochaine offre d’emploi ou de mission Data engineer

Mission de Data Engineer dans les environnements Java Contexte de réalisation d’évolutions d’applications dans un environnement international, en méthodologie agile Réalisations : - Conception et développement des fonctionnalités - Tests et recette - Partage des bonnes pratiques - Esprit d’équipe Télétravail : 2j/semaine

Au sein de la direction Data & Analytics , l’entité Data Platform a pour mission de réaliser les projets Data et de maintenir les patrimoines applicatifs Data du Groupe. Cette prestation s’inscrit au sein de la tribu DATA VIE, dans la squad Restitution Règlementaires qui a en charge la constitution des déclaratifs à destination des organismes de tutelle (DGFIP, CDC, AGIRA). Les principaux déclaratifs concernés sont les suivants : - FICOVIE - EAI / FATCA - IER - ECKERT - AGIRA / RNIPP Les déclaratifs sont constitués à partir de 2 sources : Décisionnel et Plateforme Data en big Data. Cette mission concerne le périmètre Plateforme Data. Missions : - Analyser les spécifications et les besoins des métiers avec les POs et BAs - Designer et développement des traitements en batch et streaming via Spark SQL et Java Spark - Produire de la documentation sous confluence - Assurer le support et la maintenance des produits déjà en production - Participer à l’ensemble des cérémonies de sa Squad - Environnement très riche avec une stack à la pointe de la techno. Compétences : - Maitrise de développement en Java Spark, SQL Spark . - Bonne connaissance du Framework Spring - Bonne connaissance des architectures micro-services, et design des API en Rest - Bonne connaissance des outils en CI/CD - Bonne connaissance de la méthodologie Scrum Environnement technique : distribution bigData Cloudera/MAPR ,Spring boot , Java 11 , Kafka , MongoDB , Jenkins, K8S , ArgoCD , Sonar , et plusieurs autres techno à la pointe. Qualités : - Polyvalence - Rigueur - Relationnel - Réactivité & Esprit analytique et de synthèse

Au sein du département Solutions Engagement Clients de la DDSI et en relation étroite l’Ecosystème Digital et avec le Marketing Digital, vous intégrerez le projet Canaux Digitaux (Organisation Safe). Le périmètre de l’équipe DDA est la donnée des parcours utilisateurs et la données d’usage des produits au travers des dispositifs de l’Ecosystème Digital de la marque. LIVRABLES: Exploitation des données Le fonctionnement en mode SAFe implique des livraisons à fréquences régulières. Dans ce cadre, de nouvelles données sont créées en permanence et nécessitent d’être mises à disposition pour répondre aux besoins de reporting. Les missions sont : Collaborer avec les autres membres de l’équipe sur les données nécessaires à la mesure des features : définition des objectifs / KPI’s Accompagner dans la définition des besoins en tracking Recetter les données lorsque la feature est en phase de test Recetter les données après la mise en production de la feature Préparer et ingérer des données dans Big Query (en Node JS) Mise à disposition des données fiabilisées dans Google Data Studio Participer à l’analyse des données produites, en tirer des enseignements En complément : Veiller au bon fonctionnement de l’ingestion de données quotidiennes, appliquer un correctif si nécessaire Ingérer de nouvelles sources de données nécessaires au monitoring global des KPI’s du train Gérer et optimiser Les notions d’analyse et d’amélioration sont centrales pour accompagner le développement, ainsi il est aussi demandé de : Participer à l’analyse des données issues des monitoring afin d’en tirer des enseignements Participer à l’amélioration continue (dans les tracking, les process ou le fonctionnement de l’équipe)

Le profil interviendra au sein de la direction informatique Client, dans le service Data. Il intégrera une Squad Data en charge d’un périmètre fonctionnel. Au cours de sa mission, le consultant : - Participera aux rituels agiles de l’équipe, - Analysera les besoins des utilisateurs et proposera des solutions innovantes et en phase avec les drivers de l’entreprises, - Développera les solutions data (Alimentation, stockage, modélisation, restitution), - Validera la qualité des développements de son équipe, - Améliorera et optimisera le patrimoine actuel de son équipe, - Maintiendra les solutions existantes (Run), - Contribuera à la construction du nouveau socle et des services sur la plateforme Google Cloud, - Accompagnera et acculturera les métiers sur les bonnes pratiques de l’exploitation de la Data Mission long terme (3 ans)

Au cours de sa mission, le consultant : - Participera aux rituels agiles de l’équipe, - Analysera les besoins des utilisateurs et proposera des solutions innovantes et en phase avec les drivers de l’entreprises, - Développera les solutions data (Alimentation, stockage, modélisation, restitution), - Validera la qualité des développements de son équipe, - Améliorera et optimisera le patrimoine actuel de son équipe, - Maintiendra les solutions existantes (Run), - Contribuera à la construction du nouveau socle et des services sur la plateforme Google Cloud, - Accompagnera et acculturera les métiers sur les bonnes pratiques de l’exploitation de la Data

DATA ENGINEER Frank Recrutement Group, cabinet de niche en recrutement depuis 2006, spécialisé dans les métiers du digital et de l’IT, recherche activement un Data Engineer. Ce dernier rejoindra l’équipe de la DATA Intelligence de notre client afin d’exploiter et d’analyser l’ensemble des données clients. Ce dernier est doté d’une forte expertise métier par industrie, qui se traduit en solutions intégrées et innovantes : Data, IA, Blockchain , IOT, Cloud…lui permettant ainsi d’accompagner ses clients dans la définition et la mise en œuvre de leur transformation digitale, de bout en bout. Missions : Contribuer à l’organisation de certains évènements internes autour de l’innovation. Assurer une veille technologique et promouvoir les nouveaux concepts Transformation des données en intelligence métier Réaliser avec les experts métiers les analyses nécessaires à la bonne compréhension des cas d’usage. Participer à la mise en place de plateforme de données principalement dans les environnements Cloud S’impliquer dans des chantiers internes de transformation Contribuer à la mise en œuvre des projets en apportant ses capacités de pilotage et son expertise sur la phase de modélisation et de déploiement Profil requis : De formation supérieure (de type BAC+5 en informatique, École d’Ingénieur ou équivalent universitaire Master) vous bénéficiez déjà de solides connaissances techniques (3 à 5 ans) dans un des domaines cités : Big Data / Data engineerie particulièrement en environnement Cloud (Azure, AWS, GCP, IBM Cloud…) Analyse prédictive / Machine Learning/ Deep Learning, Computer vision La connaissance de la méthode Agile et du Design Thinking est souhaitable Passionné(e) de data, vous proposez des améliorations et partagez avec votre équipe Vous êtes curieux(se), avec un bon esprit d’analyse et de synthèse You’re fluent in English ! Vous disposez des compétences techniques suivantes : Connaissances des outils Big data : Spark, Kubeflow, Hadoop, Kafka, Elastic, Kibana, etc. Langage de développement : Scala, Python, C#, JS et GO. Architectures Big Data : Résilience, architecture Kappa et lambda, couplage. Infos complémentaires : Localisation : Le groupe possède plusieurs pôle en France, notamment à Noisy, Lyon, Strasbourg, Belfort et Toulouse Poste à pourvoir uniquement en CDI

L’équipe pour laquelle nous recrutons développe des outils qui simplifient le développement et le déploiement des différents projets data dans l’écosystème AWS et CommonDataHub, le data Lake interne du groupe. Cette équipe participe également au développement de Data use cases. Les activités couvrent: Collecte de données Ingestion de données (structurées et non structurées) dans le datalake Traitement et transformation des données selon les use cases (historisation, analytique, data science, ) Exposition de données Optimisation des performances et des coûts. L’équipe apporte également de l’expertise et du tooling auprès des utilisateurs business et IT sur les problématique Big Data Livrables spécifiques : Etat de suivi des demandes (en cours, traitée, en attente ) Tableau de bord de suivi des corrections d’anomalies Développements informatiques (correctif, évolutif, adaptatif) Code source (composants applicatifs et tests unitaires)

Beaucoup de DataPrep / construction de Dataset (85-90 ) qui sache faire un peu de python et de construction de pipeline de données mais ça reste très à la marge (10-15 ) Il faut qu’il ait une certaine maitrise d’outils BI/Dataviz Outillage : GCP / BigQuery / DataStudio (Peut-être Tableau et/ou MicroStrategy)

Nous sommes donc à la recherche d’un data engineer : Responsabilités: Diriger une équipe de data engineers talentueux pour concevoir, développer et déployer des pipelines de données scalables et performants Travailler en étroite collaboration avec les équipes d’ingénierie, de données et d’analyse pour concevoir et mettre en œuvre des solutions de données adaptées aux besoins de l’entreprise Gérer et surveiller les performances de l’équipe de data engineering, en veillant à ce que les projets soient livrés à temps et à la qualité requise Collaborer avec les équipes de leadership technique pour établir la vision et la stratégie de l’entreprise en matière de données Identifier les opportunités d’amélioration des processus et des technologies de données pour améliorer l’efficacité et la qualité des données Établir des normes de qualité pour les pipelines de données et les processus de validation des données pour assurer la qualité des données de l’entreprise Exigences: Au moins un de cette liste est requis : Connaissances des outils Big data : Spark, Kubeflow, Hadoop, Kafka, Elastic, Kibana, etc. Langage de développement : Scala, Python, C#, JS et GO. Architectures Big Data : Résilience, architecture Kappa et lambda, couplage. De formation supérieure (de type BAC+5 en informatique, École d’Ingénieur ou équivalent universitaire Master) vous bénéficiez déjà de solides connaissances techniques (3 à 5 ans) dans un des domaines cités : Big Data / Data engineerie particulièrement en environnement Cloud (Azure, AWS, GCP, IBM Cloud…) Analyse prédictive / Machine Learning/ Deep Learning, Computer vision La connaissance de la méthode Agile et du Design Thinking est souhaitable Passionné(e) de data, vous proposez des améliorations et partagez avec votre équipe Vous êtes curieux(se), avec un bon esprit d’analyse et de synthèse You’re fluent in English ! Infos complémentaires : Localisation : Le groupe possède plusieurs pôle en France, notamment en Ile de France, Lyon, Strasbourg, Belfort et Toulouse Poste à pourvoir uniquement en CDI N’hésiter pas à envoyer votre CV Bonne journée

DATA ENGINEER Frank Recrutement Group, cabinet de niche en recrutement depuis 2006, spécialisé dans les métiers du digital et de l’IT, recherche activement un Data Engineer. Ce dernier rejoindra l’équipe de la DATA Intelligence de notre client afin d’exploiter et d’analyser l’ensemble des données clients. Ce dernier est doté d’une forte expertise métier par industrie, qui se traduit en solutions intégrées et innovantes : Data, IA, Blockchain , IOT, Cloud?lui permettant ainsi d’accompagner ses clients dans la définition et la mise en ?uvre de leur transformation digitale, de bout en bout. Missions : Contribuer à l’organisation de certains évènements internes autour de l’innovation. Assurer une veille technologique et promouvoir les nouveaux concepts Transformation des données en intelligence métier Réaliser avec les experts métiers les analyses nécessaires à la bonne compréhension des cas d’usage. Participer à la mise en place de plateforme de données principalement dans les environnements Cloud S’impliquer dans des chantiers internes de transformation Contribuer à la mise en ?uvre des projets en apportant ses capacités de pilotage et son expertise sur la phase de modélisation et de déploiement Profil requis : De formation supérieure (de type BAC+5 en informatique, École d’Ingénieur ou équivalent universitaire Master) vous bénéficiez déjà de solides connaissances techniques (3 à 5 ans) dans un des domaines cités : Big Data / Data engineerie particulièrement en environnement Cloud (Azure, AWS, GCP, IBM Cloud?) Analyse prédictive / Machine Learning/ Deep Learning, Computer vision La connaissance de la méthode Agile et du Design Thinking est souhaitable Passionné(e) de data, vous proposez des améliorations et partagez avec votre équipe Vous êtes curieux(se), avec un bon esprit d’analyse et de synthèse You’re fluent in English ! Vous disposez des compétences techniques suivantes : Connaissances des outils Big data : Spark, Kubeflow, Hadoop, Kafka, Elastic, Kibana, etc. Langage de développement : Scala, Python, C#, JS et GO. Architectures Big Data : Résilience, architecture Kappa et lambda, couplage. Infos complémentaires : Localisation : Le groupe possède plusieurs pôle en France, notamment à Noisy, Lyon, Strasbourg, Belfort et Toulouse Poste à pourvoir uniquement en CDI

Nous sommes donc à la recherche d’un data engineer : Responsabilités: Diriger une équipe de data engineers talentueux pour concevoir, développer et déployer des pipelines de données scalables et performants Travailler en étroite collaboration avec les équipes d’ingénierie, de données et d’analyse pour concevoir et mettre en ?uvre des solutions de données adaptées aux besoins de l’entreprise Gérer et surveiller les performances de l’équipe de data engineering, en veillant à ce que les projets soient livrés à temps et à la qualité requise Collaborer avec les équipes de leadership technique pour établir la vision et la stratégie de l’entreprise en matière de données Identifier les opportunités d’amélioration des processus et des technologies de données pour améliorer l’efficacité et la qualité des données Établir des normes de qualité pour les pipelines de données et les processus de validation des données pour assurer la qualité des données de l’entreprise Exigences: Au moins un de cette liste est requis : Connaissances des outils Big data : Spark, Kubeflow, Hadoop, Kafka, Elastic, Kibana, etc. Langage de développement : Scala, Python, C#, JS et GO. Architectures Big Data : Résilience, architecture Kappa et lambda, couplage. De formation supérieure (de type BAC+5 en informatique, École d’Ingénieur ou équivalent universitaire Master) vous bénéficiez déjà de solides connaissances techniques (3 à 5 ans) dans un des domaines cités : Big Data / Data engineerie particulièrement en environnement Cloud (Azure, AWS, GCP, IBM Cloud?) Analyse prédictive / Machine Learning/ Deep Learning, Computer vision La connaissance de la méthode Agile et du Design Thinking est souhaitable Passionné(e) de data, vous proposez des améliorations et partagez avec votre équipe Vous êtes curieux(se), avec un bon esprit d’analyse et de synthèse You’re fluent in English ! Infos complémentaires : Localisation : Le groupe possède plusieurs pôle en France, notamment en Ile de France, Lyon, Strasbourg, Belfort et Toulouse Poste à pourvoir uniquement en CDI N’hésiter pas à envoyer votre CV Bonne journée

Pour accompagner notre client, un acteur majeur du retail, notre équipe Anywr freelance recherche actuellement un Data Engineer (F/H) freelance. Au sein d’un grand groupe à l’écoute des freelances et qui connait leurs problématiques, vous intégrerez une équipe à taille humaine, où la méthodologie Agile est de rigueur. Si vous êtes à la recherche d’une mission longue à dimension internationale, avec 2 jours de télétravail minimum et des locaux faciles d’accès en transport en commun vous êtes au bon endroit. Le profil interviendra au sein de la direction informatique côté France, dans le service Data Analytics. Il intégrera une Squad Data en charge d’un périmètre fonctionnel. Au cours de sa mission, le consultant : - Participera aux rituels agiles de l’équipe, - Analysera les besoins des utilisateurs et proposera des solutions innovantes et en phase avec les drivers de l’entreprises, - Développera les solutions data (Alimentation, stockage, modélisation, restitution), - Validera la qualité des développements de son équipe, - Améliorera et optimisera le patrimoine actuel de son équipe, - Maintiendra les solutions existantes (Run), - Contribuera à la construction du nouveau socle et des services sur la plateforme Google Cloud, - Accompagnera et acculturera les métiers sur les bonnes pratiques de l’exploitation de la Data

En tant que consultant Ingénieur Data au sein de la Cellule Qualité du Fixe (CQF), vous serez en charge de : 1. L’exploitation de la plateforme Big Data de monitoring Wifi des Box : A ce titre vous aurez la charge : 2. Du monitoring des principaux KPI du système et la mise en œuvre des nouveaux KPI 3. Des investigations lors d’incident : Vous déclencherez et piloterez le fournisseur et / ou les autres entités qui contribuant à son bon fonctionnement. 4. Vous serez le garant de mise à disposition des données issues du cluster HDFS. Vous aurez des scripts Scala / Spark à développer pour toute évolution à la demande de l’équipe Datascience ou en fonction des évolutions du système. 5. Vous assurez la mise en œuvre des politiques de sécurités et de sauvegarde, et appliquer tout patch ou correctif nécessaire à cette intégrité. 6. Du pilotage des fournisseurs externes et internes pour les évolutions de la plateforme, que ces évolutions portent sur le hardware, les applicatifs, ou l’architecture réseau. 7. La data ingénierie et l’exploitation de la plateforme Data en architecture de type microservices, basée sur Kubernetes et OpenShift. Vos tâches seront de : Assurer la supervision et débogage du système via Openshift S’assurer du bon fonctionnement des applicatifs (Spark, MinIo, Jhub, MySQL, Airflow) Contrôler les volumes et consommations Hardware de la plateforme Débugger les pods en cas d’erreur Assurer l’écriture des graphes Helm pour les déploiements applicatifs Ecriture de charts Helm pour le déploiement de nouveaux applicatifs Tester les nouveaux graphes sur la plateforme de test Déployer et patcher les applicatifs déjà existants avec Helm Assurer la pérennité de la plateforme en gérant efficacement les images et graphes via GitLab Assurer la gestion des utilisateurs et des règles de gestion du Datalake Gestion des buckets et utilisateurs Création de points de stockage et des règles de gestion associées Création de scripts pour le stockage de Parquets Assurer le fonctionnement du déploiement continu avec GitLab Administration des images de production Gitlab et DockerHub

Bonjour, Pour le compte de notre client nous recherchons, un data engineer Spark / Scala (Cloud est un +). Mission : Dans le cadre de cette prestation, il est notamment demandé de réaliser les livrables décrits ci_dessous. S’agissant d’un projet mené en agilité, le découpage des livrables est réalisé par sprints. Le contenu de chaque sprint est identique, seul le détail des US (User Stories) change. A noter que ces livrables sont réalisés par l’équipe projet, il n’y a pas de responsabilité de production individuelle. Les sprints projet s’échelonnent généralement sur 2 semaines. Sur la base des 3 mois de prestation, il y aurait donc 6 sprints. Livrables n 1 : Sprint n 1 + Lot 1 : développement des US et tests associés ; + Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation ; + Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; + Lot 4 : Mise en place du monitoring ; + Indispensables : maîtrise de l’API Scala Spark (batch principalement), maîtrise des techniques d’optimisation Spark, expérience dans le traitement de volumétries importantes / complexes, développement et bonnes pratiques Scala, build Maven, travail en environnement cloud (idéalement Azure) + Appréciées : écosystème Databricks, développement d’API HTTP, expérience sur la stack ELK Compétences transverses + Aisance relationnelle + Esprit d’équipe et d’adaptabilité + Esprit de synthèse + Rigueur et esprit d’analyse + Autonomie + Force de proposition + Vous avez le sens des priorités et la capacité à gérer les délais + Vous aimez le travail en mode multi-projets + Appétence client, besoin métier et compréhension du fonctionnel + Mentoring et partage de connaissances Expériences et formations Bac+3 à Bac+5 en informatique. Un bon niveau d’anglais technique est demandé. Expérience solide de 5 ans minimum en tant que Data Engineer dans le domaine recherché. télétravail, avec de déplacements possibles. TT : 3 J /semaine Ca vous tente ? Postulez ! A très vite ! Team UCASE ;)

Frank Recrutement Group, cabinet de niche en recrutement depuis 2006, spécialisé dans les métiers du digital et de l’IT, recherche activement un(e) Développeur(se) Data, qui rejoindra l’équipe de la DATA Intelligence de notre client afin d’exploiter et d’analyser l’ensemble des données clients. Dans le cadre de leur croissance, notre client est à la recherche d’un(e) Développeur-(se) Data /Data Engineer - H/F. Vous participez à la mise en place de solutions Data pour centraliser les données des clients et garantir leur qualité et leur exploitation. Détail des missions : Implémenter et mettre en place des traitements de données dans leur intégralité (data pipeline) : Collecte et ingestion de flux de données Modélisation et nettoyage Traitement et transformation de la donnée collectée, Contrôle de qualité / pertinence et détection des anomalies Restitution des données sous divers formats Industrialiser et déployer des pipelines de traitement On Premise et dans le Cloud (AWS, Azure) ; Veiller à la gouvernance des données et mise en place de process MDM : Rapprochement de données de différentes sources non homogènes Dédoublonnage, Normalisation, Historisation Calcul d’indicateurs et d’agrégats Ordonnancer et planifier des traitements dans les environnements de production ; Participer à l’évolution de la stack technique et au choix des outils (Framework interne, technologies BigData, Cloud,...) ; Participer à la veille technologique et s’informer en permanence des nouveautés dans le domaine ; Collaborer avec une équipe de DevOps pour la mise en place des outils BigData et assurer la sécurité des données ; Optimiser les traitements, revues de code ; Environnement technique Technologies et langages : SQL/T-SQL, Hadoop, Spark, Scala, Python (PySpark), Hue, Zeppelin, Suite MS BI (SQL Server, SSIS, SSRS), PowerShell, Shell Unix, AWS (S3, Glue), Docker/Kubernetes, Frameworks maison , Power BI, tableau software. Organisation et agilité : Gitlab, Scrum/Jira Profil recherché Vous justifiez d’une expérience professionnelle de 2 ans minimum dans la data et avez déjà travaillé sur un environnement Bigdata avec Spark et Hadoop ; Vous êtes à l’aise avec dans des environnements algorithmiques complexes ; Vous êtes autonome, rigoureux, force de proposition vous avez un bon relationnel ; Vous êtes passionné par la data ; Vous êtes diplômé(e)s d’une école d’informatique ; Vous avez développé une appétence à la compréhension fonctionnelle ; Des connaissances Cloud (AWS, Azure) seraient un plus.

Frank Recrutement Group, cabinet de niche en recrutement depuis 2006, spécialisé dans les métiers du digital et de l’IT, recherche activement un(e) Développeur(se) Data, qui rejoindra l’équipe de la DATA Intelligence de notre client afin d’exploiter et d’analyser l’ensemble des données clients. Dans le cadre de leur croissance, notre client est à la recherche d’un(e) Développeur-(se) Data /Data Engineer - H/F. Vous participez à la mise en place de solutions Data pour centraliser les données des clients et garantir leur qualité et leur exploitation. Détail des missions : Implémenter et mettre en place des traitements de données dans leur intégralité (data pipeline) : Collecte et ingestion de flux de données Modélisation et nettoyage Traitement et transformation de la donnée collectée, Contrôle de qualité / pertinence et détection des anomalies Restitution des données sous divers formats Industrialiser et déployer des pipelines de traitement On Premise et dans le Cloud (AWS, Azure) ; Veiller à la gouvernance des données et mise en place de process MDM : Rapprochement de données de différentes sources non homogènes Dédoublonnage, Normalisation, Historisation Calcul d’indicateurs et d’agrégats Ordonnancer et planifier des traitements dans les environnements de production ; Participer à l’évolution de la stack technique et au choix des outils (Framework interne, technologies BigData, Cloud,...) ; Participer à la veille technologique et s’informer en permanence des nouveautés dans le domaine ; Collaborer avec une équipe de DevOps pour la mise en place des outils BigData et assurer la sécurité des données ; Optimiser les traitements, revues de code ; Environnement technique Technologies et langages : SQL/T-SQL, Hadoop, Spark, Scala, Python (PySpark), Hue, Zeppelin, Suite MS BI (SQL Server, SSIS, SSRS), PowerShell, Shell Unix, AWS (S3, Glue), Docker/Kubernetes, Frameworks maison , Power BI, tableau software. Organisation et agilité : Gitlab, Scrum/Jira Profil recherché Vous justifiez d’une expérience professionnelle de 2 ans minimum dans la data et avez déjà travaillé sur un environnement Bigdata avec Spark et Hadoop ; Vous êtes à l’aise avec dans des environnements algorithmiques complexes ; Vous êtes autonome, rigoureux, force de proposition vous avez un bon relationnel ; Vous êtes passionné par la data ; Vous êtes diplômé(e)s d’une école d’informatique ; Vous avez développé une appétence à la compréhension fonctionnelle ; Des connaissances Cloud (AWS, Azure) seraient un plus.