Trouvez votre prochaine offre d’emploi ou de mission freelance Data engineer à Paris

En tant que Data Engineer, vous travaillerez en direct avec le Team Lead, les business analystes et le PO. Vous aurez à cœur de comprendre le business model. Les projets à adresser visent le développement et maintenance de modules de gestion des données de consommation (intégration, transformation et exposition), de contrats, et leur représentation à travers différentes interfaces. Vous interviendrez aussi bien sur de l'analyse de besoin, design, développement, support, maintenance corrective et évolutive. Vous travaillerez dans une équipe auto-organisée en mode agile avec un Product Owner et 3 BA (Business analystes). Les activités de cette équipe couvrent l'analyse, le développement, les tests, le déploiement et le support. Vos activités principales seront : · La montée en compétence sur les process, produits et applications existantes · La compréhension du business et la réalisation de développements en pair avec un responsable fonctionnel · L’analyse et spécifications des besoins et algorithmes · Implémenter les corrections et évolutions en couvrant tous les aspect conception, codage, sécurité, gestion des erreurs, évolutivité, scalabilité, revues de code, testing, intégration continue, ...- · Fournir des services aux utilisateurs avec le plus haut niveau de satisfaction. · Fournir des estimations de charge et délais · Soutenir l'amélioration continue des services. Identifier les goulots d'étranglement et les bugs et définir des solutions à ces problèmes · Rédiger et mettre à jour les documentations · Proposer des solutions innovantes répondant aux problématiques fonctionnelles et techniques. · Travailler en étroite collaboration avec les BA, les utilisateurs, architectes et autres équipes de développement. · Fournir une communication efficace et opportune aux différentes équipes concernées

Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : - Conception détaillée, fonctionnelle et technique. - Développements SPARK / SCALA - Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. - Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. - Packaging et déploiement en pre-production et production. - Optimisation des traitements afin de garantir la qualité de service standards du DWG. - Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. - Mise en service et accompagnement au déploiement. - Suivi des environnements. Le consultant devra travailler en étroite collaboration avec le Chef de Projet, responsable du lot et l'équipe de développement du Programme. Une connaissance d'Oracle est nécessaire Une expérience >5 ans sur des technologies SPARK & SCALA est nécessaire Une connaissance de contexte technologique similaire est un plus

Notre client, un groupe bancaire, recherche un consultant techino-fonctionnel, Data engineer risque de crédit (H/F). Renforcement de l'équipe pour le projet Surveillance Crédit, axé sur la production de POC, l'analyse métier, et le développement de solutions tactiques. Tâches et activités de la mission - Contribution à la production de POC (Proof of Concept). - Réalisation d'analyses métier spécifiques au risque de crédit. - Développement de solutions tactiques pour la gestion et l'analyse de données. Livrables - POCs fonctionnels pour nouvelles initiatives. - Rapports d'analyses métier détaillés. - Solutions tactiques développées et implémentées.

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs : un Data Engineer Expérimenté (H/F) – Paris Mission à pourvoir en régie sur Paris Présence sur site : 3 jours / semaine Compétences obligatoires : Python ; AWS ; PySpark ; Airflow ; Github ; anglais courant Votre mission : - Apporter une expertise sur la constitution des datasets et KPIs - Accompagner l’équipe sur les meilleurs choix techniques - Assurer la qualité des traitements et des données - Comprendre un modèle de données et s’en servir - Maitriser et contrôler la qualité de code - Mettre en place des indicateurs de mesure de qualité sur chaque développement REF : EFP/GMCPP/ODVB Plus d’offres sur :

Nous recherchons pour l'un de nos clients, une entreprise du CAC 40, un(e) Data Engineer senior pour intégrer une mission longue de 3 ans. Le rôle du Data Engineer senior dans ce projet impliquera la conception et la mise en œuvre des composants de plateforme suivants : • Ingestion de données • Traitement et normalisation des données. • Distribuer les données aux différentes parties prenantes. • Construire et améliorer un cadre commun comprenant la surveillance, le CI/CD, les tests, les performances, la résilience, les pratiques de développement et la qualité du code…

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un.e Consultant(e) Data Engineer Senior (H/F). 2 Data Engineers Seniors Expérience : Entre 8 et 15 ans Localisation : Noisy le Grand Démarrage : 01/06/2024 Contexte de la mission : - Développer de nouvelles fonctionnalités et corriger les anomalies sur l'application hébergée par la plateforme data groupe : - Respecter la qualité attendue par le Client - Utiliser les technologies autorisées par le Client - Participer activement aux cérémonies agile organisées par la Squad : - Daily meeting - Sprint planning - Sprint review (démonstration du développement réalisé) - Sprint rétrospective Livrables attendus : - Code développé dans le respect du cadre contractuel et de la qualité attendue - Compte-rendu d'activité mensuel Compétences demandées : Techniques : - Développement Scala/Spark - Maîtrise de l'environnement technique (AWS Databricks, AWS S3) - Expériences sur la qualité logicielle (revue de code, conformité aux critères de qualité SONAR, tests automatisés) - Connaissance de Power BI (Azure) est un plus Fonctionnelles : - Méthode Agile - Expérience sur des projets de technologies similaires - Connaissance du domaine Data - Expérience de travail sur des projets en équipe, avec la capacité de solliciter son écosystème au bon moment Profil recherché : Nous recherchons des professionnels autonomes, méthodiques et rigoureux avec une bonne aptitude relationnelle. Les candidats doivent savoir s'organiser, anticiper, prioriser et respecter les délais. Ils doivent également avoir une capacité d'analyse, de propositions et de conseils, tout en prenant des initiatives et en étant capables d'identifier les difficultés pour remonter les bonnes alertes.

Notre client, société en pleine croissance, spécialisé dans le domaine de la Big Data, recherche des Consultants Data Engineer ! Participez à cette aventure et rejoignez une formidable équipe. Vos missions principales seront diversifiées, comprenant notamment : - Participation aux processus d'avant-vente : Vous contribuerez à l'élaboration des propositions techniques, mettant en avant votre expertise pour répondre aux besoins des clients. - Qualification technique des prestataires : Vous participerez activement à l'évaluation et à la sélection des prestataires, garantissant un partenariat de qualité. - Direction et coordination des projets : Vous dirigerez et coordonnerez la conception et la mise en oeuvre des projets, assurant leur réussite technique. - Documentation technique : Vous élaborerez, au besoin, des dossiers d'architecture, d'installation et d'exploitation, assurant une traçabilité et une compréhension optimale des solutions mises en place. - Participation active aux développements : Vous apporterez votre expertise en contribuant directement aux développements dans le cadre des projets. De manière plus étendue, vous aurez l'opportunité de : - Enrichir les bonnes pratiques : Vous contribuerez à l'évolution et à l'amélioration des bonnes pratiques d'architecture et de développement dans le domaine du Big Data. - Veille technologique : Vous réaliserez une veille constante sur les avancées technologiques du secteur, assurant ainsi la pertinence des solutions proposées. - Formation technique : Vous élaborerez des supports de formation technique pour nos clients et/ou nos consultants juniors, partageant ainsi votre savoir-faire. - Animation du pôle technique : Vous participerez activement à l'animation du pôle technique favorisant un environnement collaboratif et innovant.

La prestation consiste à contribuer à/au(x) :  Cadrage analyse des besoibs et chiffrage des projets BI (et validation) et assistance et expertise dans la mise en plave de la stratégie et solution technique.  L'assistance et l'expertise sur l’architecture BI tant sur des aspect CUBE que Power BI  La conduite du changement dans la mise en œuvre et l’uniformisation des pratiques en terme de BI  La définition des normes et standards de qualité édictés (qualité de code, sécurité, performance, build automatique, analytics)  La définition du bon niveau de la documentation technique et mise à jour associée  Diverses étapes de développements notamment sur les développements complexes : chiffrage, conception et developpement, spécifications techniques, mise en place, tests, déploiement, revue de code  L'analyse des besoins BI avec les métiers Les livrables attendus sont : Specification des données nécessaires Mise en place de la pipeline nécessaire dashboard Power BI développés et optimisées Assistance aux utilisateurs dans la prise en main du dashbaord

Notre client, entité bancaire recherche un Ingénieur Data (H/F), démontrant un vif intérêt pour les technologies de pointe, en particulier Singlestore. La mission concerne : - La mise en place, collecte et mise à disposition des données au sein de l’entreprise - L'industrialisation et la mise en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent. Activités principales : - Acheminement de la donnée - Mise à disposition de la donnée aux équipes utilisatrices - Mise en production de modèles statistiques - Suivi de projet de développement - Développement job spark - Traitement et ingestion de plusieurs formats des données - Développement des scripts - Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données - Développement des moyens de restitution via génération de fichier et ou API & Dashboarding - Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers - Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) - Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP - Participer à la conception, mise en place et administration de solutions Big Data - Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka - Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

Notre école recherche activement pour le compte de l'un de ses clients un grand groupe, plusieurs Data Engineer / Data Analyst / Data Scientist en alternance pour une durée de 15 ou 24 mois dans le but de suivre en parallèle une formation en Master DATA Engineer Attention: Partenariat exclusif avec notre école Missions : Effectuer l’intégration et la construction des offres Data & IA ; Accompagner l’équipe dans la construction, la structuration et l’intégration des offres Data & IA ; Automatiser et industrialiser des solutions ; Intégrer les offres de solutions de monitoring, alerting, restriction de droits ; Effectuer la veille technologique autour de la Data, l’IA, POC, tests de performances et comparaisons de solutions.

Data Engineer confirmé ayant une expérience de 3 à 5 ans sur des projets de tranformation de données dans un environnement cloud. Le candidat sera responsable de migrer des flux ETL développés sur Informatica vers Databricks. Une connaissance d'informatica et AWS est très appréciée. Le candidat doit maitriser le langage SQL et Python et avoir une bonne culture Data des best practices en terme de nettoyage, de transformation et modélisation de données Une certification sur Databricks est également fortement appréciée

Ingestion des données sources via NIFI dans des tables de travail Cassandra ou en parquet sur AWS S3 Développement des Traitements Spark/Scala en lots des données sources ingérées Traitement au quotidien des nouvelles données clients (ajout nouveaux clients Enrichissement au quotidien des données des clients avec des fichiers de scoring et de segmentation (fournis par un autre projet) Traitement toutes les 8 heures des nouvelles ventes avec notamment la mise à jour des ventes auditées ainsi que l’enrichissement des ventes avec les données des clients Ingestion toutes les 8 heures des données des ventes dans Druid Ajout et mise à jour des nouveaux produits des marques avec leur description, leur taille, leurs stocks …. Traitement en temps réel via Kafka/Spark des données sources fournies par les marques dans les topics dédiés : Enrichissement des données des produits des différentes marques en temps réel avec les informations des stocks, des prix Mise à jour temps réel des données des ventes Mise à jour temps réel des données clients Mise à jour des commandes clients Anonymisation des informations clients (RGPD) Mise à jour des stocks disponibles en magasin Exposition des informations des produits en transit (magasin d’origine, magasin destination) afin que les utilisateurs de Luce puissent estimer leurs dates de livraison Traitement et Stockage des données dans Apache Solr et Cassandra Exposition des données traitées dans une API nodejs à travers Cassandra et Solr Ingestion des données des ventes et commandes sur Apache Druid via NIFI Mise en place de tests automatiques afin d’éviter les régressions suite aux nouvelles évolutions Développement de tests unitaires avant déploiement Garantie de la cohérence des données Planification des heures de lancement des différents traitements afin d’éviter d’avoir des données corrompues Déploiement des différents traitements Spark via Jenkins/Livy dans les environnements dédiés Monitoring des Jobs Spark via Yarn et Spark UI avec un système d’alerting via Slack en cas de problème durant les traitements Mise en place de logs qui seront ensuite déposés dans ElasticSearch afin de faciliter la résolution et la recherche des bugs Optimisation des différents traitements Data (optimisation du code Spark, des traitements NIFI) Migration de tous nos workflows NIFI, traitements de données en lots/ temps réel Spark sur Amazon AWS Migration de l’api ainsi que des tables et collections utilisées dans Cassandra Environnement sur AWS Ordonnancement des tâches via Airflow/Python, gestion des différentes dépendances entre les traitements Mise à jour d’une librairie Airflow pour le lancement de nos Jobs Sparks ainsi que le monitoring (vérification des statuts des traitements). Mise en place des capteurs (sensors) nécessaires pour le suivi des statuts des traitements Mise à jour d’une librairie générique Spark pour les jobs d’ingestion via parquet/csv/json

Je cherche à parler à des ingénieurs DevOps ayant une expérience Data pour travailler sur un projet pendant 12 mois à Paris (Centre). Ce rôle est fortement axé sur Python (scripts, automatisation) et les pipelines de données. Il existe également Cloud AWS, donc une expérience avec les services AWS (EC2, S3, Lambda, etc.) est un atout important pour ce poste. - Ingénieur de données DevOps - Paris Centre - Durée de 12 Mois - Date de début : Mai - TJM: 500-650EUR Le Role: - Développer des scripts pour automatiser les tâches de données - Travailler sur les pipelines de données pour garantir la qualité et la fiabilité des données - Effectuer une analyse des systèmes de données existants et fournir des solutions pour augmenter les performances et la disponibilité - Aider à la conception et à l’architecture des systèmes de données garantissant l’évolutivité et la résilience Profil idéal : - Expérience avérée en tant qu’ingénieur de données avec un fort accent sur la fiabilité des données - Solide compréhension des principes d’ingénierie des données, des technologies de traitement des données et des principes ETL - Maîtrise des scripts Python, SQL et Shell - Familiarité avec Spark et Kafka - Anglais courant

En tant que Data Engineer, vous intégrerez une feature team pour participer aux différents projets de développement. Pour cela vous aurez en charge : · Compréhension des besoins métiers · Conception des solutions nécessitant l’utilisation de technologies cloud & data pour répondre aux besoins métier · Déploiement, optimisation et industrialisation au quotidien des pipelines de données dans le Cloud · Travaille avec différents profils data du groupe (Data Scientist, data engineer, data architect, data analyst) · Assurer le monitoring des modèles en production · Contribuer au développement et à l’amélioration continue des outils data interne

2.1 Le contexte Pour accroître sa compétitivité et poursuivre son développement dans les meilleures conditions, GEMS IS investit de manière significative dans son système d’information. Au sein de l’équipe Digital & Data Accelerator nous développons des outils et applications et accompagnons l’ensemble des équipes dans leur digitalisation, notamment au travers de Dataiku & Amazon Web Services. 2.2 Objet du service Le service sera réalisé au sein de l’équipe Digital & Data Accelerator située à Bruxelles ou à Paris (avec des déplacements réguliers à Bruxelles). 2.3 Activités Les activités principales sont : - Administration de la plateforme Dataiku - Développement de plugins Dataiku (en python) - Mentorat de nos utilisateurs (Data Analyst, Data Engineers, Data Scientists) sur la plateforme Dataiku - Support de niveau 1 sur la plateforme Dataiku Activités secondaires : - Implémentation de cas d’utilisation de données à travers Dataiku

Bonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. Mission : Livrables n 1 : Sprint n 1 + Lot 1 : développement des US et tests associés ; + Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation ; + Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; + Lot 4 : Mise en place du monitoring ; LE PROFIL RECHERCHE Compétences métiers & outils : Les compétences technologiques attendues sont : + Indispensables : maîtrise de l’API Scala Spark (batch principalement), maîtrise des techniques d’optimisation Spark, expérience dans le traitement de volumétries importantes / complexes, développement et bonnes pratiques Scala, build Maven, travail en environnement cloud (idéalement Azure) + Appréciées : écosystème Databricks, développement d’API HTTP, expérience sur la stack ELK Compétences transverses + Aisance relationnelle + Esprit d’équipe et d’adaptabilité + Esprit de synthèse + Rigueur et esprit d’analyse + Autonomie + Force de proposition + Vous avez le sens des priorités et la capacité à gérer les délais + Vous aimez le travail en mode multi-projets + Appétence client, besoin métier et compréhension du fonctionnel + Mentoring et partage de connaissances