Trouvez votre prochaine offre d’emploi ou de mission freelance Data engineer à Paris

Nous sommes à la recherche d’un(e) Data Engineer passionné(e) à Paris. En tant que Data Engineer, vous jouerez un rôle crucial dans l’architecture, le développement et la mise en œuvre de solutions techniques pour répondre aux besoins en données de notre entreprise. Vous travaillerez en étroite collaboration avec notre équipe technique, les chefs de projet et les stakeholders métier pour assurer le succès de nos projets data. Responsabilités : -Collaborer étroitement avec l’équipe technique, les architectes et les développeurs pour concevoir et mettre en œuvre des solutions data efficaces. -Participer activement à l’architecture globale des systèmes data en collaboration avec les autres membres de l’équipe. -Développer et tester les solutions techniques en suivant les principes du TDD (Test-Driven Development) dans un environnement Agile. -Assurer la revue de code et le suivi des bonnes pratiques de développement. -Contribuer à l’industrialisation des développements et des tests en utilisant des technologies open source. -Rédiger des documents techniques détaillés pour assurer la traçabilité des livrables. -Compétences techniques requises : -Minimum 3 ans d’expérience professionnelle dans un poste similaire. -Maîtrise des technologies telles que Apache NiFi, Scala, Spark, Hadoop (Big Data), Hive, Kafka, et REST. -Expérience pratique de la mise en œuvre de la Continuous Integration. -Capacité à évoluer dans un environnement anglophone.

Profil Data Engineer AWS pour un projet Unified Data Plateforme qui vise à basculer de Azure à AWS Start Q2 basé à Paris. Projet de migration de Azure sur AWS

Analyse des Exigences : Collaborer avec les équipes métier pour comprendre les besoins en matière d'analyse de données et de traitement. Conception de Solutions : Concevoir des architectures de données et des solutions de traitement distribué en utilisant Apache Spark. Proposer des modèles de données adaptés aux cas d'utilisation spécifiques. Développement de Pipelines de Données : Développer des pipelines de données robustes et évolutifs en utilisant Apache Spark pour l'ingestion, le nettoyage, la transformation et la préparation des données. Utiliser Spark Streaming pour le traitement en temps réel des flux de données. Optimisation des Performances : Optimiser les performances des jobs Spark en ajustant les configurations, en utilisant des techniques de partitionnement et de cache, et en améliorant l'efficacité des transformations. Gestion des Versions : Utiliser des outils de contrôle de version pour gérer le code source et les artefacts des pipelines Spark. Tests et Validation : Élaborer des stratégies de test pour les pipelines Spark et mettre en œuvre des tests unitaires, d'intégration et de régression. Valider la qualité des données à différentes étapes du pipeline. Déploiement et Monitoring : Déployer les pipelines Spark sur des clusters de production et surveiller les performances en temps réel. Mettre en place des alertes pour détecter les problèmes de performance ou de disponibilité. Sécurité : Implémenter des mesures de sécurité pour protéger les données sensibles tout au long du pipeline. Utiliser des technologies telles que Kerberos, Ranger, ou des outils de chiffrement pour assurer la sécurité des données. Documentation : Documenter les pipelines de données, les flux de travail, les configurations et les bonnes pratiques. Créer des guides d'utilisation pour les autres membres de l'équipe et les utilisateurs finaux.

Chers consultants, Nous recherchons actuellement, pour un client du secteur bancaire en Ile-de-France, un data engineer spécialiste Elasticsearch. Profil : Qui ai fait de la construction d’archi d’un cluster Elasticsearch Choix des noeuds Déployer des clusters onprem Qqn qui ait administré des clusters ElasticSearch au quotidien Traitement d'incidents Elasticsearch Montée de versions Elasticsearch 6 ans d'exp min Conception et définitions des stratégies et des fonctionnalités de notre service de log management; - Implémentation et enrichissement de l'automatisation du déploiement de nos solutions; - Déploiement (via ansible) des différents composants de notre service; - Maintien en conditions opérationnelles des plateformes et réalisation de leur monitoring; - Optimisation et sécurisation des composants du fait des grandes exigences de performance, fiabilité et sécurité de la plateforme; - Analyse et résolution des problèmes de performances ou les incidents non triviaux; - Gestion de l'ingestion des flux de données et traitement des erreurs éventuelles; - Création de l'outillage nécessaire à la bonne administration et au bon suivi de la plateforme; - Conseil vers clients internes sur les bons usages et aide dans les implémentations utilisant nos plateformes. Les principales technologies sont Elasticsearch, Linux et Kafka, et en secondaire Ansible et Python Si vous êtes intéressé, envoyez-moi votre CV par mail. Cordialement,

PAS DE SOUS-TRAITANCE // MERCI Pour une mission longue durée nous recherchons un Data Engineer Activités et tâches : Mise en oeuvre de plusieurs produits data INTEGRATION, QUALIFICATION ET GESTION DES DONNÉES : Accompagner l'évolution de l'équipe vers des pratiques de développements plus robustes (craftmanship) Ingestion et traitement des sources de données Elaboration de système avancé de gestion de qualité de données Elaboration d'API/workflow Exposition des données (Elasticsearch, RDS) via des API pour les applications front Préparation des package de livraison en Infra as code Gestion du cycle de livraison en production MCO Rédaction des documentations techniques

La Direction des Systèmes d’Information recherche un Data Engineer H/F pour concevoir, développer et maintenir les architectures Data nécessaires à l’exploitation des données par les analystes métiers et data scientists. A ce titre, vos principales missions consisteront à : Mener les projets d’intégration (temps réel) et data (big data & insights), Comprendre, analyser et proposer des solutions techniques répondant aux besoins des divers acteurs de la donnée (spécialistes métier, domain managers, architecte, data analystes et scientists), Apporter un éclairage technique sur les architectures Cloud, dialoguer avec les fournisseurs de solutions et les consultants techniques, Dans une logique de mise en production, créer et déployer des pipelines de données robustes pour les data scientists et data analysts (collecte, stockage, transformation et exploitation), Assurer une bonne qualité des données pour les projets Machine Learning (préparation, complétude, épuration, enrichissement) dans le but d’optimiser les performances des modèles, Améliorer les processus internes : localisation et traçabilité de la donnée, standardisation des flux et des scripts de traitement des données, documentation, Collaborer avec les équipes basées aux Pays-Bas pour faciliter le Data-Sharing, échanger sur les best-practices et les moyens d’optimiser les architectures, Contribuer à l’amélioration de la gouvernance sur la protection et la confidentialité des données.

Bonjour à tous, Je recherche pour un de mes clients dans le domaine de l'immobilier un consultant Data Engineer Azure : Echanger et challenger les métiers dans leurs besoins Rédiger les spécifications techniques et fonctionnelles Concevoir les solutions d'intégration de la donnée Participer au développement de reporting aux équipes métiers Stack technique à maitriser : Azure Datalake/ Azure Data functions / Azure Data Factory Bon niveau SQL Bon niveau et bonne maitrise des modes ETL et ELT Bonne maitrise Power BI Maitrise langage DAX Idéalement certification DP 203 /200

Nous cherchons pour l'un de client dans le secteur public Bancaire un Data enginner pour intégrer un un projet « Mieux évaluer et mieux prévenir les risques pour le système financier ». L’analyse du fonctionnement de la sphère financière et en particulier l’identification et la quantification des risques sont au cœur des missions du Pôle de Stabilité Financière. Ces travaux alimentent les échanges et les prises de décision au sein des enceintes françaises, européennes, et internationales de stabilité financière ainsi que les groupes de travail internationaux et les publications académiques. Dans ce contexte, le projet vise à fournir les données, les infrastructures de stockage et de traitement et les outils analytiques, en s’appuyant sur le projet DGSI Data Plateforme

Cherry Pick est à la recherche d'un Data Engineer Senior pour un client dans le secteur de l'assurance en région parisienne. Le Data Engineer va intégrer l’équipe Data & RPA du Département Guilde Data, qui regroupe l’ensemble des expertises technologiques liées à l’ingénierie de la donnée, de l’automatisation et à l’exploitation des modèles de Machine Learning. Cette Guilde est dédiée au service du greoupe et de ses équipes (Data office, Tribus, Business, Transformation Office etc.), afin de fournir, en collaboration avec le Data Office, les plateformes (RPA, BI, Data, ...) et les données nécessaires aux équipes chargées de délivrer les cas d’usages, puis les déployer et les maintenir en conditions opérationnelles. Vous serez directement rattaché(e) au Responsable de l’équipe Data & RPA au sein de la Direction Technologies. Vous allez contribuer directement aux projets des directions métier (ex : Fraude santé, DSN, Pricing IARD, Optimisation du lead management, Fragilité Auto, ...) du groupe. La Direction Transformation Digital Tech et Data du groupe en quelques mots : - Une organisation agile en feature teams : tribus, guildes, squads - Des projets sur des applications innovantes à fort trafic (web, mobile...) - Des méthodologies craft (TDD, BDD, clean code, code review...) et DevOps - Une communauté de partage de bonnes pratiques (BBL, dojo, meetup, conf...) Votre rôle et vos missions : Vous aurez pour missions principales de développer les projets Big Data demandés par le métier, et notamment : • D’accompagner les développeurs plus juniors de l’équipe (coaching, code review, pair programming, ...) • Passer de la donnée brute à de la donnée exploitable, exposée sous forme de tables requêtables dans le Datalake • Consolider ces données au fur et à mesure de leur alimentation récurrente dans le Datalake • Les exploiter pour atteindre la finalité business (exposition de Business View, réintégration des résultats dans le SI, service de scoring, ...) • De travailler à la création du socle technique Big Data et industrialiser le cycle de développement de l'équipe • De mettre en place et de garantir le respect dans la durée d'un processus qualité sur l'ensemble du cycle de DEV (documents, tests unitaires / intégration / fonctionnels, commentaires, versionning, etc.)

Conception de l'architecture de données : Concevoir et mettre en œuvre une architecture de données robuste et évolutive sur la plateforme Databricks. Définir les schémas de données, les pipelines ETL et les flux de données pour répondre aux besoins métier. Développement de pipelines ETL : Développer des pipelines ETL pour extraire, transformer et charger les données à partir de sources variées vers le lac de données Databricks. Utiliser des outils comme Apache Spark pour traiter de gros volumes de données de manière efficace et distribuée. Optimisation des performances : Optimiser les requêtes Spark pour améliorer les performances des traitements de données. Utiliser des techniques telles que le partitionnement, la mise en cache et la gestion de la mémoire pour optimiser l'exécution des jobs Spark. Gestion des données en temps réel : Mettre en place des pipelines de traitement de données en temps réel à l'aide de technologies comme Apache Kafka et Apache Spark Streaming. Traiter les flux de données en continu pour fournir des analyses en temps réel et des insights instantanés. Gestion de la qualité des données : Mettre en place des contrôles de qualité des données pour garantir l'intégrité et la fiabilité des données. Développer des processus de nettoyage, de normalisation des données pour maintenir leur qualité. Sécurité des données : Mettre en place des mesures de sécurité pour protéger les données sensibles et confidentielles. Utiliser des fonctionnalités de sécurité avancées de Databricks telles que le chiffrement des données et la gestion des accès pour garantir la confidentialité et l'intégrité des données. Automatisation des workflows : Automatiser les workflows de traitement de données en planifiant et en orchestrant les jobs ETL à l'aide de Databricks Jobs ou d'autres outils de planification. Mettre en place des déclencheurs pour déclencher des actions en réponse à des événements spécifiques sur la plateforme de données. Surveillance et gestion des opérations : Surveiller les performances et la santé de la plateforme de données en utilisant des outils de surveillance comme Databricks Metrics et Databricks Monitoring. Gérer les incidents et les problèmes opérationnels en assurant une disponibilité continue des services de données. Collaboration avec les équipes métier : Travailler en étroite collaboration avec les équipes métier pour comprendre leurs besoins en matière d'analyse de données et de reporting. Fournir un support technique et des conseils pour aider les utilisateurs à accéder et à analyser les données sur la plateforme Databricks. Veille technologique : Suivre les évolutions dans le domaine du Big Data et du traitement des données pour intégrer les nouvelles technologies et les meilleures pratiques dans la plateforme de données Databricks.

Environnement Technique :  Tous composants de la distribution HDP 2.6.5 (Hortonworks)  Tous composants de la distribution HDP 3.1.x (Hortonworks)  Technologie KAFKA  Compétences de développements en Shell, Java, Python  Moteur Elasticsearch incluant les fonctionnalités soumises à licence  Docker, Kubernetes, système distribué sur Kubernetes  Infrastructure as Code  DevOps : Ansible, Git, Nexus, Jenkins, JIRA, etc...  Os Linux, Kerberos, SSL, Ldap, RDBMS, SQL Mandatory :  Tous les composants des distributions Hadoop  Tous les composants de la suite Elasticsearch : Kibana, Logstash, suite beats  Administration de composants big data

Notre client, société en pleine croissance, spécialisé dans le domaine de la Big Data, recherche des Consultants Data Engineer ! Participez à cette aventure et rejoignez une formidable équipe. Vos missions principales seront diversifiées, comprenant notamment : - Participation aux processus d'avant-vente : Vous contribuerez à l'élaboration des propositions techniques, mettant en avant votre expertise pour répondre aux besoins des clients. - Qualification technique des prestataires : Vous participerez activement à l'évaluation et à la sélection des prestataires, garantissant un partenariat de qualité. - Direction et coordination des projets : Vous dirigerez et coordonnerez la conception et la mise en oeuvre des projets, assurant leur réussite technique. - Documentation technique : Vous élaborerez, au besoin, des dossiers d'architecture, d'installation et d'exploitation, assurant une traçabilité et une compréhension optimale des solutions mises en place. - Participation active aux développements : Vous apporterez votre expertise en contribuant directement aux développements dans le cadre des projets. De manière plus étendue, vous aurez l'opportunité de : - Enrichir les bonnes pratiques : Vous contribuerez à l'évolution et à l'amélioration des bonnes pratiques d'architecture et de développement dans le domaine du Big Data. - Veille technologique : Vous réaliserez une veille constante sur les avancées technologiques du secteur, assurant ainsi la pertinence des solutions proposées. - Formation technique : Vous élaborerez des supports de formation technique pour nos clients et/ou nos consultants juniors, partageant ainsi votre savoir-faire. - Animation du pôle technique : Vous participerez activement à l'animation du pôle technique favorisant un environnement collaboratif et innovant.

💼 Poste : Data Engineer / cube OLAP / cach in memory / base de données distribuée 🏭 Secteurs stratégiques : Banque d’investissement 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Au sein d’une équipe qui travaille sur une application d'aide à la décision pour le trading. Elle permet de gérer des données historiques sur les clients, et les données de marché, ainsi que des données intraday et des mesures de risques, il permet aussi de visualiser les axes de trading. L’application utilise Angular 15 comme front end, Java 11 et Python 2 en back end, base de donées distribuée avec un systel de cache in memory, et Mongo DB comme base de données. Pour la partie déploiement, on utilise Docker / Kubernetes et Jenkins.Dans le cadre d'un projet de migration de la solution du in memory cach distribué vers une solution de cube OLAP, notre client recherche un Data Engineer avec une forte expertise dans les applications à faible latence / data driven design / 🤝 Expertises spécifiques : Le candidat sera chargé de la partie back end ainsi que de la partie dev ops. but est d'développer des nouvelles fonctionnalités demandées par le trading, et aussi techniquement améliorer la stabilité et la partie calcul distribué de l'application en testant de nouvelles solutions. Big data Java core Multithreading Apprécié Apache ignite ou Active Pivot Apprécié Technologies Devops Apprécié clickHouse Apprécié

En tant que Data Engineer, vous travaillerez en direct avec le Team Lead, les business analystes et le PO. Vous aurez à cœur de comprendre le business model. Les projets à adresser visent le développement et maintenance de modules de gestion des données de consommation (intégration, transformation et exposition), de contrats, et leur représentation à travers différentes interfaces. Vous interviendrez aussi bien sur de l'analyse de besoin, design, développement, support, maintenance corrective et évolutive. Vous travaillerez dans une équipe auto-organisée en mode agile avec un Product Owner et 3 BA (Business analystes). Les activités de cette équipe couvrent l'analyse, le développement, les tests, le déploiement et le support. Vos activités principales seront : · La montée en compétence sur les process, produits et applications existantes · La compréhension du business et la réalisation de développements en pair avec un responsable fonctionnel · L’analyse et spécifications des besoins et algorithmes · Implémenter les corrections et évolutions en couvrant tous les aspect conception, codage, sécurité, gestion des erreurs, évolutivité, scalabilité, revues de code, testing, intégration continue, ...- · Fournir des services aux utilisateurs avec le plus haut niveau de satisfaction. · Fournir des estimations de charge et délais · Soutenir l'amélioration continue des services. Identifier les goulots d'étranglement et les bugs et définir des solutions à ces problèmes · Rédiger et mettre à jour les documentations · Proposer des solutions innovantes répondant aux problématiques fonctionnelles et techniques. · Travailler en étroite collaboration avec les BA, les utilisateurs, architectes et autres équipes de développement. · Fournir une communication efficace et opportune aux différentes équipes concernées

Création, enrichissement de base de données opérationnelles ● Exploration de données pour produire des analyses et dashboards métiers ● Création, modification de reportings ● Mise en place de flux de données avec des partenaires business (syncing) ● Développement de pipelines Data avec Airflow ● Déploiement de monitoring avancé (data quality) Google Cloud : AppEngine, Cloud SQL, Google Composer (Airflow), BigQuery ● Base de donnée PostgreSQL (Google Cloud SQL) ● Solutions : PHP 8+ / Symfony 5+ ● Processus data : Python 3, Airflow, Google Colab (notebook), diagram.net ● Jira Agile Kanban, Gitlab / git-flow / merge request / code review ● API Rest / Postman, suite Google (gmail, drive, g-chat ), Slack ● Poste de travail Mac ou PC

En tant que Data Engineer, vous travaillerez en direct avec le Team Lead, les business analystes et le PO. Vous aurez à cœur de comprendre le business model. Les projets à adresser visent le développement et maintenance de modules de gestion des données de consommation (intégration, transformation et exposition), de contrats, et leur représentation à travers différentes interfaces. Vous interviendrez aussi bien sur de l'analyse de besoin, design, développement, support, maintenance corrective et évolutive. Vous travaillerez dans une équipe auto-organisée en mode agile avec un Product Owner et 3 BA (Business analystes). Les activités de cette équipe couvrent l'analyse, le développement, les tests, le déploiement et le support. Vos activités principales seront : · La montée en compétence sur les process, produits et applications existantes · La compréhension du business et la réalisation de développements en pair avec un responsable fonctionnel · L’analyse et spécifications des besoins et algorithmes · Implémenter les corrections et évolutions en couvrant tous les aspect conception, codage, sécurité, gestion des erreurs, évolutivité, scalabilité, revues de code, testing, intégration continue, ...- · Fournir des services aux utilisateurs avec le plus haut niveau de satisfaction. · Fournir des estimations de charge et délais · Soutenir l'amélioration continue des services. Identifier les goulots d'étranglement et les bugs et définir des solutions à ces problèmes · Rédiger et mettre à jour les documentations · Proposer des solutions innovantes répondant aux problématiques fonctionnelles et techniques. · Travailler en étroite collaboration avec les BA, les utilisateurs, architectes et autres équipes de développement. · Fournir une communication efficace et opportune aux différentes équipes concernées