Trouvez votre prochaine offre d’emploi ou de mission freelance Data engineer à Paris

En tant que Data Engineer, vous intégrerez une feature team pour participer aux différents projets de développement. Pour cela vous aurez en charge : · Compréhension des besoins métiers · Conception des solutions nécessitant l’utilisation de technologies cloud & data pour répondre aux besoins métier · Déploiement, optimisation et industrialisation au quotidien des pipelines de données dans le Cloud · Travaille avec différents profils data du groupe (Data Scientist, data engineer, data architect, data analyst) · Assurer le monitoring des modèles en production · Contribuer au développement et à l’amélioration continue des outils data interne

Bonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. Mission : Livrables n 1 : Sprint n 1 + Lot 1 : développement des US et tests associés ; + Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation ; + Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; + Lot 4 : Mise en place du monitoring ; LE PROFIL RECHERCHE Compétences métiers & outils : Les compétences technologiques attendues sont : + Indispensables : maîtrise de l’API Scala Spark (batch principalement), maîtrise des techniques d’optimisation Spark, expérience dans le traitement de volumétries importantes / complexes, développement et bonnes pratiques Scala, build Maven, travail en environnement cloud (idéalement Azure) + Appréciées : écosystème Databricks, développement d’API HTTP, expérience sur la stack ELK Compétences transverses + Aisance relationnelle + Esprit d’équipe et d’adaptabilité + Esprit de synthèse + Rigueur et esprit d’analyse + Autonomie + Force de proposition + Vous avez le sens des priorités et la capacité à gérer les délais + Vous aimez le travail en mode multi-projets + Appétence client, besoin métier et compréhension du fonctionnel + Mentoring et partage de connaissances

2.1 Le contexte Pour accroître sa compétitivité et poursuivre son développement dans les meilleures conditions, GEMS IS investit de manière significative dans son système d’information. Au sein de l’équipe Digital & Data Accelerator nous développons des outils et applications et accompagnons l’ensemble des équipes dans leur digitalisation, notamment au travers de Dataiku & Amazon Web Services. 2.2 Objet du service Le service sera réalisé au sein de l’équipe Digital & Data Accelerator située à Bruxelles ou à Paris (avec des déplacements réguliers à Bruxelles). 2.3 Activités Les activités principales sont : - Administration de la plateforme Dataiku - Développement de plugins Dataiku (en python) - Mentorat de nos utilisateurs (Data Analyst, Data Engineers, Data Scientists) sur la plateforme Dataiku - Support de niveau 1 sur la plateforme Dataiku Activités secondaires : - Implémentation de cas d’utilisation de données à travers Dataiku

En tant que Data Engineer, vous intégrerez une feature team pour participer aux différents projets de développement. Pour cela vous aurez en charge : · Compréhension des besoins métiers · Conception des solutions nécessitant l’utilisation de technologies cloud & data pour répondre aux besoins métier · Déploiement, optimisation et industrialisation au quotidien des pipelines de données dans le Cloud · Travaille avec différents profils data du groupe (Data Scientist, data engineer, data architect, data analyst) · Assurer le monitoring des modèles en production · Contribuer au développement et à l’amélioration continue des outils data interne

L’objectif est de développer une plateforme appelée Supply data lake basée sur des technologies Big Data robustes et évolutives. Cette plateforme sera capable de traiter un volume substantiel de données dans les différents pays où Engie opère. Son objectif principal est de capturer divers indicateurs dans un référentiel centralisé, permettant l’accès à des vues standardisées et transversales de ces indicateurs. L’un des principaux objectifs de 2024 est de construire une première version d’un outil de P&L quotidien pour l’entité B2B France. En plus de ses responsabilités techniques, le développeur s’assurera de la conformité avec les directives du Groupe concernant l’utilisation et l’architecture du cadre interne. Il collaborera également avec les autres parties prenantes du projet afin de promouvoir ces directives et de proposer des fonctionnalités communes pour la plateforme. L’équipe est principalement située à Paris, mais des déplacements occasionnels à Lyon et à Bruxelles sont à prévoir. Le rôle du développeur senior dans ce projet consistera à concevoir et à mettre en œuvre les composants suivants de la plateforme : - L’acquisition des données - Traitement et normalisation des données. - Distribuer les données aux différentes parties prenantes. - Construire et améliorer le cadre commun, y compris la surveillance, CI/CD, les tests, la performance, la résilience, les pratiques de développement et la qualité du code... Les principales activités sont les suivantes : - Recueillir, comprendre, remettre en question et affiner les exigences et les opportunités commerciales. - Concevoir des solutions en suivant les lignes directrices de l’architecture. - Diriger les activités de développement et apporter une contribution en tant que senior/expert. Les activités de développement impliquent l’élaboration et la maintenance d’un code efficace, réutilisable et fiable qui respecte des normes élevées en matière de qualité des logiciels, de conception et de principes d’essai, tout en fournissant des solutions dans les délais et dans les limites du budget. - Soutenir l’amélioration continue des services et des applications en identifiant les goulets d’étranglement et les bogues et en proposant des solutions. - Fournir aux utilisateurs des services prêts pour la production, en s’efforçant d’atteindre le niveau de satisfaction le plus élevé. - Soutenir la phase de production, notamment en fournissant des outils de surveillance et d’alerte afin de minimiser l’impact de l’assistance pendant la phase de développement. - Rédiger et mettre à jour la documentation technique en anglais et la mettre à la disposition de l’équipe et des partenaires. - Assurer une communication efficace et opportune avec toutes les équipes concernées. XP min 5 ans python, api technologies big data AWS 3 ans XP min

-Concevoir, mettre en œuvre et maintenir des pipelines de données efficaces et évolutifs dans un environnement cloud (comme AWS, Azure, Google Cloud Platform, etc.). -Identifier et résoudre les goulets d’étranglement de performance dans les pipelines de données CI/CD -Mettre en place des mesures de sécurité robustes pour protéger les données sensibles tout au long du processus de traitement. -Capacité à interagir avec des parties prenantes diverses : Business analyst, Architectes, Métier...etc -Collecte et stockage des fichiers sur un cloud Azure/AWS

Nous sommes à la recherche d’un(e) Data Engineer passionné(e) à Paris. En tant que Data Engineer, vous jouerez un rôle crucial dans l’architecture, le développement et la mise en œuvre de solutions techniques pour répondre aux besoins en données de notre entreprise. Vous travaillerez en étroite collaboration avec notre équipe technique, les chefs de projet et les stakeholders métier pour assurer le succès de nos projets data. Responsabilités : -Collaborer étroitement avec l’équipe technique, les architectes et les développeurs pour concevoir et mettre en œuvre des solutions data efficaces. -Participer activement à l’architecture globale des systèmes data en collaboration avec les autres membres de l’équipe. -Développer et tester les solutions techniques en suivant les principes du TDD (Test-Driven Development) dans un environnement Agile. -Assurer la revue de code et le suivi des bonnes pratiques de développement. -Contribuer à l’industrialisation des développements et des tests en utilisant des technologies open source. -Rédiger des documents techniques détaillés pour assurer la traçabilité des livrables. -Compétences techniques requises : -Minimum 3 ans d’expérience professionnelle dans un poste similaire. -Maîtrise des technologies telles que Apache NiFi, Scala, Spark, Hadoop (Big Data), Hive, Kafka, et REST. -Expérience pratique de la mise en œuvre de la Continuous Integration. -Capacité à évoluer dans un environnement anglophone.

Analyse des Exigences : Collaborer avec les équipes métier pour comprendre les besoins en matière d'analyse de données et de traitement. Conception de Solutions : Concevoir des architectures de données et des solutions de traitement distribué en utilisant Apache Spark. Proposer des modèles de données adaptés aux cas d'utilisation spécifiques. Développement de Pipelines de Données : Développer des pipelines de données robustes et évolutifs en utilisant Apache Spark pour l'ingestion, le nettoyage, la transformation et la préparation des données. Utiliser Spark Streaming pour le traitement en temps réel des flux de données. Optimisation des Performances : Optimiser les performances des jobs Spark en ajustant les configurations, en utilisant des techniques de partitionnement et de cache, et en améliorant l'efficacité des transformations. Gestion des Versions : Utiliser des outils de contrôle de version pour gérer le code source et les artefacts des pipelines Spark. Tests et Validation : Élaborer des stratégies de test pour les pipelines Spark et mettre en œuvre des tests unitaires, d'intégration et de régression. Valider la qualité des données à différentes étapes du pipeline. Déploiement et Monitoring : Déployer les pipelines Spark sur des clusters de production et surveiller les performances en temps réel. Mettre en place des alertes pour détecter les problèmes de performance ou de disponibilité. Sécurité : Implémenter des mesures de sécurité pour protéger les données sensibles tout au long du pipeline. Utiliser des technologies telles que Kerberos, Ranger, ou des outils de chiffrement pour assurer la sécurité des données. Documentation : Documenter les pipelines de données, les flux de travail, les configurations et les bonnes pratiques. Créer des guides d'utilisation pour les autres membres de l'équipe et les utilisateurs finaux.

Chers consultants, Nous recherchons actuellement, pour un client du secteur bancaire en Ile-de-France, un data engineer spécialiste Elasticsearch. Profil : Qui ai fait de la construction d’archi d’un cluster Elasticsearch Choix des noeuds Déployer des clusters onprem Qqn qui ait administré des clusters ElasticSearch au quotidien Traitement d'incidents Elasticsearch Montée de versions Elasticsearch 6 ans d'exp min Conception et définitions des stratégies et des fonctionnalités de notre service de log management; - Implémentation et enrichissement de l'automatisation du déploiement de nos solutions; - Déploiement (via ansible) des différents composants de notre service; - Maintien en conditions opérationnelles des plateformes et réalisation de leur monitoring; - Optimisation et sécurisation des composants du fait des grandes exigences de performance, fiabilité et sécurité de la plateforme; - Analyse et résolution des problèmes de performances ou les incidents non triviaux; - Gestion de l'ingestion des flux de données et traitement des erreurs éventuelles; - Création de l'outillage nécessaire à la bonne administration et au bon suivi de la plateforme; - Conseil vers clients internes sur les bons usages et aide dans les implémentations utilisant nos plateformes. Les principales technologies sont Elasticsearch, Linux et Kafka, et en secondaire Ansible et Python Si vous êtes intéressé, envoyez-moi votre CV par mail. Cordialement,

MERCI DE POSTULER UNIQUEMENT SI VOUS MAITRISER L'UN DES MOTEURS DE RECHERCHES SUIVANTS: Elastic Search ou search engine Solr et/ou Lucene. Bonjour, Nous recherchons pour l'un de nos clients grand compte un Developpeur Sr Java maitrisant Elastic Search ou search engine Solr et/ou Lucene. Vos missions seront les suivantes: Ø Développer des composants, services et fonctions de notre moteur de recherche juridique et de recherche conversationnel basé sur l’intelligence artificiel (Generative AI). Ø Participer aux réunions SCRUM (daily, review…) et collaborer activement avec l’équipe au sein des sprints de 2 semaines (Scrum) Ø Participer activement avec les autres développeurs et le Techlead à la conception, l’évaluation des charges de réalisation du back-office du produit. Ø Réaliser des développements selon une stratégie de déploiement sur le CLOUD Ø Réaliser des développements dans les règles de l’art : o Participer aux réunions des équipes de développement et s’assurer que le code réalisé (backend et de l’implémentation des flux de données) est en phase avec les bonnes pratiques et les consignes en termes de choix de composants. o Faire du mentorat et promouvoir les bonnes pratiques de développement backend en partageant le savoir avec les autres développeurs de l’équipe. o S’intéresser aux contraintes d’intégration amont et aval des composants implémentés afin de réaliser un interfaçage en étroite relation avec les autres développeurs Lieu: Paris centre Dates de mission: ASAP pour 3 mois renouvelable sur du long terme Tarif: 500-650€ ht selon experiences Pas de sous traitance merci ! Nicholson

CITECH recrute ! 👌 👍 Si vous souhaitez apporter vos compétences dans la réalisation d’un projet important, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Chef de projet Data (H/F) 🚀 Votre mission est pour un client reconnu dans le secteur public plus particulièrement pour le gouvernement français. 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Définition et évaluation des différents scénarios de transition 🔸 Pilotage et coordination des différentes parties prenantes du projet de transition 🔸 Homologation des résultats de non-régression avec le métier et les autres entités 🔸 Support de l’équipe dans les activités de Data Management, notamment le pilotage des usages Data 🔸 Contribution aux pratiques agiles de l’équipe et accompagner le métier dans la transformation agile

• Mettre en place l’outillage Datascience et MLOPS et identifier les patterns et normes pour un usage par 40 caisses régionales • Évaluer et adopter de nouvelles technologies et méthodologies pour améliorer les processus MLOps et l'efficacité de l'équipe • Diriger l'élaboration et la mise en œuvre des pipelines / solutions MLOps pour l'entraînement, le déploiement et la surveillance des modèles ML • Superviser et encadrer une équipe technique, en fournissant une orientation technique, en fixant des objectifs et en assurant la montée en compétence des équipes internes • Participer à l'exploration continue (étude d'opportunité, cadrage) et aider à estimer l'effort et la valeur délivrée par les choix de designs éligibles pour favoriser la priorisation par le Product Owner et le Pôle Utilisateur (évolutivité, testabilité, déployabilité...) • Collaborer avec les parties prenantes internes pour comprendre les besoins métier et fournir des solutions ML efficaces et évolutives • Décliner le cadre d’Architecture d’Entreprise(processus, normes, patterns …) et contribuer à son évolution • Faciliter la prise de décision de manière collaborative sur la meilleure architecture (conformité, sécurité, risques...), avec un juste équilibre entre le respect de la cible d'entreprise et la réponse pragmatique au besoin • Maitrise les objectifs visés par le cadre d'Architecture d’Entreprise et décrit des solutions qui s'y conforment et sont implémentables sous forme incrémentale dans les sprints • Suivre et facilite la visibilité de la conformité des solutions de son périmètre par rapport à la stratégie d'entreprise • Responsable de la documentation produit(s) en veillant à sa pertinence, fiabilité et sa cohérence avec les cadres de référence de l'architecture (processus, guides, patterns...).

Notre client, du secteur de la mutuelle, recherche un consultant pour les accompagner à la fois dan s du projet et dans du RUN. Rattaché à la DSI, le consultant travaillera en étroite collaboration avec les BA. Le consultant a déjà eu des expériences sur toutes la chaîne de données, de la production à la distribution de data. Il a une bonne maitrise de la construction des requêtes, modélisation (table s de fait, dimension), le développement sous Power BI (DAX). Le consultant travaillera sur la construction des rapports: pour chaque rapport, il faudra qu'il puisse construire le data set adéquat.

Dans le cadre d'un projet au sein d'un client grand compte, nous sommes à la recherche d'un développeur backend SQL/clikhouse. Périmètre fonctionnel : banque d'investissement Au sein d’une équipe qui travaille sur une application d'aide à la décision pour le trading. Elle permet de gérer des données historiques sur les clients, et les données de marché, ainsi que des données intraday et des mesures de risques, il permet aussi de visualiser les axes de trading. L’application utilise Angular 15 comme front end, Java 11 et Python 2 en back end, base de donées distribuée avec un systel de cache in memory, et Mongo DB comme base de données. Pour la partie déploiement, on utilise Docker / Kubernetes et Jenkins. Les principales tâches de la missions sont les suivantes : Le but est d'développer des nouvelles fonctionnalités demandées par le trading, et aussi techniquement améliorer la stabilité et la partie calcul distribué de l'application en testant de nouvelles solutions. Le candidat sera chargé de la partie back end ainsi que de la partie devops.

💡 Contexte /Objectifs : Ll s'agira de contribuer à divers projets de la filière Finance, en renforcement des personnes actuellement en charge de piloter ces sujets dans l'équipe. • Déclaration de nouveaux indicateurs environnementaux, sociaux et de gouvernance (ESG). Pour l'IT Finance il s'agit plus particulièrement d'apporter au métier Finance des solutions pour construire un Datamart Transactionnel ESG en s'arrimant aux Golden Sources du Datalake. • Maintenance évolutive sur les modules Datalake Coût du Risque, Intragroupe ou Effets Ifrs9. La personne aura en charge: De récupérer les besoins auprès des métiers et de les valider De rédiger les spécifications fonctionnelles en cohérence avec le modèle de données du datalake et des golden sources disponibles. De participer aux tests conjointement avec l’IT et d’accompagner le métier dans ses recettes. De participer aux comités de suivi du projet (CSO, revue des Jiras du Sprint, etc…) 🤝 Expertises spécifiques : Expériences business analyst sur des projets en environnement bancaire autour de la data et problématiques associées (détermination des golden sources, appropriation des modèles de données) : exigé Connaissance des outils de BI comme EasyMorph, PowerBi, Tableau, requêtage SQL: exigé Maitrise de l'anglais écrit (reporting en anglais) et parlé : exigé Compétences génériques recherchées travail en équipe / capacité d'analyse / réactivité / force de proposition / organisation et rigueur : exigé Connaissances des architectures Systèmes d'Information bancaires : souhaité Connaissance de la méthode agile Scrum : souhaité (expérience sur un projet serait un plus) Connaissances fonctionnelles des produits de marché & de financement: serait un plus. Connaissance de la comptabilité bancaire : serait un plus

💼 Poste : Bigdata Engineer Cloud 🏭 Secteurs stratégiques : Banque d’investissement 📍Localisation : Ile de France 🗓 Démarrage : ASAP Expérience souhaité : 0 - 3 ans Principales missions sont : Création et maintenance des architectures Big Data pour les besoins interne de l’entreprise. • interaction avec REST APIs • Kafka • gestion des jobs et administration Ansible • Technologies Confluence /JIRA pour la gestion documentaire, Git /Bitbucket Création et maintenance des architectures Big Data pour les besoins interne de l’entreprise. • interaction avec REST APIs • Kafka • gestion des jobs et administration Ansible • Technologies Confluence /JIRA pour la gestion documentaire, Git /Bitbucket