Trouvez votre prochaine offre d’emploi ou de mission freelance Data engineer à Paris

Contexte de la mission : Recherche d'un ingénieur de données Snowflake senior pour rejoindre notre équipe Data Factory en expansion. Responsable du développement de pipelines de données selon les normes et meilleures pratiques, incluant tous les principes CI/CD. Autonomie requise et capacité à soutenir les besoins en données de multiples équipes, systèmes et produits pour diverses équipes commerciales à travers le monde. Besoin d'une personne techniquement opérationnelle dès le premier jour, capable de soutenir et de contribuer à l'évolution des profils juniors. Objectifs et livrables : Responsabilités clés du poste : Création/modification d'objets de base de données Snowflake (base de données, tables, vues, etc.) Développement de procédures stockées Snowflake (SQL & Javascript) Mise en œuvre de l'environnement de développement à l'environnement de production en utilisant le processus CI/CD Assurer un haut niveau de service incluant la définition du périmètre, la construction, l'exécution, la gestion des incidents Assurer la qualité des codes fournis par l'équipe de développement Expérience et qualités attendues : Au moins 5 ans d'expérience Expérience avérée dans différents projets de données Expérience avérée en codage Javascript/SQL, modélisation de données, Snowflake Capacité à travailler en mode équipe unique dans un mode escouade pour livrer dans tous les environnements Capacités prouvées à prendre des initiatives et à innover Travail d'équipe dans un environnement multinational Capacité à travailler avec des ressources offshore Compétences techniques : Ingénieur ou Master +5 en informatique Grande aisance avec le traitement des données, la gestion de bases de données, les technologies de données Familiarité avec les technologies Azure, en particulier les produits de données et d'analyse fortement préférés mais non requis (ADLS Gen2, Azure Data Factory, Azure Function, Azure Logicapp, Azure batch, …) Expérience solide en développements SQL (au moins 5 ans) Expérience avec les plateformes de données (Snowflake, Azure SQL, MS SQL, etc.) et maîtrise du langage SQL Compétences en programmation Javascript (fortement appréciées mais non obligatoires) Expérience dans les environnements de production : Documentation / Spécification, Tests unitaires, Déploiement, Optimisation de code, Processus CI/CD Autres compétences : Anglais courant (compétences fortes en écriture, en verbal et en présentation) Méthodologie Agile & outils comme JIRA Bonnes compétences de communication et formelles Compétences demandées : Compétences : Niveau de compétence : Intégration de données : Confirmé Snowflake : Expert Communication : Confirmé SQL : Confirmé JIRA : Élémentaire Azure DevOps : Confirmé

2.1 Le contexte Pour accroître sa compétitivité et poursuivre son développement dans les meilleures conditions, GEMS IS investit de manière significative dans son système d’information. Au sein de l’équipe Digital & Data Accelerator nous développons des outils et applications et accompagnons l’ensemble des équipes dans leur digitalisation, notamment au travers de Dataiku & Amazon Web Services. 2.2 Objet du service Le service sera réalisé au sein de l’équipe Digital & Data Accelerator située à Bruxelles ou à Paris (avec des déplacements réguliers à Bruxelles). 2.3 Activités Les activités principales sont : - Administration de la plateforme Dataiku - Développement de plugins Dataiku (en python) - Mentorat de nos utilisateurs (Data Analyst, Data Engineers, Data Scientists) sur la plateforme Dataiku - Support de niveau 1 sur la plateforme Dataiku Activités secondaires : - Implémentation de cas d’utilisation de données à travers Dataiku

Description du poste : En tant que Data Support analyste, vous serez responsable de fournir un soutien technique et opérationnel pour les systèmes et les processus liés aux données au sein du département de Data Technology. Vous travaillerez en étroite collaboration avec les équipes de développement et de data ingénierie pour résoudre les problèmes liés à la data, assurer la qualité des données et maintenir la disponibilité des systèmes. Responsabilités : 1. Soutien technique : Diagnostiquer et résoudre les problèmes liés aux données, tels que les erreurs de chargement, les incohérences de données et les performances dégradées. Collaborer avec les équipes Data pour résoudre les problèmes techniques et d'intégration liés aux données. 2. Gestion de la qualité des données : Surveiller et analyser la qualité des données, identifier les anomalies et les incohérences, et proposer des solutions pour améliorer la qualité des données. Mettre en place des contrôles de qualité des données pour garantir la précision, la cohérence et l'intégrité des données. Participer à la définition et à la mise en œuvre des normes et des bonnes pratiques de gestion de la qualité des données. 3. Maintenance et support opérationnel : Assurer la disponibilité des systèmes de données en surveillant les performances et en gérant les problèmes de capacité. Collaborer avec les équipes de développement pour effectuer des mises à jour logicielles, des correctifs de bugs et des améliorations des fonctionnalités des systèmes de données. Documenter les procédures opérationnelles et les problèmes rencontrés, ainsi que les solutions mises en œuvre, pour faciliter le support et la résolution de problèmes ultérieurs. Être proactif sur l’amélioration des process et outils. 4. Formation et communication : Collaborer avec les différentes équipes pour communiquer les changements, les mises à jour et les problèmes liés aux données de manière claire et concise. Participer à des réunions et à des projets interfonctionnels pour fournir un aperçu et un soutien relatif aux données.

En tant que Data Engineer, vous intégrerez une feature team pour participer aux différents projets de développement. Pour cela vous aurez en charge : · Compréhension des besoins métiers · Conception des solutions nécessitant l’utilisation de technologies cloud & data pour répondre aux besoins métier · Déploiement, optimisation et industrialisation au quotidien des pipelines de données dans le Cloud · Travaille avec différents profils data du groupe (Data Scientist, data engineer, data architect, data analyst) · Assurer le monitoring des modèles en production · Contribuer au développement et à l’amélioration continue des outils data interne

la Prestation consiste à contribuer à/au(x) :  Gestion de l’intégration des données dans le DataLake Azure  Analyse des données et croisement de ces dernières  Analyse des restitutions responsives et mise en avant de la valeur-ajouté des données  Support de la solution et ses composants Environnement technique Expertises : - Java - Spark - Kubernetes - MS Azure - Kafka - Microsoft PowerBI - Cosmos DB - PosgreSQL Les livrables attendus sont : - Spécifications techniques générales et détaillées - Code - PV de tests - Support aux UATs (User Acceptance Tests) - Package de livraison - Gestion des releases et documentations associées - Assistance aux utilisateurs et/ou support

Bonjour, Je suis à la recherche d’un Data Engineer : Tâches : Dans le cadre du projet de migration d’Azure à AWS : Exécution des procédures de migration Prise en charge des sollicitations et incidents sur la plateforme Anonymisation de données AWS Étude, sécurité, architecture et conception de projets Azure Création de pipelines automatisés dans AWS Code Pipeline pour déployer des conteneurs Docker dans AWS Compétences/Environnement techniques : 05 ans d’expérience en tant que Data Engineer Aws Azure 🗓️ Démarrage: Avril 2024 📍 Localisation : Paris 🏡 Modalités: 3jours de présentiel, 2 jours de télétravail- Présentiel obligatoire 🎢 Durée:03mois renouvelables (longue durée) 👜 Statut: Freelance ou portage salarial (société référencée au syndicat du PEPS) Tarification: 500-550 euros Si vous êtes intéressé, n’hésitez pas à m’envoyer votre CV

Bonjour, Pour le compte de notre client, nous recherchons un data engineer GCP. Vous êtes impliqué(e) dans l'engagement de l'équipe au quotidien et faites tout pour l'aider pour délivrer des fonctionnalités en continue, Vous travaillez en étroite relation avec les autres data engineers pour développer des applications assurant une bonne circulation des données (batch et stream), et assurer leur qualité, Vous collaborerez avec notre data ops et les architectes IT pour optimiser notre architecture et la rendre la plus modulaire possible pour les utilisateurs de la plateforme data, Vous êtes constamment en veille sur les nouvelles technos et aimez geeker en équipe lors de points de partage.

-Concevoir, mettre en œuvre et maintenir des pipelines de données efficaces et évolutifs dans un environnement cloud (comme AWS, Azure, Google Cloud Platform, etc.). -Identifier et résoudre les goulets d’étranglement de performance dans les pipelines de données CI/CD -Mettre en place des mesures de sécurité robustes pour protéger les données sensibles tout au long du processus de traitement. -Capacité à interagir avec des parties prenantes diverses : Business analyst, Architectes, Métier...etc -Collecte et stockage des fichiers sur un cloud Azure/AWS

L’objectif est de développer une plateforme appelée Supply data lake basée sur des technologies Big Data robustes et évolutives. Cette plateforme sera capable de traiter un volume substantiel de données dans les différents pays où Engie opère. Son objectif principal est de capturer divers indicateurs dans un référentiel centralisé, permettant l’accès à des vues standardisées et transversales de ces indicateurs. L’un des principaux objectifs de 2024 est de construire une première version d’un outil de P&L quotidien pour l’entité B2B France. En plus de ses responsabilités techniques, le développeur s’assurera de la conformité avec les directives du Groupe concernant l’utilisation et l’architecture du cadre interne. Il collaborera également avec les autres parties prenantes du projet afin de promouvoir ces directives et de proposer des fonctionnalités communes pour la plateforme. L’équipe est principalement située à Paris, mais des déplacements occasionnels à Lyon et à Bruxelles sont à prévoir. Le rôle du développeur senior dans ce projet consistera à concevoir et à mettre en œuvre les composants suivants de la plateforme : - L’acquisition des données - Traitement et normalisation des données. - Distribuer les données aux différentes parties prenantes. - Construire et améliorer le cadre commun, y compris la surveillance, CI/CD, les tests, la performance, la résilience, les pratiques de développement et la qualité du code... Les principales activités sont les suivantes : - Recueillir, comprendre, remettre en question et affiner les exigences et les opportunités commerciales. - Concevoir des solutions en suivant les lignes directrices de l’architecture. - Diriger les activités de développement et apporter une contribution en tant que senior/expert. Les activités de développement impliquent l’élaboration et la maintenance d’un code efficace, réutilisable et fiable qui respecte des normes élevées en matière de qualité des logiciels, de conception et de principes d’essai, tout en fournissant des solutions dans les délais et dans les limites du budget. - Soutenir l’amélioration continue des services et des applications en identifiant les goulets d’étranglement et les bogues et en proposant des solutions. - Fournir aux utilisateurs des services prêts pour la production, en s’efforçant d’atteindre le niveau de satisfaction le plus élevé. - Soutenir la phase de production, notamment en fournissant des outils de surveillance et d’alerte afin de minimiser l’impact de l’assistance pendant la phase de développement. - Rédiger et mettre à jour la documentation technique en anglais et la mettre à la disposition de l’équipe et des partenaires. - Assurer une communication efficace et opportune avec toutes les équipes concernées. XP min 5 ans python, api technologies big data AWS 3 ans XP min

Mission : Définition et implémentation de l’archi les applications Spark ainsi que pour les pipelines de prod de ML(évaluation des feature stores, refactoring de DAG Airflow) Accompagnement des Data Scientists lors de leur mise en prod Optimisation de la CI/CD Etc Expérience : 4 ans minimum en ML et/ou Data, NLP et traitement d’image Stack : Airflow, Delta Lake, Python, DataBricks, SQL, Spark, Ansible, Terraforl, etc Démarrage : ASAP Quasi Full Remote à l’issue du 1er mois Mission : Définition et implémentation de l’archi les applications Spark ainsi que pour les pipelines de prod de ML(évaluation des feature stores, refactoring de DAG Airflow) Accompagnement des Data Scientists lors de leur mise en prod Optimisation de la CI/CD Etc Expérience : 4 ans minimum en ML et/ou Data, NLP et traitement d’image Stack : Airflow, Delta Lake, Python, DataBricks, SQL, Spark, Ansible, Terraforl, etc Démarrage : ASAP Quasi Full Remote à l’issue du 1er mois

Nous sommes à la recherche d’un(e) Data Engineer passionné(e) à Paris. En tant que Data Engineer, vous jouerez un rôle crucial dans l’architecture, le développement et la mise en œuvre de solutions techniques pour répondre aux besoins en données de notre entreprise. Vous travaillerez en étroite collaboration avec notre équipe technique, les chefs de projet et les stakeholders métier pour assurer le succès de nos projets data. Responsabilités : -Collaborer étroitement avec l’équipe technique, les architectes et les développeurs pour concevoir et mettre en œuvre des solutions data efficaces. -Participer activement à l’architecture globale des systèmes data en collaboration avec les autres membres de l’équipe. -Développer et tester les solutions techniques en suivant les principes du TDD (Test-Driven Development) dans un environnement Agile. -Assurer la revue de code et le suivi des bonnes pratiques de développement. -Contribuer à l’industrialisation des développements et des tests en utilisant des technologies open source. -Rédiger des documents techniques détaillés pour assurer la traçabilité des livrables. -Compétences techniques requises : -Minimum 3 ans d’expérience professionnelle dans un poste similaire. -Maîtrise des technologies telles que Apache NiFi, Scala, Spark, Hadoop (Big Data), Hive, Kafka, et REST. -Expérience pratique de la mise en œuvre de la Continuous Integration. -Capacité à évoluer dans un environnement anglophone.

Profil Data Engineer AWS pour un projet Unified Data Plateforme qui vise à basculer de Azure à AWS Start Q2 basé à Paris. Projet de migration de Azure sur AWS

Analyse des Exigences : Collaborer avec les équipes métier pour comprendre les besoins en matière d'analyse de données et de traitement. Conception de Solutions : Concevoir des architectures de données et des solutions de traitement distribué en utilisant Apache Spark. Proposer des modèles de données adaptés aux cas d'utilisation spécifiques. Développement de Pipelines de Données : Développer des pipelines de données robustes et évolutifs en utilisant Apache Spark pour l'ingestion, le nettoyage, la transformation et la préparation des données. Utiliser Spark Streaming pour le traitement en temps réel des flux de données. Optimisation des Performances : Optimiser les performances des jobs Spark en ajustant les configurations, en utilisant des techniques de partitionnement et de cache, et en améliorant l'efficacité des transformations. Gestion des Versions : Utiliser des outils de contrôle de version pour gérer le code source et les artefacts des pipelines Spark. Tests et Validation : Élaborer des stratégies de test pour les pipelines Spark et mettre en œuvre des tests unitaires, d'intégration et de régression. Valider la qualité des données à différentes étapes du pipeline. Déploiement et Monitoring : Déployer les pipelines Spark sur des clusters de production et surveiller les performances en temps réel. Mettre en place des alertes pour détecter les problèmes de performance ou de disponibilité. Sécurité : Implémenter des mesures de sécurité pour protéger les données sensibles tout au long du pipeline. Utiliser des technologies telles que Kerberos, Ranger, ou des outils de chiffrement pour assurer la sécurité des données. Documentation : Documenter les pipelines de données, les flux de travail, les configurations et les bonnes pratiques. Créer des guides d'utilisation pour les autres membres de l'équipe et les utilisateurs finaux.

Chers consultants, Nous recherchons actuellement, pour un client du secteur bancaire en Ile-de-France, un data engineer spécialiste Elasticsearch. Profil : Qui ai fait de la construction d’archi d’un cluster Elasticsearch Choix des noeuds Déployer des clusters onprem Qqn qui ait administré des clusters ElasticSearch au quotidien Traitement d'incidents Elasticsearch Montée de versions Elasticsearch 6 ans d'exp min Conception et définitions des stratégies et des fonctionnalités de notre service de log management; - Implémentation et enrichissement de l'automatisation du déploiement de nos solutions; - Déploiement (via ansible) des différents composants de notre service; - Maintien en conditions opérationnelles des plateformes et réalisation de leur monitoring; - Optimisation et sécurisation des composants du fait des grandes exigences de performance, fiabilité et sécurité de la plateforme; - Analyse et résolution des problèmes de performances ou les incidents non triviaux; - Gestion de l'ingestion des flux de données et traitement des erreurs éventuelles; - Création de l'outillage nécessaire à la bonne administration et au bon suivi de la plateforme; - Conseil vers clients internes sur les bons usages et aide dans les implémentations utilisant nos plateformes. Les principales technologies sont Elasticsearch, Linux et Kafka, et en secondaire Ansible et Python Si vous êtes intéressé, envoyez-moi votre CV par mail. Cordialement,

Bonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. Mission : Livrables n 1 : Sprint n 1 + Lot 1 : développement des US et tests associés ; + Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation ; + Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; + Lot 4 : Mise en place du monitoring ; Compétences transverses + Aisance relationnelle + Esprit d’équipe et d’adaptabilité + Esprit de synthèse + Rigueur et esprit d’analyse + Autonomie + Force de proposition + Vous avez le sens des priorités et la capacité à gérer les délais + Vous aimez le travail en mode multi-projets + Appétence client, besoin métier et compréhension du fonctionnel + Mentoring et partage de connaissances Expériences et formations Bac+3 à Bac+5 en informatique. Un bon niveau d’anglais technique est demandé. Expérience solide de 4/5 ans minimum en tant que Data Engineer dans le domaine recherché. 3 jours de télétravail par semaine Ca vous tente ? Postulez !! TEAM UCASE :)

PAS DE SOUS-TRAITANCE // MERCI Pour une mission longue durée nous recherchons un Data Engineer Activités et tâches : Mise en oeuvre de plusieurs produits data INTEGRATION, QUALIFICATION ET GESTION DES DONNÉES : Accompagner l'évolution de l'équipe vers des pratiques de développements plus robustes (craftmanship) Ingestion et traitement des sources de données Elaboration de système avancé de gestion de qualité de données Elaboration d'API/workflow Exposition des données (Elasticsearch, RDS) via des API pour les applications front Préparation des package de livraison en Infra as code Gestion du cycle de livraison en production MCO Rédaction des documentations techniques