Trouvez votre prochaine offre d’emploi ou de mission freelance Data engineer

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs : un Data Engineer Expérimenté (H/F) – Paris Mission à pourvoir en régie sur Paris Présence sur site : 3 jours / semaine Compétences obligatoires : Python ; AWS ; PySpark ; Airflow ; Github ; anglais courant Votre mission : - Apporter une expertise sur la constitution des datasets et KPIs - Accompagner l’équipe sur les meilleurs choix techniques - Assurer la qualité des traitements et des données - Comprendre un modèle de données et s’en servir - Maitriser et contrôler la qualité de code - Mettre en place des indicateurs de mesure de qualité sur chaque développement REF : EFP/GMCPP/ODVB Plus d’offres sur :

Sapiens Group recherche pour le compte de l'un de ses clients basé à Lille un Data engineer Senior disponible sous peu Vos missions : • Vous concevez, alimentez et maintenez les data pipelines, les différents espaces de stockage et leur code source ( IaC) • Vous êtes acteur de la qualité des données que nous servons à nos clients. Pour répondre, vous savez interpréter les données et comprendre les besoins fonctionnels. • Vous êtes acteur de la disponibilité et de la performance des solutions de collecte, transformation, stockage et exposition que vous mettez en place avec l’équipe. • Vous définissez et mettez en place le monitoring adéquate. • Vous formalisez, documentez et généralisez les bonnes pratiques pour accélérer l'apprentissage au sein des équipes travaillant avec les données. • Vous appliquez la data gouvernance et les règles de data management

Nous recherchons pour l'un de nos clients, une entreprise du CAC 40, un(e) Data Engineer senior pour intégrer une mission longue de 3 ans. Le rôle du Data Engineer senior dans ce projet impliquera la conception et la mise en œuvre des composants de plateforme suivants : • Ingestion de données • Traitement et normalisation des données. • Distribuer les données aux différentes parties prenantes. • Construire et améliorer un cadre commun comprenant la surveillance, le CI/CD, les tests, les performances, la résilience, les pratiques de développement et la qualité du code…

Data engineer Spark Scala senior • Exploitation o Rapports d’exploitation o Visualisation du réalisé, des passages manquants • Validations et contrôle • Le développement de nouvelles fonctionnalités et correction d’anomalies sur l’application Vizion hébergée par la plateforme data groupe : o dans le respect de la qualité attendue • La participation active aux cérémonies agile o Daily meeting o Sprint planning Développement Scala/Spark • Maîtrise de l’environnement technique (AWS Databricks, AWS S3) • Expériences sur la Qualité logicielle (revue de code ; conformité aux critères de qualité SONAR, tests automatisés) • La connaissance de Power BI (Azure) est un plus 500 e

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un.e Consultant(e) Data Engineer Senior (H/F). 2 Data Engineers Seniors Expérience : Entre 8 et 15 ans Localisation : Noisy le Grand Démarrage : 01/06/2024 Contexte de la mission : - Développer de nouvelles fonctionnalités et corriger les anomalies sur l'application hébergée par la plateforme data groupe : - Respecter la qualité attendue par le Client - Utiliser les technologies autorisées par le Client - Participer activement aux cérémonies agile organisées par la Squad : - Daily meeting - Sprint planning - Sprint review (démonstration du développement réalisé) - Sprint rétrospective Livrables attendus : - Code développé dans le respect du cadre contractuel et de la qualité attendue - Compte-rendu d'activité mensuel Compétences demandées : Techniques : - Développement Scala/Spark - Maîtrise de l'environnement technique (AWS Databricks, AWS S3) - Expériences sur la qualité logicielle (revue de code, conformité aux critères de qualité SONAR, tests automatisés) - Connaissance de Power BI (Azure) est un plus Fonctionnelles : - Méthode Agile - Expérience sur des projets de technologies similaires - Connaissance du domaine Data - Expérience de travail sur des projets en équipe, avec la capacité de solliciter son écosystème au bon moment Profil recherché : Nous recherchons des professionnels autonomes, méthodiques et rigoureux avec une bonne aptitude relationnelle. Les candidats doivent savoir s'organiser, anticiper, prioriser et respecter les délais. Ils doivent également avoir une capacité d'analyse, de propositions et de conseils, tout en prenant des initiatives et en étant capables d'identifier les difficultés pour remonter les bonnes alertes.

Notre client, société en pleine croissance, spécialisé dans le domaine de la Big Data, recherche des Consultants Data Engineer ! Participez à cette aventure et rejoignez une formidable équipe. Vos missions principales seront diversifiées, comprenant notamment : - Participation aux processus d'avant-vente : Vous contribuerez à l'élaboration des propositions techniques, mettant en avant votre expertise pour répondre aux besoins des clients. - Qualification technique des prestataires : Vous participerez activement à l'évaluation et à la sélection des prestataires, garantissant un partenariat de qualité. - Direction et coordination des projets : Vous dirigerez et coordonnerez la conception et la mise en oeuvre des projets, assurant leur réussite technique. - Documentation technique : Vous élaborerez, au besoin, des dossiers d'architecture, d'installation et d'exploitation, assurant une traçabilité et une compréhension optimale des solutions mises en place. - Participation active aux développements : Vous apporterez votre expertise en contribuant directement aux développements dans le cadre des projets. De manière plus étendue, vous aurez l'opportunité de : - Enrichir les bonnes pratiques : Vous contribuerez à l'évolution et à l'amélioration des bonnes pratiques d'architecture et de développement dans le domaine du Big Data. - Veille technologique : Vous réaliserez une veille constante sur les avancées technologiques du secteur, assurant ainsi la pertinence des solutions proposées. - Formation technique : Vous élaborerez des supports de formation technique pour nos clients et/ou nos consultants juniors, partageant ainsi votre savoir-faire. - Animation du pôle technique : Vous participerez activement à l'animation du pôle technique favorisant un environnement collaboratif et innovant.

💡 Missions pour le Data Engineer : Développement et maintenance : Créer et maintenir des ETLs et des pipelines de données robustes en utilisant Talend, MS BI, Azure ( DataFactory ), GCP ( BigQuery ) , SQL, Python, Scala... Modélisation des données : Proposer des modèles de données fiables et optimisés en termes de stockage et de traitement. Automatisation : Implémenter des processus de CI/CD pour automatiser le déploiement et la gestion des infrastructures de données. Analyse et reporting : Développer des rapports et des dashboards en utilisant Looker, Power BI, Qlikview, Tableau, pour faciliter l'accès aux insights data-driven.

La prestation consiste à contribuer à/au(x) :  Cadrage analyse des besoibs et chiffrage des projets BI (et validation) et assistance et expertise dans la mise en plave de la stratégie et solution technique.  L'assistance et l'expertise sur l’architecture BI tant sur des aspect CUBE que Power BI  La conduite du changement dans la mise en œuvre et l’uniformisation des pratiques en terme de BI  La définition des normes et standards de qualité édictés (qualité de code, sécurité, performance, build automatique, analytics)  La définition du bon niveau de la documentation technique et mise à jour associée  Diverses étapes de développements notamment sur les développements complexes : chiffrage, conception et developpement, spécifications techniques, mise en place, tests, déploiement, revue de code  L'analyse des besoins BI avec les métiers Les livrables attendus sont : Specification des données nécessaires Mise en place de la pipeline nécessaire dashboard Power BI développés et optimisées Assistance aux utilisateurs dans la prise en main du dashbaord

Responsabilités : • Maîtrise de SingleStore : Concevoir et mettre en œuvre des solutions de données robustes et performantes en utilisant SingleStore pour répondre aux besoins d'intégration et de traitement des données. • Développement de pipelines de données : Concevoir et implémenter des pipelines de données efficaces en utilisant les technologies les plus récentes, avec une attention particulière portée à l'intégration de données provenant de différentes sources. • Transformation avancée des données : Utiliser votre expertise pour développer des fonctions avancées en SQL, DBT, Python ou Rust afin de transformer et de manipuler les données de manière innovante. • Optimisation des performances : Appliquer votre passion pour optimiser les performances des bases de données distribuées, en relevant les défis complexes liés à cette technologie. • Intégration avec PowerBI et création de tableaux de bord : Contribuer à une intégration transparente avec PowerBI en créant des cubes et des tableaux de bord personnalisés. • Partage des connaissances : Documenter rigoureusement le code développé et fournir une formation pour encourager une culture de collaboration et d'excellence technique.

Notre client, entité bancaire recherche un Ingénieur Data (H/F), démontrant un vif intérêt pour les technologies de pointe, en particulier Singlestore. La mission concerne : - La mise en place, collecte et mise à disposition des données au sein de l’entreprise - L'industrialisation et la mise en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent. Activités principales : - Acheminement de la donnée - Mise à disposition de la donnée aux équipes utilisatrices - Mise en production de modèles statistiques - Suivi de projet de développement - Développement job spark - Traitement et ingestion de plusieurs formats des données - Développement des scripts - Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données - Développement des moyens de restitution via génération de fichier et ou API & Dashboarding - Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers - Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) - Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP - Participer à la conception, mise en place et administration de solutions Big Data - Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka - Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

La mission consiste à : - Exposer les données utiles à l’entreprise pour les analyser et les utiliser afin d’améliorer l’expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l’entreprise - Travailler en lien avec des Data Scientists/Analysts sur les données qu’il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Formation supérieure en école d’ingénieur, école d’informatique ou Master spécialisé dans la Data Science - Première expérience en Data Engineering indispensable - GCP, BigQuery, SQL, Python, Stambia, Shell, Data Studio, Power BI, Qlikview,... - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation de différents projets, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Data Engineer Spark/Scala (H/F) 🚀 💰 Votre mission est pour un client du secteur banque et assurance qui dispose de 3000 caisses locales sur l’ensemble du territoire ainsi que de 8000 conseillers. Le projet est pour l’une de ses caisses. 📝 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Conception détaillée, fonctionnelle et technique des solutions SPARK/SCALA 🔸 Développement de scripts et modules en SPARK/SCALA 🔸 Formalisation et exécution des plans de tests 🔸 Résolution des anomalies rencontrées lors des phases d'intégration fonctionnelle et de recette utilisateur 🔸 Packaging et déploiement des solutions développées en environnements de pré-production et de production 🔸 Optimisation des traitements Big Data 🔸 Mise en œuvre des solutions industrielles de réentrance

Concevoir, développer et maintenir des pipelines de données efficaces pour l'extraction, la transformation et le chargement (ETL) des données à partir de multiples sources vers le data warehouse ou le lac de données. Identifier et résoudre les problèmes de performance liés aux pipelines de données, aux requêtes SQL et aux rapports pour garantir des temps de réponse rapides et une disponibilité élevée des données. Gérer les flux de données, la qualité des données, la gouvernance des données et les politiques de sécurité pour garantir l'intégrité et la confidentialité des données. Travailler en étroite collaboration avec les équipes métier, les analystes de données, les ingénieurs logiciels et les administrateurs de bases de données pour comprendre les besoins en données et fournir des solutions adaptées. Documenter les processus ETL, les schémas de données, les modèles de données et les meilleures pratiques pour assurer la traçabilité et la reproductibilité des analyses.

A propos de JEMS Nous sommes le seul industriel de la donnée en Europe. Notre métier est de créer, manager et exploiter le patrimoine data de nos clients. Nous avons la conviction que chaque entreprise peut adopter une démarche innovante de gestion de la donnée et créer des cas d'usage disruptifs en réduisant l'impact écologique et en diminuant la dette technique. Nous comptons plus de 840 collaborateurs en mission chez nos clients grands comptes dans tout secteur d'activité : banque, assurance, santé, énergie, e-commerce, automobile, luxe, retail, transport, agritech... Vos missions Nous recherchons un(e) data engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management Transcrire des besoins métier en règles de gestion data Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Vos compétences En tant que Data Engineer vous maîtrisez : Le langage SQL Un langage objet (Python, JAVA, Scala) Un framework de calcul distribué L'intégration continue (Git, JUnit, SonarQube, Jenkins) Un cloud provider (AWS, GCP, Azure) ou une distribution Big Data (Hortonworks, Cloudera, Datastax) Les concepts de la modélisation relationnelle et non-relationnelle Votre profil Diplômé(e) d'une école d'ingénieur ou d'une université, vous justifiez d'une expérience professionnelle dans un contexte projet Data. Rigoureux, proactif et autonome vous restez en veille technologique et êtes force de proposition. Vous êtes capable de prendre de la hauteur et vous adapter aux enjeux du projet. Avantages à travailler chez JEMS Une JEMS Académie au service de votre montée en compétences (formations et certifications sur les technologies de pointe) Un accompagnement personnalisé et un management de proximité pour vous proposer des évolutions de carrière Une intégration dans des communautés techniques et de pratiques JEMS (encadrement par des experts, échanges sur les bonnes pratiques, favoriser l'innovation...) Une entreprise reconnue \"Great Place To Work\" Des évènements et séminaires inoubliables, des soirées d'agence conviviales Mobilité Une mobilité nationale et internationale pour vous accompagner dans vos projets de vie. Diversité Le Groupe JEMS porte fièrement sa valeur \"Diversité\" en se mobilisant pour l'inclusion et l'égalité des chances et en luttant contre toutes formes de discrimination. Tous nos postes sont ouverts aux personnes en situation de handicap.

Notre école recherche activement pour le compte de l'un de ses clients un grand groupe, plusieurs Data Engineer / Data Analyst / Data Scientist en alternance pour une durée de 15 ou 24 mois dans le but de suivre en parallèle une formation en Master DATA Engineer Attention: Partenariat exclusif avec notre école Missions : Effectuer l’intégration et la construction des offres Data & IA ; Accompagner l’équipe dans la construction, la structuration et l’intégration des offres Data & IA ; Automatiser et industrialiser des solutions ; Intégrer les offres de solutions de monitoring, alerting, restriction de droits ; Effectuer la veille technologique autour de la Data, l’IA, POC, tests de performances et comparaisons de solutions.

Nous recherchons pour l’un de nos clients, un(e) Data Engineer. Vous serez en charge de : -Construire les nouveaux cas d'usage sous Google Cloud Platform et participer au développement des nouveaux projets. -Etre garant de l'accès qualitatif aux sources de données. -De s'assurer de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d'en faciliter l'exploitation par les équipes (Data Analysts et Data Scientists). -Contribuer également à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer. -Son périmètre d'intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT. -Assurer la supervision et l'intégration des données de diverse nature qui proviennent de ces sources multiples et vérifie la qualité des données qui entrent dans le Data Lake (il recette de la donnée, supprime les doublons, ?).