Trouvez votre prochaine offre d’emploi ou de mission freelance Data engineer

Vous interviendrez au sein de l’équipe Analytics et contribuerez au développement de la plateforme DataHub, dans un environnement international. Missions Analyser les besoins auprès des utilisateurs de Datahub (métiers, équipes IT, process...), formalisation des échanges, des process et développements à effectuer Activités DevOps pour les applications Datahub : Effectuer les déploiements et mises à jour d’applications sur clusters Kubernetes Assurer la customisation et les paramétrages avancés d’applications open-sources Participer à l’amélioration continue de la stabilité des applications Réaliser le monitoring des applications Veiller à la réalisation et au suivi des sujets d’architecture IT avec des spécialistes architecture IT (réseau, cluster Kuberneters, bases de données relationnelles, containers, usage des ressources de calculs) Réaliser les développements : Automatisation de tâches planifiées (rafraichissements de données, calculs de KPI, opérations techniques…) avec Python Traitement de données Parquet (modifications des données et schémas) avec pyArrow, pySpark ou polars Requêtes Adhoc, qualité de données, modélisation et réalisation de développements SQL complexes (Ex : datasets pour rapports BI), performance tuning

Responsabilités : • Maîtrise de SingleStore : Concevoir et mettre en œuvre des solutions de données robustes et performantes en utilisant SingleStore pour répondre aux besoins d'intégration et de traitement des données. • Développement de pipelines de données : Concevoir et implémenter des pipelines de données efficaces en utilisant les technologies les plus récentes, avec une attention particulière portée à l'intégration de données provenant de différentes sources. • Transformation avancée des données : Utiliser votre expertise pour développer des fonctions avancées en SQL, DBT, Python ou Rust afin de transformer et de manipuler les données de manière innovante. • Optimisation des performances : Appliquer votre passion pour optimiser les performances des bases de données distribuées, en relevant les défis complexes liés à cette technologie. • Intégration avec PowerBI et création de tableaux de bord : Contribuer à une intégration transparente avec PowerBI en créant des cubes et des tableaux de bord personnalisés. • Partage des connaissances : Documenter rigoureusement le code développé et fournir une formation pour encourager une culture de collaboration et d'excellence technique.

💡 Missions pour le Data Engineer : Développement et maintenance : Créer et maintenir des ETLs et des pipelines de données robustes en utilisant Talend, MS BI, Azure ( DataFactory ), GCP ( BigQuery ) , SQL, Python, Scala... Modélisation des données : Proposer des modèles de données fiables et optimisés en termes de stockage et de traitement. Automatisation : Implémenter des processus de CI/CD pour automatiser le déploiement et la gestion des infrastructures de données. Analyse et reporting : Développer des rapports et des dashboards en utilisant Looker, Power BI, Qlikview, Tableau, pour faciliter l'accès aux insights data-driven.

La mission consiste à : - Exposer les données utiles à l’entreprise pour les analyser et les utiliser afin d’améliorer l’expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l’entreprise - Travailler en lien avec des Data Scientists/Analysts sur les données qu’il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Formation supérieure en école d’ingénieur, école d’informatique ou Master spécialisé dans la Data Science - Première expérience en Data Engineering indispensable - GCP, BigQuery, SQL, Python, Stambia, Shell, Data Studio, Power BI, Qlikview,... - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais

Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : - Conception détaillée, fonctionnelle et technique. - Développements SPARK / SCALA - Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. - Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. - Packaging et déploiement en pre-production et production. - Optimisation des traitements afin de garantir la qualité de service standards du DWG. - Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. - Mise en service et accompagnement au déploiement. - Suivi des environnements. Le consultant devra travailler en étroite collaboration avec le Chef de Projet, responsable du lot et l'équipe de développement du Programme. Une connaissance d'Oracle est nécessaire Une expérience >5 ans sur des technologies SPARK & SCALA est nécessaire Une connaissance de contexte technologique similaire est un plus

Notre client, entité bancaire recherche un Ingénieur Data (H/F), démontrant un vif intérêt pour les technologies de pointe, en particulier Singlestore. La mission concerne : - La mise en place, collecte et mise à disposition des données au sein de l’entreprise - L'industrialisation et la mise en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent. Activités principales : - Acheminement de la donnée - Mise à disposition de la donnée aux équipes utilisatrices - Mise en production de modèles statistiques - Suivi de projet de développement - Développement job spark - Traitement et ingestion de plusieurs formats des données - Développement des scripts - Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données - Développement des moyens de restitution via génération de fichier et ou API & Dashboarding - Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers - Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) - Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP - Participer à la conception, mise en place et administration de solutions Big Data - Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka - Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

Concevoir, développer et maintenir des pipelines de données efficaces pour l'extraction, la transformation et le chargement (ETL) des données à partir de multiples sources vers le data warehouse ou le lac de données. Identifier et résoudre les problèmes de performance liés aux pipelines de données, aux requêtes SQL et aux rapports pour garantir des temps de réponse rapides et une disponibilité élevée des données. Gérer les flux de données, la qualité des données, la gouvernance des données et les politiques de sécurité pour garantir l'intégrité et la confidentialité des données. Travailler en étroite collaboration avec les équipes métier, les analystes de données, les ingénieurs logiciels et les administrateurs de bases de données pour comprendre les besoins en données et fournir des solutions adaptées. Documenter les processus ETL, les schémas de données, les modèles de données et les meilleures pratiques pour assurer la traçabilité et la reproductibilité des analyses.

A propos de JEMS Nous sommes le seul industriel de la donnée en Europe. Notre métier est de créer, manager et exploiter le patrimoine data de nos clients. Nous avons la conviction que chaque entreprise peut adopter une démarche innovante de gestion de la donnée et créer des cas d'usage disruptifs en réduisant l'impact écologique et en diminuant la dette technique. Nous comptons plus de 840 collaborateurs en mission chez nos clients grands comptes dans tout secteur d'activité : banque, assurance, santé, énergie, e-commerce, automobile, luxe, retail, transport, agritech... Vos missions Nous recherchons un(e) data engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management Transcrire des besoins métier en règles de gestion data Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Vos compétences En tant que Data Engineer vous maîtrisez : Le langage SQL Un langage objet (Python, JAVA, Scala) Un framework de calcul distribué L'intégration continue (Git, JUnit, SonarQube, Jenkins) Un cloud provider (AWS, GCP, Azure) ou une distribution Big Data (Hortonworks, Cloudera, Datastax) Les concepts de la modélisation relationnelle et non-relationnelle Votre profil Diplômé(e) d'une école d'ingénieur ou d'une université, vous justifiez d'une expérience professionnelle dans un contexte projet Data. Rigoureux, proactif et autonome vous restez en veille technologique et êtes force de proposition. Vous êtes capable de prendre de la hauteur et vous adapter aux enjeux du projet. Avantages à travailler chez JEMS Une JEMS Académie au service de votre montée en compétences (formations et certifications sur les technologies de pointe) Un accompagnement personnalisé et un management de proximité pour vous proposer des évolutions de carrière Une intégration dans des communautés techniques et de pratiques JEMS (encadrement par des experts, échanges sur les bonnes pratiques, favoriser l'innovation...) Une entreprise reconnue \"Great Place To Work\" Des évènements et séminaires inoubliables, des soirées d'agence conviviales Mobilité Une mobilité nationale et internationale pour vous accompagner dans vos projets de vie. Diversité Le Groupe JEMS porte fièrement sa valeur \"Diversité\" en se mobilisant pour l'inclusion et l'égalité des chances et en luttant contre toutes formes de discrimination. Tous nos postes sont ouverts aux personnes en situation de handicap.

Nous recherchons pour l’un de nos clients, un(e) Data Engineer. Vous serez en charge de : -Construire les nouveaux cas d'usage sous Google Cloud Platform et participer au développement des nouveaux projets. -Etre garant de l'accès qualitatif aux sources de données. -De s'assurer de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d'en faciliter l'exploitation par les équipes (Data Analysts et Data Scientists). -Contribuer également à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer. -Son périmètre d'intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT. -Assurer la supervision et l'intégration des données de diverse nature qui proviennent de ces sources multiples et vérifie la qualité des données qui entrent dans le Data Lake (il recette de la donnée, supprime les doublons, ?).

Nous sommes à la recherche d'un(e) Data Ingénieur / Développeur Flux passionné(e) par les technologies de flux de données et le développement de solutions ETL/ESB. Rejoignez-nous pour faire partie d'une équipe dynamique et contribuer à la conception et à l'implémentation de projets data de haute qualité pour nos clients. Description de la mission : En tant que Data Ingénieur / Développeur Flux, vous serez intégré(e) à un plateau agile et vous aurez pour mission la conception et l'implémentation de solutions ETL/ESB pour nos clients. Vous travaillerez sur des projets data transverses, en étroite collaboration avec les équipes métier et business, et vous contribuerez à faire évoluer et à challenger les process de l'entreprise. Responsabilités : Concevoir et développer des programmes et applications ETL/ESB en fonction des spécifications fonctionnelles et des besoins client. Réaliser les procédures de tests techniques, d'intégration et de recette des développements. Analyser les problèmes techniques et fonctionnels et proposer des correctifs et des mises en conformité techniques. Élaborer et rédiger des documentations techniques à destination du service informatique client. Automatiser l'acquisition, la collecte et l'agrégation des données provenant de différentes sources. Gérer les bases de données de stockage et nettoyer, consolider et structurer les données à l'aide d'outils et d'algorithmes. Travailler en étroite collaboration avec les autres membres de l'équipe technique pour assurer la pertinence et la qualité des solutions développées.

Dans le cadre d'une assistance technique, pour l'un de nos clients se trouvant en métropole Lilloise, nous recherchons: Un/une: Data Engineer / Analytics engineer. Vos missions sont les suivantes: - Automatiser et industrialiser les pipelines de transformation de données qui servent aux dashboards, modèles IA et data analyses - Construire et modéliser la semantic layer de domaine métier (commerce, supply, sports, etc.) ; - Définir la stratégie de nos stacks techniques et garantir la qualité des données exposées ; - Maintenir et repenser les datasets et pipelines existants pour servir une plus large variété de use cases ; - Permettre de l'analytique intelligente en construisant des datasets robustes, fiables et pertinents ; - Contribuer activement à notre communauté d'analytics engineers et de data engineers ; Et après ? En tant que véritable partie prenante de DAVRICOURT, vous vous verrez proposer des projets techniques et à forte valeur ajoutée par nos équipes.

Bonjour, VISIAN est une société de conseil spécialisée autour de l'innovation, la conception produit et la data. Dans un marché où les enjeux de recrutement sont clés et où le nombre de freelances est en constante augmentation, Visian a créé une entité dédiée au recrutement de freelances experts du digital et d’IT: VASKA. Dans le cadre de ses projets clients, VISIAN recherche un/e Data Engineer. Contexte : Le candidat intégrera un pôle Data à la DSI et une équipe projet qui sera responsable de migrer des flux d'intégration de données de POWER Center vers Databricks. Missions : Le candidat sera responsable de migrer des flux ETL développés sur Informatica vers Databricks. Une connaissance d'informatica et AWS est très appréciée. Le candidat doit maitriser le langage SQL et Python et avoir une bonne culture Data des best practices en terme de nettoyage, de transformation et modélisation de données Une certification sur Databricks est également fortement appréciée. Si vous êtes à l’écoute du marché en ce moment, je vous invite à postuler en m’envoyant votre candidature. Bien à vous, Justine

Afin d'accompagner notre client dans la gestion, l’analyse des données, et de leur transformation en données exploitables, NORGAY recrute un Data Engineer (H/F). Pour cela, vous collaborerez avec le reste de l’équipe Data pour définir les meilleures solutions d’analyses de données à mettre en place pour répondre aux besoins métiers. Vous serez également en lien avec l’équipe en charge de l’infrastructure Data avec qui vous définirez les solutions techniques appropriées pour assurer les meilleures performances possibles. Ce qui vous attend : Comprendre et modéliser les problématiques métier ; Définir avec justesse le périmètre des données nécessaire à la solution technique ; Modéliser des résultats d’analyse des données pour les rendre lisibles, exploitables et actionnables ; Créer des visualisations appropriées aux besoins.

Cette mission implique la gestion à la fois des angles transactionnels et décisionnels du système. L'objectif ultime est le découplage et la digitalisation de l'architecture et des processus métiers de l'entreprise, dans une démarche de CI/CD (Intégration Continue / Livraison Continue). Responsabilités :- Concevoir, développer, et déployer le middleware en utilisant des technologies telles que Spark, Python, Kafka, Kubernetes, etc.- Assurer l'intégration et la compatibilité du middleware avec l'environnement Cloud de l'entreprise.- Collaborer avec les équipes techniques et métier pour comprendre les besoins et les exigences.- Assurer la supervision et la résolution des problèmes liés à l'architecture.- Mentorat des membres de l'équipe junior pour les aider à monter en compétences sur les technologies et les concepts utilisés.

Nous sommes à la recherche d'un Ingénieur Big Data pour palier au besoins de nos clients. Le candidat retenu sera chargé de concevoir, développer et maintenir l'infrastructure Big Data, ainsi que de travailler sur des projets d'analyse de données complexes. Responsabilités : Concevoir, développer et déployer des solutions Big Data évolutives et robustes. Mettre en place des pipelines de données pour l'acquisition, le stockage et le traitement de grands volumes de données. Travailler en étroite collaboration avec les équipes métier pour comprendre leurs besoins en matière d'analyse de données. Optimiser les performances des systèmes et des applications Big Data. Assurer la sécurité et la confidentialité des données tout au long du processus.

Prendre en charge la transformation des données (nettoyage, préparation) pour y appliquer les traitements analytiques pour les DS et les DA. Les missions : - Recueillir les besoins en données (Data Product Owner, Data Analysts, Data Scientists) et analyser les sources de données. - Coordonner la mise en place de l’architecture Data &Analytics, conçue avec le data architect et en garantir le bon fonctionnement, la disponibilité, l’évolution et la performance technique des outils - Développer les pipelines d’intégration de donnée et la data quality en collaboration avec les Data Product Owner, Data Analysts et Data Scientists - Garantir l’industrialisation et l’automatisation de la chaîne de valeur de la donnée, en y intégrant les algorithmes décisionnels et les modèles de prédiction des données - Effectuer une veille sur les nouvelles technologies et solutions et participer activement à l’effort R&D - Contribuer à l’évolution des pratiques dans son domaine de compétences, en étant actif dans des réseaux de veille