Trouvez votre prochaine offre d’emploi ou de mission freelance Data engineer

Nous sommes à la recherche d'un(e) Data Ingénieur / Développeur Flux passionné(e) par les technologies de flux de données et le développement de solutions ETL/ESB. Rejoignez-nous pour faire partie d'une équipe dynamique et contribuer à la conception et à l'implémentation de projets data de haute qualité pour nos clients. Description de la mission : En tant que Data Ingénieur / Développeur Flux, vous serez intégré(e) à un plateau agile et vous aurez pour mission la conception et l'implémentation de solutions ETL/ESB pour nos clients. Vous travaillerez sur des projets data transverses, en étroite collaboration avec les équipes métier et business, et vous contribuerez à faire évoluer et à challenger les process de l'entreprise. Responsabilités : Concevoir et développer des programmes et applications ETL/ESB en fonction des spécifications fonctionnelles et des besoins client. Réaliser les procédures de tests techniques, d'intégration et de recette des développements. Analyser les problèmes techniques et fonctionnels et proposer des correctifs et des mises en conformité techniques. Élaborer et rédiger des documentations techniques à destination du service informatique client. Automatiser l'acquisition, la collecte et l'agrégation des données provenant de différentes sources. Gérer les bases de données de stockage et nettoyer, consolider et structurer les données à l'aide d'outils et d'algorithmes. Travailler en étroite collaboration avec les autres membres de l'équipe technique pour assurer la pertinence et la qualité des solutions développées.

L’équipe Reporting et Outils de TDMC – Pilotage des Flux, développe et maintient deux outils Intranets à destination des métiers. Ces outils nous permettent d’assurer un service de restitution et d’expertise en lien avec les interactions clients couvertes sur différents canaux (voix, emails, chat). Dans le cadre d’une mise en conformité de nos assets, des travaux ont démarré pour migrer nos Intranets dans un nouveau cadre technique. Celui-ci suppose des adaptations et évolutions de l’existant. Nous recherchons donc

Nous sommes à la recherche d'un Ingénieur Big Data pour palier au besoins de nos clients. Le candidat retenu sera chargé de concevoir, développer et maintenir l'infrastructure Big Data, ainsi que de travailler sur des projets d'analyse de données complexes. Responsabilités : Concevoir, développer et déployer des solutions Big Data évolutives et robustes. Mettre en place des pipelines de données pour l'acquisition, le stockage et le traitement de grands volumes de données. Travailler en étroite collaboration avec les équipes métier pour comprendre leurs besoins en matière d'analyse de données. Optimiser les performances des systèmes et des applications Big Data. Assurer la sécurité et la confidentialité des données tout au long du processus.

Bonjour, Nous recherchons pour notre client grand compte, secteur médias, un Data Engineer répondant au besoin ci-dessous. Nous étudions uniquement les candidatures qui nous sont adressées par MAIL [à freelance à insyco . fr] avec les informations suivantes : Argumentaire écrit répondant de façon ciblée au besoin CV à jour (format Word) Date de prochaine disponibilité Tarif journalier Merci d’indiquer la référence VSE/DE/4390 en objet du mail --- LA MISSION --- Le département Data IA (DaIA) a la charge de mettre à disposition des métiers un socle technologique transverse permettant de mettre en production et industrialiser les cas d’usage Data et IA du client en développant notamment une plateforme de donnée BigQuery. Pour cela, notre client recherche un Data Ingénieur qualifié pour nous aider à concevoir, construire et gérer nos systèmes de données : • Migration des données du SI entreprise vers la plateforme de données GCP • Participer à l’industrialisation des cas d’usage métiers du client • Assurer la qualité, la fiabilité et l'accessibilité des données. • Collaborer avec les équipes de data science pour comprendre les besoins en données et mettre en place les solutions appropriées. • Assurer la maintenance et l'optimisation des systèmes de données existants.

Data Engineer confirmé ayant une expérience de 3 à 5 ans sur des projets de tranformation de données dans un environnement cloud. Le candidat sera responsable de migrer des flux ETL développés sur Informatica vers Databricks. Une connaissance d'informatica et AWS est très appréciée. Le candidat doit maitriser le langage SQL et Python et avoir une bonne culture Data des best practices en terme de nettoyage, de transformation et modélisation de données Une certification sur Databricks est également fortement appréciée

Nous sommes à la recherche d'un Data Engineer ayant au moins 4 ans d'expérience, et possédant des compétences en SSAS/AAS Tabular. La mobilité sur Lille est requise, avec une présence sur site de 3 jours par semaine. Dans le cadre de ce poste : Le candidat sera chargé de mettre en place et de maintenir la plateforme de données, en veillant à ce que les données soient accessibles aux différents départements avec le niveau de qualité requis. Il devra également garantir la sécurité et la scalabilité du système d'information, aligné sur les objectifs de l'entreprise et les exigences internes et externes. En termes de responsabilités : Il sera responsable du développement des compétences techniques et de l'autonomie de l'équipe de Data Engineers, de faciliter la collaboration, et de mettre en place et de garantir les bonnes pratiques de développement et de documentation (DevOps). Il devra également industrialiser les modèles statistiques ou de machine learning selon les besoins du Product Owner, tout en assurant le maintien de la qualité globale, de la performance et en restant à jour sur les outils technologiques liés aux données. Il sera également chargé de collecter, stocker et rendre accessible les données, de recueillir les exigences métier détaillées auprès du Product Owner, de travailler en étroite collaboration avec le Data Architect pour valider les solutions techniques conformes aux normes et processus établis, et de mettre en place l'automatisation des traitements de données. Le candidat devra réaliser des tests unitaires, d'intégration et procéder à la mise en production, en maintenant la qualité des données et en automatisant leur nettoyage conformément aux règles du Data Steward. Il sera également responsable de gérer le cycle de vie des données conformément aux règles établies, et de superviser la qualité technique, la gestion opérationnelle et la sécurité de l'accès aux données.

Nous recherchons pour le compte d'un de nos clients un Data Engineer en gestion de données Azure, souhaitant contribuer à des projets innovants dans un environnement dynamique et en constante évolution. Vous aurez l'occasion de travailler sur des tâches variées allant de la gestion de base de données SQL sur Azure à l'automatisation des pipelines ETL et au développement de scripts Python pour le web scraping. xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

Nous recherchons un ingénieur et architecte de données polyvalent et expérimenté pour rejoindre notre client. Le candidat retenu jouera un rôle central dans la construction de pipelines de données robustes pour alimenter des systèmes d’IA générative de pointe. Ce rôle offre une opportunité passionnante de contribuer à des projets révolutionnaires à l’intersection de l’ingénierie des données et de l’intelligence artificielle, tout en assumant des responsabilités dans l’architecture des données. Les principales responsabilités sont les suivantes : Vous êtes en charge de la conception et de la construction de pipelines de données évolutifs permettant de récupérer, d’agréger et de prétraiter efficacement les données provenant de différentes sources, tout en garantissant une fiabilité et des performances élevées. Vous êtes en charge de la conception des modèles de données, des solutions de stockage et des schémas d’accès. Vous avez la possibilité de collaborer avec les parties prenantes pour comprendre les besoins et pour définir et faire évoluer la stratégie d’architecture des données, y compris la modélisation des données, le stockage et les schémas d’accès. Vous travaillez avec une équipe agile interfonctionnelle pour intégrer des données provenant de divers systèmes et sources, effectuer des processus d’extraction, de transformation et de chargement (ETL) et maintenir l’intégrité des données tout au long du pipeline, en itérant sur les solutions et en communiquant sur les progrès réalisés. Maîtrise des langages de programmation Une solide compréhension des technologies de base de données (par exemple, SQL, NoSQL), des entrepôt de données et d’Azure Expérience en architecture de données la conception de modèles de données, la définition de solutions de stockage et les schémas d’accès aux données. Familiarité avec le Machine learning, les concepts de traitement du langage naturel (NLP) et la Génération Augmentée de Récupération (RAG) est un plus. Vous avez d’excellentes compétences en matière de communication et de collaboration, et êtes capable de travailler efficacement dans un environnement d’équipe et dans le cadre de projets agiles.

Bonjour, VISIAN est une société de conseil spécialisée autour de l'innovation, la conception produit et la data. Dans un marché où les enjeux de recrutement sont clés et où le nombre de freelances est en constante augmentation, Visian a créé une entité dédiée au recrutement de freelances experts du digital et d’IT: VASKA. Dans le cadre de ses projets clients, VISIAN recherche un/e Data Engineer. Contexte : Le candidat intégrera un pôle Data à la DSI et une équipe projet qui sera responsable de migrer des flux d'intégration de données de POWER Center vers Databricks. Missions : Le candidat sera responsable de migrer des flux ETL développés sur Informatica vers Databricks. Une connaissance d'informatica et AWS est très appréciée. Le candidat doit maitriser le langage SQL et Python et avoir une bonne culture Data des best practices en terme de nettoyage, de transformation et modélisation de données Une certification sur Databricks est également fortement appréciée. Si vous êtes à l’écoute du marché en ce moment, je vous invite à postuler en m’envoyant votre candidature. Bien à vous, Justine

Nous recherchons pour le compte de notre client un profil + de 5ans d'expérience pour le poste Data Engineer, idéalement un profil avec une expérience dans le retail, industrie, grande distribution. Missions : - concevoir, développer, faire évoluer des systèmes de traitement et d’exposition de données robustes et scalables pour industrialiser nos solutions qui comprennent des algorithmes de machine learning, et de recherche opérationnelle - être au choix des bons outils et schémas architecturaux afin d’améliorer la performance des systèmes et de faciliter leur suivi et maintenance, dans une démarche cloud-first - contribuer de manière itérative aux projets, conduire des revues de code Environnement technique : Python, SQL, Docker, Kubernetes, Terraform, Git, Airflow, GCP

CITECH recrute ! 👌 👍 Si vous souhaitez apporter vos compétences dans la réalisation d’un projet important, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Data Engineer (H/F) 🚀 💰 Votre mission est pour un client reconnu dans le secteur bancaire, implanté dans de nombreuses villes en France, il a pour objectif d'accélérer sa transformation digitale afin d'offrir toujours plus de solutions et de services innovants. 💳 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Support de l'application (notamment lors des clôtures mensuelles). 🔸 Participer à la maintenance évolutive. 🔸 Participer à la conception et l'implémentation de nouvelles fonctionnalités. 🔸 Participer à la refonte technique. 🔸 Participer à la migration de Talend vers Spark/scala.

Ingestion des données sources via NIFI dans des tables de travail Cassandra ou en parquet sur AWS S3 Développement des Traitements Spark/Scala en lots des données sources ingérées Traitement au quotidien des nouvelles données clients (ajout nouveaux clients Enrichissement au quotidien des données des clients avec des fichiers de scoring et de segmentation (fournis par un autre projet) Traitement toutes les 8 heures des nouvelles ventes avec notamment la mise à jour des ventes auditées ainsi que l’enrichissement des ventes avec les données des clients Ingestion toutes les 8 heures des données des ventes dans Druid Ajout et mise à jour des nouveaux produits des marques avec leur description, leur taille, leurs stocks …. Traitement en temps réel via Kafka/Spark des données sources fournies par les marques dans les topics dédiés : Enrichissement des données des produits des différentes marques en temps réel avec les informations des stocks, des prix Mise à jour temps réel des données des ventes Mise à jour temps réel des données clients Mise à jour des commandes clients Anonymisation des informations clients (RGPD) Mise à jour des stocks disponibles en magasin Exposition des informations des produits en transit (magasin d’origine, magasin destination) afin que les utilisateurs de Luce puissent estimer leurs dates de livraison Traitement et Stockage des données dans Apache Solr et Cassandra Exposition des données traitées dans une API nodejs à travers Cassandra et Solr Ingestion des données des ventes et commandes sur Apache Druid via NIFI Mise en place de tests automatiques afin d’éviter les régressions suite aux nouvelles évolutions Développement de tests unitaires avant déploiement Garantie de la cohérence des données Planification des heures de lancement des différents traitements afin d’éviter d’avoir des données corrompues Déploiement des différents traitements Spark via Jenkins/Livy dans les environnements dédiés Monitoring des Jobs Spark via Yarn et Spark UI avec un système d’alerting via Slack en cas de problème durant les traitements Mise en place de logs qui seront ensuite déposés dans ElasticSearch afin de faciliter la résolution et la recherche des bugs Optimisation des différents traitements Data (optimisation du code Spark, des traitements NIFI) Migration de tous nos workflows NIFI, traitements de données en lots/ temps réel Spark sur Amazon AWS Migration de l’api ainsi que des tables et collections utilisées dans Cassandra Environnement sur AWS Ordonnancement des tâches via Airflow/Python, gestion des différentes dépendances entre les traitements Mise à jour d’une librairie Airflow pour le lancement de nos Jobs Sparks ainsi que le monitoring (vérification des statuts des traitements). Mise en place des capteurs (sensors) nécessaires pour le suivi des statuts des traitements Mise à jour d’une librairie générique Spark pour les jobs d’ingestion via parquet/csv/json

Prendre en charge la transformation des données (nettoyage, préparation) pour y appliquer les traitements analytiques pour les DS et les DA. Les missions : - Recueillir les besoins en données (Data Product Owner, Data Analysts, Data Scientists) et analyser les sources de données. - Coordonner la mise en place de l’architecture Data &Analytics, conçue avec le data architect et en garantir le bon fonctionnement, la disponibilité, l’évolution et la performance technique des outils - Développer les pipelines d’intégration de donnée et la data quality en collaboration avec les Data Product Owner, Data Analysts et Data Scientists - Garantir l’industrialisation et l’automatisation de la chaîne de valeur de la donnée, en y intégrant les algorithmes décisionnels et les modèles de prédiction des données - Effectuer une veille sur les nouvelles technologies et solutions et participer activement à l’effort R&D - Contribuer à l’évolution des pratiques dans son domaine de compétences, en étant actif dans des réseaux de veille

Je cherche à parler à des ingénieurs DevOps ayant une expérience Data pour travailler sur un projet pendant 12 mois à Paris (Centre). Ce rôle est fortement axé sur Python (scripts, automatisation) et les pipelines de données. Il existe également Cloud AWS, donc une expérience avec les services AWS (EC2, S3, Lambda, etc.) est un atout important pour ce poste. - Ingénieur de données DevOps - Paris Centre - Durée de 12 Mois - Date de début : Mai - TJM: 500-650EUR Le Role: - Développer des scripts pour automatiser les tâches de données - Travailler sur les pipelines de données pour garantir la qualité et la fiabilité des données - Effectuer une analyse des systèmes de données existants et fournir des solutions pour augmenter les performances et la disponibilité - Aider à la conception et à l’architecture des systèmes de données garantissant l’évolutivité et la résilience Profil idéal : - Expérience avérée en tant qu’ingénieur de données avec un fort accent sur la fiabilité des données - Solide compréhension des principes d’ingénierie des données, des technologies de traitement des données et des principes ETL - Maîtrise des scripts Python, SQL et Shell - Familiarité avec Spark et Kafka - Anglais courant

Nous recherchons pour l’un de nos clients un Data Engineer AWS. Contexte de la mission : Au sein de l'équipe chargée de développer des outils internes d’une entité, constituée de 10 personnes : Développeurs back/frond end et Ingénieurs Data, le Data Engineer AWS est en charge de mener à bien un besoin clé du Groupe autour du sujet Zéro Carbone. Affecté à l'équipe métier, nous travaillons en mode Scrum en collaboration avec un autre Data Engineer et un PO pour réaliser les tâches et mener à bien le projet à terme. Missions : - Créer des fonctions AWS Lambda et pour consommer des APIs provenant de l'extérieur (données Gas/Power) et alimenter nos buckets S3 dédiés. - Développer des jobs AWS Batch pour alimenter nos buckets S3 avec des données pré-calculées de l'intensité Carbon du Groupe et de ses clients. - Mettre en place des dashboards sur Quicksight pour visualiser les résultats. - Développer une API Flask et exposer les calculs via Swagger. - Exploration des données via AWS Athena. - Mise en place de Jupyter Notebooks pour exposer et valider nos premiers résultats de calculs aux métiers. - Scheduler des jobs via CloudWatch et StepFunctions. - Archiver l'ensemble du code dans Git et mettre en place un déploiement automatique via Azure Devops - Mise en place de WebApps sur Azure pour héberger nos API Flask. - Collaborer avec nos clients pour présenter nos calculs et les accompagner. Environnement technique : Spark, Python, Jupyter/ Pytest, Flask, Swagger, AWS Lambda/ Athena/ CloudWatch/ QuickSight/ Batch / S3/ Partionning/ Bucketing, Azure Devops/ Functions/ AppService/ Web Apps.

Nous recherchons pour un de nos clients grand compte un(e) Data Engineer (F/H), Missions: Développer les compétences techniques et l'autonomie de l'équipe de Data Engineer Faciliter la coopération Développer et garantir les pratiques de développement et de documentation associés (DevOps) Développer l'industrialisation de modèles statistiques ou de machine learning demandés par le Product Owner Garantir le maintien et la qualité de fonctionnement d'ensemble ainsi que la performance Assurer une veille technologique sur les outils data Collecter, stocker puis exposer les données Recueillir les besoins métiers détaillés auprès du Product Owner Définir et valider avec le Data Architect les solutions techniques en cohérence avec les normes, standards et processus Développer les solutions techniques de collecte / stockage / exposition de la donnée Mettre en place l'automatisation des traitements (pipelines) Réaliser les tests unitaires, d'intégration et procéder à la mise en production Mettre et maintenir en qualité les données Industrialiser et automatiser le nettoyage de la donnée selon les règles du Data Steward Gérer le cycle de vie de la donnée conformément aux règles définies Manager la qualité technique, la gestion du run et sécuriser l’accès aux données