Trouvez votre prochaine offre d’emploi ou de mission freelance Data engineer

En tant que Data Engineer, vous serrez être en charge de la mise en oeuvre de projets BI Business en plus d'être responsable du développement de solutions d'ingestion et d'analyse de données (entrepôts de données, data marts, etc.) Vos tâches : Architecture de systèmes de données : concevoir des modèles de données robustes et évolutifs pour répondre aux besoins de l'entreprise. Développement ETL : création ou amélioration de processus efficaces d'extraction, de transformation et de chargement pour intégrer et traiter les données. Optimisation des performances : surveillance et réglage fin des pipelines de données et des bases de données pour une vitesse et une efficacité optimales. Mise en oeuvre de la sécurité des données : établir des mesures de sécurité des données pour protéger les informations sensibles et garantir la conformité. Collaboration interfonctionnelle : travailler en étroite collaboration avec des scientifiques des données, des analystes et d'autres équipes pour comprendre les exigences en matière de données et fournir des solutions techniques.

Nous poursuivons notre développement et recherchons actuellement un(e) Data Engineer Snowflake pour intervenir chez un de nos clients. Le candidat idéal sera responsable des nouveaux développements de pipelines de données, tout en suivant les normes, les meilleures pratiques et les principes CI/CD. Responsabilités Principales : Création et modification d'objets de base de données Snowflake, y compris les bases de données, les tables et les vues. Développement de procédures stockées Snowflake en utilisant SQL et Javascript. Gestion de l'environnement de développement jusqu'à l'implémentation en production en suivant le processus CI/CD. Assurer un niveau de service élevé, couvrant la conception, la construction, l'exécution et la gestion des incidents. Garantir la qualité des codes fournis par l'équipe de développement.

ALMATEK recherche pour l'un de ses clients un DATA Engineer sur Charenton-Le-Pont Description de la mission Data Engineer : Récupérer les données issues de sources externes • Utiliser la puissance du Datalake • Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. Mise en œuvre de la chaîne : Ingestion de données, Validation de données, Croisement de données, Déversement dans le datalake des données enrichies • Développer dans le respect des règles d’architecture définies • Développer et documenter les user stories avec l’assistance du Product Owner. • Produire les scripts de déploiement • Prioriser les corrections des anomalies • Assister les équipes d’exploitation • Participer à la mise en œuvre de la chaîne de delivery continue • Automatiser les tests fonctionnels Aspects Humains : • Grande capacité à travailler dans une équipe, en mode Scrum / Kanban. • Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail). • Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées. Connaissances techniques : • Plateforme et environnement GCP (indispensable) • Environnement GKE • Développement d'API REST • Stockage : HDFS / GCS • Traitement : Maitrise de l’écosystème Spark / Kafka / Scala • Planification : Airflow / Composer • Méthodologies : Scrum, Kanban, Git • DWH : SQL, BigQuery, BigTable • Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build

Python - Confirmé - Impératif Generative IA - Confirmé - Impératif Anglais Lu, écrit (Impératif) nous cherchons un Data Engineer qui aura pour missions de : - Collecter de la data de différentes sources (données structurées et non structurées), en allant parfois jusqu'à faire du scraping - Transformer cette data, pour la rendre "ready to use" pour des algorithmes de Generative AI / LLM - Ordonnancer ces traitements de data, piloter la qualité de cette data - Etre un acteur clé de la mise en place des bonnes pratiques de développement sur les sujets de type Gen IA Les processus et outils relatifs à la Generative AI n'étant pas encore industriels, une partie importante de la mission consistera à contribuer à explorer, à réaliser des benchmarks et à industrialiser les manières de faire. Sur cette mission, les principales compétences attendues sont : - Hard Skills : GCP, Big Query, GCS, Python et SQL, Generative AI et plus généralement Machine Learning, Bases de données (SQL, No SQL, bases d'embedding) - Soft Skills : ouverture d'esprit, capacité à apprendre, capacité à industrialiser Enfin, des compétences "basiques" de développement Front (préférence pour Vue JS ou Svelte ou Angular) seront des atouts supplémentaires. Mission pouvant être réalisée en partie en télétravail - 2 jours sur site par semaine souhaités pour les collaborateurs en dehors de la métropole lilloise. 3 jours sur site pour les collaborateurs à Lille ou aux alentours

En tant que Data Engineer, vous intégrerez une feature team pour participer aux différents projets de développement. Pour cela vous aurez en charge : · Compréhension des besoins métiers · Conception des solutions nécessitant l’utilisation de technologies cloud & data pour répondre aux besoins métier · Déploiement, optimisation et industrialisation au quotidien des pipelines de données dans le Cloud · Travaille avec différents profils data du groupe (Data Scientist, data engineer, data architect, data analyst) · Assurer le monitoring des modèles en production · Contribuer au développement et à l’amélioration continue des outils data interne

Contexte de la mission : Viveris apporte son expertise à ses clients pour la gestion et l'exploitation des serveurs du périmètre bureau technique, dans le but de maintenir les infrastructures opérationnelles à un niveau optimal en termes de qualité, de productivité et de sécurité. Dans ce cadre, nous recherchons un Data Engineer. Sa principale mission consistera à assurer le bon fonctionnement des systèmes de production bancaire, en garantissant leurs disponibilités, leurs performances et leurs sécurités. Intégré au sein du département Infrastructures, vous serez chargé de diriger et de coordonner les projets liés à l'infrastructure technique, en veillant à leur succès dans un environnement dynamique et en constante évolution. Responsabilités : - Concevoir, développer et mettre en oeuvre des pipelines de données robustes, fiables et évolutifs pour l'extraction, la transformation et le chargement (ETL) des données provenant de différentes sources ; - Collaborer avec les équipes métier pour comprendre leurs besoins et concevoir des solutions de données innovantes et efficaces ; - Concevoir et mettre en oeuvre des modèles de données et des architectures de données optimisées pour la performance et l'évolutivité ; - Assurer la qualité et l'intégrité des données tout au long du processus de traitement, en mettant en place des contrôles de qualité et des mécanismes de surveillance.

Nous recherchons pour l’un de nos clients, un(e) Data Engineer Missions (liste non exhaustive) : -Création/modification d’objets de base de données Snowflake -Développement de procédures stockées sur Snowflake (SQL & Javascript) -De l’environnement de développement à la mise en œuvre de l’environnement de production en utilisant le processus CI/CD -Assurer un haut niveau de service, y compris la cadrage, build, run et la gestion des incidents. -Assurer la qualité des codes fournis par l’équipe de développement

Contexte de la mission We are looking for a Snowflake data engineer Senior to join our team. The hire will be responsible for new developments data pipelines according to norms, best practices and with all CI/CD principles. He must be self-directed and comfortable supporting the data needs of multiple teams, systems and products for different business teams across the world. We need somebody technically operational day 1, who can support and help growing junior profile. Objectifs et livrables Snowflake database objects creation/modification (database, tables, views, etc) Snowflake Stored procedures development (SQL & Javascript) From development environment to production environment implementation using CI/CD process Ensure a high level of service including scoping, build, run, incidents management Ensure quality of codes provide by development team

2.1 Le contexte Pour accroître sa compétitivité et poursuivre son développement dans les meilleures conditions, GEMS IS investit de manière significative dans son système d’information. Au sein de l’équipe Digital & Data Accelerator nous développons des outils et applications et accompagnons l’ensemble des équipes dans leur digitalisation, notamment au travers de Dataiku & Amazon Web Services. 2.2 Objet du service Le service sera réalisé au sein de l’équipe Digital & Data Accelerator située à Bruxelles ou à Paris (avec des déplacements réguliers à Bruxelles). 2.3 Activités Les activités principales sont : - Administration de la plateforme Dataiku - Développement de plugins Dataiku (en python) - Mentorat de nos utilisateurs (Data Analyst, Data Engineers, Data Scientists) sur la plateforme Dataiku - Support de niveau 1 sur la plateforme Dataiku Activités secondaires : - Implémentation de cas d’utilisation de données à travers Dataiku

Un grand groupe est à la recherche d'un Data Engineer senior pour participer à un projet de computer vision. Le data engineer senior rejoindra une équipe agile constituée d’un.e PO, de data scientists (pour certains spécialisés en recherche opérationnelle) et un.e data analyst. Il pourra également participer aux échanges réguliers avec la communauté d’une quarantaine d'ingénieurs (data scientists, engineers, devops) : présentations, partage de retours de conférences, débats sur les problématiques ML, de développement logiciel, ...

OS MISSIONS : Dans le cadre de notre croissance, nous recherchons un Data Engineer AWS F/H au sein de son pôle Datascience. TES MISSIONS : Conception des solutions BigData avec les architectes Data Mise en œuvre des techniques permettant la collecte, le nettoyage, l’organisation, la valorisation, la synthèse et la modélisation des données Développement de traitements de donnée distribués en mode batch ou streaming, Intégration des données sources de données dans l’environnement Big Data (datalake, datahub) Réalisation des tests Support Niveau 3 et maintien en conditions opérationnelles de la plateforme

Bonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. Mission : Livrables n 1 : Sprint n 1 + Lot 1 : développement des US et tests associés ; + Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation ; + Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; + Lot 4 : Mise en place du monitoring ; LE PROFIL RECHERCHE Compétences métiers & outils : Les compétences technologiques attendues sont : + Indispensables : maîtrise de l’API Scala Spark (batch principalement), maîtrise des techniques d’optimisation Spark, expérience dans le traitement de volumétries importantes / complexes, développement et bonnes pratiques Scala, build Maven, travail en environnement cloud (idéalement Azure) + Appréciées : écosystème Databricks, développement d’API HTTP, expérience sur la stack ELK Compétences transverses + Aisance relationnelle + Esprit d’équipe et d’adaptabilité + Esprit de synthèse + Rigueur et esprit d’analyse + Autonomie + Force de proposition + Vous avez le sens des priorités et la capacité à gérer les délais + Vous aimez le travail en mode multi-projets + Appétence client, besoin métier et compréhension du fonctionnel + Mentoring et partage de connaissances

Le client est un groupe dans le domaine de l'immobilier, dont le siège est sité à Villeneuve d'Ascq, proche Croix. Si vous êtes intéressé, merci d'envoyer votre CV word + TJ souhaité + une lettre de motivation et préciser si vous pouvez venir travailler sur site 2 à 3 jours par semaine à dorra @ axande fr ( sans espaces ) Profil recherché Ingénieur ou Master 2 en informatique, en data science ou en statistiques Connaissances SSAS/AAS Tabular Expérience d’au moins 4 ans en tant que Data Engineer ou développeur ETL Maîtrise de l’environnement Microsoft Azure. Il est recherché un Data Engineer dont la mission sera : • Développer les compétences techniques et l'autonomie de l'équipe de Data Engineer • Faciliter la coopération • Développer et garantir les pratiques de développement et de documentation associés (DevOps) • Développer l'industrialisation de modèles statistiques ou de machine learning demandés par le Product Owner • Garantir le maintien et la qualité de fonctionnement d'ensemble ainsi que la performance • Assurer une veille technologique sur les outils data • Collecter, stocker puis exposer les données • Recueillir les besoins métiers détaillés auprès du Product Owner • Définir et valider avec le Data Architect les solutions techniques en cohérence avec les normes, standards et processus • Développer les solutions techniques de collecte / stockage / exposition de la donnée • Mettre en place l'automatisation des traitements (pipelines) • Réaliser les tests unitaires, d'intégration et procéder à la mise en production • Mettre et maintenir en qualité les données • Industrialiser et automatiser le nettoyage de la donnée selon les règles du Data Steward • Gérer le cycle de vie de la donnée conformément aux règles définies • Manager la qualité technique, la gestion du run et sécuriser l’accès aux données

Chers consultants, Nous sommes à la recherche d'un Ingénieur Data - Développeur JAVA / DevOps Senior pour rejoindre notre client, une banque leader à Paris. Missions La prestation aura lieu au sein de la banque exerce une responsabilité mondiale sur le Système d’Information contribuant à la réalisation des objectifs des métiers de la banque Commerciale, du Financement et du Trade. Dans ce contexte, la prestation Data Engineer (Développeur Java/DevOps) aura pour objectifs : • Comprendre les besoins clients dans le but de définir les solutions les plus adaptées • Assurer le développement des nouvelles fonctionnalités liées l’intégration, l’exposition et l’exploitation des Données • Définir et organiser les contrôles nécessaires à la mise en qualité de ces Données • Développer en Java/Spark/ des traitements de transformation et de production de données • Développement d’un moteur de règles • Être garant de la qualité du produit sur les aspects code, documentation, testabilité et performance • Designer des chaines optimisées CI/CD en collaboration avec les équipes DEVOPS • Participer à l'amélioration continue et à la revue de code

Récupérer les données issues de sources externes • Utiliser la puissance du Datalake • Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. Mise en œuvre de la chaîne : o d’ingestion de données, o de validation de données, o de croisement de données, o de déversement dans le datalake des données enrichies • Développer dans le respect des règles d’architecture définies • Développer et documenter les user stories avec l’assistance du Product Owner. • Produire les scripts de déploiement • Prioriser les corrections des anomalies • Assister les équipes d’exploitation • Participer à la mise en œuvre de la chaîne de delivery continue • Automatiser les tests fonctionnels Aspects Humains : • Grande capacité à travailler dans une équipe, en mode Scrum / Kanban. • Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail). • Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées.

Rattaché au Responsable informatique et intégré à une équipe de dix personnes, vos missions sont les suivantes :Comprendre et analyser les besoins des métiers/clients, Fournir des modèles de données qui répondent aux besoins des collaborateurs, Fournir des données fiables et sécurisées pour aider à la prise de décision, Concevoir, développer et maintenir des pipelines de données efficaces et évolutifs, Transformer et charger des données dans Azure Data Lake, Développer le traitement des données issues de différentes sources, Assurer la conformité aux réglementations en matière de confidentialité des données, Garantir la sécurité des données stockées