Trouvez votre prochaine offre d’emploi ou de mission freelance Data engineer à Lille

Contexte : Dans le cadre de la plateforme digital supply chain, nous sommes pour l'instant responsables d'un service de machine learning en production dans 6 BU. L'objectif de ce produit est d'optimiser les contrôles à réception des commandes en ciblant les colis/palettes à auditer à l'entrée des sites logistiques. Le projet est divisé en 2 modules techniques : - une API qui délivre une décision de contrôle, basée sur notre algorithme, à tous les consommateurs depuis le système informatique - un ensemble de pipelines de données provenant d'ensembles de données BigQuery, fournissant un magasin de fonctionnalités. Ce magasin de fonctionnalités est ensuite utilisé par notre API et pour entraîner notre modèle prédictif. Nous recherchons un Data Engineer pour développer et maintenir ces deux modules. Responsabilités : En tant que data Engineer, vos responsabilités sont les suivantes : ? Travailler avec l'équipe de développement pour concevoir et mettre en œuvre des solutions de données modernes et évolutives en utilisant une gamme de technologies nouvelles et émergentes. ? Travailler avec les techniques Agile et DevOps et les approches de mise en œuvre dans la livraison ? Concevoir et documenter des modèles de données prenant en charge les produits d'IA ? Orchestrer les pipelines de données ? Gérer et responsable de la qualité des données ? Concevoir et documenter une API prenant en charge les produits d'IA ? Travailler en étroite collaboration avec les data scientists, les ingénieurs ML, DevOps/SRE

Nous recherchons un Data engineer pour une mission chez notre client qui active dans le secteur du retail : Le projet est divisé en 2 modules techniques : une API qui fournit une décision de contrôle à tous les utilisateurs du système informatique (WMS), basée sur notre algorithme, un ensemble de pipelines de données alimentés à partir de jeux de données BigQuery, alimentant un magasin de fonctionnalités. Ce feature store est ensuite utilisé par notre API et pour entraîner notre modèle prédictif. Le prochain collaborateur aura pour mission de développer et maintenir ces deux modules. Responsabilités : Travailler avec l'équipe de développement pour concevoir et mettre en œuvre des solutions de données modernes et évolutives en utilisant une gamme de nouvelles technologies émergentes. Travailler avec des techniques Agile et DevOps ainsi que des approches d'implémentation dans la livraison. Concevoir et documenter des modèles de données qui soutiennent les produits d'IA. Orchestrer les pipelines de données. Gérer et être responsable de la qualité des données. Concevoir et documenter des API qui soutiennent les produits d'IA. Travailler en étroite collaboration avec les scientifiques des données, les ingénieurs en ML et les équipes DevOps/SRE.

Dans le cadre d'une assistance technique, pour l'un de nos clients se trouvant en métropole Lilloise, nous recherchons: Un/une: Data Engineer / Analytics engineer. Vos missions sont les suivantes: - Automatiser et industrialiser les pipelines de transformation de données qui servent aux dashboards, modèles IA et data analyses - Construire et modéliser la semantic layer de domaine métier (commerce, supply, sports, etc.) ; - Définir la stratégie de nos stacks techniques et garantir la qualité des données exposées ; - Maintenir et repenser les datasets et pipelines existants pour servir une plus large variété de use cases ; - Permettre de l'analytique intelligente en construisant des datasets robustes, fiables et pertinents ; - Contribuer activement à notre communauté d'analytics engineers et de data engineers ; Et après ? En tant que véritable partie prenante de DAVRICOURT, vous vous verrez proposer des projets techniques et à forte valeur ajoutée par nos équipes.

Sapiens Group recherche pour le compte de l'un de ses clients basé à Lille un Data engineer Senior disponible sous peu Vos missions : • Vous concevez, alimentez et maintenez les data pipelines, les différents espaces de stockage et leur code source ( IaC) • Vous êtes acteur de la qualité des données que nous servons à nos clients. Pour répondre, vous savez interpréter les données et comprendre les besoins fonctionnels. • Vous êtes acteur de la disponibilité et de la performance des solutions de collecte, transformation, stockage et exposition que vous mettez en place avec l’équipe. • Vous définissez et mettez en place le monitoring adéquate. • Vous formalisez, documentez et généralisez les bonnes pratiques pour accélérer l'apprentissage au sein des équipes travaillant avec les données. • Vous appliquez la data gouvernance et les règles de data management

💡 Missions pour le Data Engineer : Développement et maintenance : Créer et maintenir des ETLs et des pipelines de données robustes en utilisant Talend, MS BI, Azure ( DataFactory ), GCP ( BigQuery ) , SQL, Python, Scala... Modélisation des données : Proposer des modèles de données fiables et optimisés en termes de stockage et de traitement. Automatisation : Implémenter des processus de CI/CD pour automatiser le déploiement et la gestion des infrastructures de données. Analyse et reporting : Développer des rapports et des dashboards en utilisant Looker, Power BI, Qlikview, Tableau, pour faciliter l'accès aux insights data-driven.

La mission consiste à : - Exposer les données utiles à l’entreprise pour les analyser et les utiliser afin d’améliorer l’expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l’entreprise - Travailler en lien avec des Data Scientists/Analysts sur les données qu’il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Formation supérieure en école d’ingénieur, école d’informatique ou Master spécialisé dans la Data Science - Première expérience en Data Engineering indispensable - GCP, BigQuery, SQL, Python, Stambia, Shell, Data Studio, Power BI, Qlikview,... - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais

Nous sommes à la recherche d'un(e) Data Ingénieur / Développeur Flux passionné(e) par les technologies de flux de données et le développement de solutions ETL/ESB. Rejoignez-nous pour faire partie d'une équipe dynamique et contribuer à la conception et à l'implémentation de projets data de haute qualité pour nos clients. Description de la mission : En tant que Data Ingénieur / Développeur Flux, vous serez intégré(e) à un plateau agile et vous aurez pour mission la conception et l'implémentation de solutions ETL/ESB pour nos clients. Vous travaillerez sur des projets data transverses, en étroite collaboration avec les équipes métier et business, et vous contribuerez à faire évoluer et à challenger les process de l'entreprise. Responsabilités : Concevoir et développer des programmes et applications ETL/ESB en fonction des spécifications fonctionnelles et des besoins client. Réaliser les procédures de tests techniques, d'intégration et de recette des développements. Analyser les problèmes techniques et fonctionnels et proposer des correctifs et des mises en conformité techniques. Élaborer et rédiger des documentations techniques à destination du service informatique client. Automatiser l'acquisition, la collecte et l'agrégation des données provenant de différentes sources. Gérer les bases de données de stockage et nettoyer, consolider et structurer les données à l'aide d'outils et d'algorithmes. Travailler en étroite collaboration avec les autres membres de l'équipe technique pour assurer la pertinence et la qualité des solutions développées.

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data engineer (H/F) à Lille, Hauts-de-France, France. Les missions attendues par le Data engineer (H/F) : - Développer les compétences techniques et l'autonomie de l'équipe de Data Engineer - Faciliter la coopération - Développer et garantir les pratiques de développement et de documentation associés (DevOps) - Développer l'industrialisation de modèles statistiques ou de machine learning demandés par le Product Owner - Garantir le maintien et la qualité de fonctionnement d'ensemble ainsi que la performance - Assurer une veille technologique sur les outils data - Collecter, stocker puis exposer les données - Recueillir les besoins métiers détaillés auprès du Product Owner - Définir et valider avec le Data Architect les solutions techniques en cohérence avec les normes, standards et processus - Développer les solutions techniques de collecte / stockage / exposition de la donnée - Mettre en place l'automatisation des traitements (pipelines) - Réaliser les tests unitaires, d'intégration et procéder à la mise en production - Industrialiser et automatiser le nettoyage de la donnée selon les règles du Data Steward - Gérer le cycle de vie de la donnée conformément aux règles définies - Manager la qualité technique, la gestion du run et sécuriser l’accès aux données

Nous recherchons un Data Engineer SSAS/AAS Tabular pour une mission de 3 mois renouvelables sur Villeneuve d'Ascq. ▶ Finalité : Mettre en œuvre et maintenir la plateforme data, exposer les données aux métiers avec le niveau de qualité attendu. Garantir la sécurité et l'évolutivité du Système d'Information managé en cohérence avec les objectifs de l'entreprise et les contraintes externes et internes. ▶ Mission : ▪ Développer les compétences techniques et l'autonomie de l'équipe de Data Engineer • Faciliter la coopération • Développer et garantir les pratiques de développement et de documentation associés (DevOps) • Développer l'industrialisation de modèles statistiques ou de machine learning demandés par le Product Owner • Garantir le maintien et la qualité de fonctionnement d'ensemble ainsi que la performance • Assurer une veille technologique sur les outils data Collecter, stocker puis exposer les données • Recueillir les besoins métiers détaillés auprès du Product Owner • Définir et valider avec le Data Architect les solutions techniques en cohérence avec les normes, standards et processus • Développer les solutions techniques de collecte / stockage / exposition de la donnée • Mettre en place l'automatisation des traitements (pipelines) • Réaliser les tests unitaires, d'intégration et procéder à la mise en production Mettre et maintenir en qualité les données • Industrialiser et automatiser le nettoyage de la donnée selon les règles du Data Steward • Gérer le cycle de vie de la donnée conformément aux règles définies • Manager la qualité technique, la gestion du run et sécuriser l’accès aux données

Nous sommes à la recherche d'un Data Engineer ayant au moins 4 ans d'expérience, et possédant des compétences en SSAS/AAS Tabular. La mobilité sur Lille est requise, avec une présence sur site de 3 jours par semaine. Dans le cadre de ce poste : Le candidat sera chargé de mettre en place et de maintenir la plateforme de données, en veillant à ce que les données soient accessibles aux différents départements avec le niveau de qualité requis. Il devra également garantir la sécurité et la scalabilité du système d'information, aligné sur les objectifs de l'entreprise et les exigences internes et externes. En termes de responsabilités : Il sera responsable du développement des compétences techniques et de l'autonomie de l'équipe de Data Engineers, de faciliter la collaboration, et de mettre en place et de garantir les bonnes pratiques de développement et de documentation (DevOps). Il devra également industrialiser les modèles statistiques ou de machine learning selon les besoins du Product Owner, tout en assurant le maintien de la qualité globale, de la performance et en restant à jour sur les outils technologiques liés aux données. Il sera également chargé de collecter, stocker et rendre accessible les données, de recueillir les exigences métier détaillées auprès du Product Owner, de travailler en étroite collaboration avec le Data Architect pour valider les solutions techniques conformes aux normes et processus établis, et de mettre en place l'automatisation des traitements de données. Le candidat devra réaliser des tests unitaires, d'intégration et procéder à la mise en production, en maintenant la qualité des données et en automatisant leur nettoyage conformément aux règles du Data Steward. Il sera également responsable de gérer le cycle de vie des données conformément aux règles établies, et de superviser la qualité technique, la gestion opérationnelle et la sécurité de l'accès aux données.

Data engineer senior Travailler l'architecture du produit avec le Tech Lead Mettre en place la stack technique Apporter une expertise sur la constitution de datasets & KPIs Assurer la qualité des traitements et des données Etre capable de créer des KPIs à partir des données du Datalake Maîtriser les modèles de données et les outils de transformation Mettre en place des indicateurs de mesure de qualité sur chaque développement engagé pour assurer la bonne mise à disposition de la donnée Mission située à Lille

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data enginner (H/F) à Lille, Hauts-de-France, France. Contexte : The project is divided into 2 technical modules: - an API that delivers a control decision, based on our algorithm. - a set of data pipelines sourced from BigQuery datasets, supplying a feature store. This feature store is then used by our API and to train our predictive model. We are looking for a Data Engineer to develop and maintain these two modules. Les missions attendues par le Data enginner (H/F) : Responsibilities : As a data Engineer, your responsibilities are the following : ● Work with the dev team to design and implement modern, scalable data solutions using a range of new and emerging technologies. ● Work with Agile and DevOps techniques and implementation approaches in the delivery ● Design and document data models that support AI products ● Orchestrate data pipelines ● Manage & responsible of data quality ● Design and document API that supports AI products ● Work closely with data scientists, ML engineer, DevOps/SRE Qualifications : ● Experience working with GCP ● Experience in Python development ● Experience in API development. Good knowledge of FastAPI is required. ● Experience in Docker. ● Experience in data pipeline orchestration. Good knowledge of DBT. ● Experience in CI/CD. Knowledge of Github & Github actions is required. ● Fluency in english is required

Nous recherchons un profil expérimenté ayant déjà travaillé avec Airflow et Databricks pour la partie data engineering ainsi que Tableau pour la partie visualisation. Notre projet implique une grande quantité de données et nécessite une gestion et une analyse efficaces. Les objectifs et livrables de ce projet comprennent: Migration : connecter nos sources de données vers AWS S3 Réalisation de dashboards avec Tableau Travail sur la qualité de nos données avec Databricks Création de flux de données automatisés avec Airflow

Intégré au sein du département dans la direction, le consultant prend en charge le pilotage opérationnel d'un projet majeur et stratégique dans un écosystème international avec l'Espagne, le Portugal, la France et l'ensemble du Groupe Oney. L'objectif principal est de mener un projet de transformation DATA de l'Entreprise pour lequel l'impact métier est majeur. Ce projet consiste à réduire de manière très importante l'usage de SAS afin de basculer sur des outils Cloud adaptés à l'usage métiers. Répondre aux enjeux d'une Stack Data conforme à la Stratégie de l'Entreprise pour l'ensemble des entités du Groupe ainsi qu'aux enjeux de maitrise de nos données et de leurs usages pour l'ensemble des consommateurs. Pilotage du projet de transformation avec l'ensemble des acteurs : Data, IT, métiers.

Data Manager : L'objectif principal est de mener un projet de transformation DATA de l'Entreprise pour lequel l'impact métier est majeur. Ce projet consiste à réduire de manière très importante l'usage de SAS afin de basculer sur des outils Cloud adaptés à l'usage métiers. Répondre aux enjeux d'une Stack Data conforme à la Stratégie de l'Entreprise pour l'ensemble des entités du Groupe ainsi qu'aux enjeux de maitrise de nos données et de leurs usages pour l'ensemble des consommateurs. Pilotage du projet de transformation avec l'ensemble des acteurs : Data, IT, métiers. Mission longue, le consultant pilote le projet, le rôle est global : - gestion des engagements (coût, délais, qualité, risques…), management des ressources dans un format agile en lien avec les PO Datas (plusieurs squads DATA, Editeur prestataire et intégrateur si besoin), - arbitre les affectations entre les différents chantiers - accompagne et challenge les métiers sur la transformation de leurs usages - déploie la stratégie de l'entreprise sur ce projet - déploie la démarche qualité sur les projets de l'entreprise (formation, procédures, self-service, etc.) - coordonne, conseille et assiste les experts métiers et techniques - prépare et anime les différents comités du projet et comités de pilotage - garantit l'atteinte des jalons dans les délais et le budget défini et propose des solutions afin de tenir ces jalons en cas de défaillance. - comprend et analyse les besoins des clients - sait gérer une relation tripartite avec des partenariats externes

Notre client, expert en solutions de paiement et services financiers innovants, recherche un Data Project Manager - Change transformation SAS (H/F) dans le cadre d'une longue mission. Intégré au sein du département DATA OPERATING MODEL dans la direction DATA Groupe, le consultant prend en charge le pilotage opérationnel d'un projet majeur et stratégique dans un écosystème international avec l'Espagne, le Portugal, la France et l'ensemble du Groupe. L'objectif principal est de mener un projet de transformation DATA de l'Entreprise pour lequel l'impact métier est majeur. Ce projet consiste à réduire de manière très importante l'usage de SAS afin de basculer sur des outils Cloud adaptés à l'usage métiers. Répondre aux enjeux d'une Stack Data conforme à la Stratégie de l'Entreprise pour l'ensemble des entités du Groupe ainsi qu'aux enjeux de maitrise de nos données et de leurs usages pour l'ensemble des consommateurs. Pilotage du projet de transformation avec l'ensemble des acteurs : Data, IT, métiers. Mission longue, le consultant pilote le projet, le rôle est global : - gestion des engagements (coût, délais, qualité, risques…), management des ressources dans un format agile en lien avec les PO Datas (plusieurs squads DATA, Editeur prestataire et intégrateur si besoin), - arbitre les affectations entre les différents chantiers - accompagne et challenge les métiers sur la transformation de leurs usages - déploie la stratégie de l'entreprise sur ce projet - déploie la démarche qualité sur les projets de l'entreprise (formation, procédures, self-service, etc.) - coordonne, conseille et assiste les experts métiers et techniques - prépare et anime les différents comités du projet et comités de pilotage - garantit l'atteinte des jalons dans les délais et le budget défini et propose des solutions afin de tenir ces jalons en cas de défaillance. - comprend et analyse les besoins des clients - sait gérer une relation tripartite avec des partenariats externes