Trouvez votre prochaine offre d’emploi ou de mission freelance Data engineer à Lille

Contexte : Dans le cadre de la plateforme digital supply chain, nous sommes pour l'instant responsables d'un service de machine learning en production dans 6 BU. L'objectif de ce produit est d'optimiser les contrôles à réception des commandes en ciblant les colis/palettes à auditer à l'entrée des sites logistiques. Le projet est divisé en 2 modules techniques : - une API qui délivre une décision de contrôle, basée sur notre algorithme, à tous les consommateurs depuis le système informatique - un ensemble de pipelines de données provenant d'ensembles de données BigQuery, fournissant un magasin de fonctionnalités. Ce magasin de fonctionnalités est ensuite utilisé par notre API et pour entraîner notre modèle prédictif. Nous recherchons un Data Engineer pour développer et maintenir ces deux modules. Responsabilités : En tant que data Engineer, vos responsabilités sont les suivantes : ? Travailler avec l'équipe de développement pour concevoir et mettre en œuvre des solutions de données modernes et évolutives en utilisant une gamme de technologies nouvelles et émergentes. ? Travailler avec les techniques Agile et DevOps et les approches de mise en œuvre dans la livraison ? Concevoir et documenter des modèles de données prenant en charge les produits d'IA ? Orchestrer les pipelines de données ? Gérer et responsable de la qualité des données ? Concevoir et documenter une API prenant en charge les produits d'IA ? Travailler en étroite collaboration avec les data scientists, les ingénieurs ML, DevOps/SRE

Nous recherchons un Data engineer pour une mission chez notre client qui active dans le secteur du retail : Le projet est divisé en 2 modules techniques : une API qui fournit une décision de contrôle à tous les utilisateurs du système informatique (WMS), basée sur notre algorithme, un ensemble de pipelines de données alimentés à partir de jeux de données BigQuery, alimentant un magasin de fonctionnalités. Ce feature store est ensuite utilisé par notre API et pour entraîner notre modèle prédictif. Le prochain collaborateur aura pour mission de développer et maintenir ces deux modules. Responsabilités : Travailler avec l'équipe de développement pour concevoir et mettre en œuvre des solutions de données modernes et évolutives en utilisant une gamme de nouvelles technologies émergentes. Travailler avec des techniques Agile et DevOps ainsi que des approches d'implémentation dans la livraison. Concevoir et documenter des modèles de données qui soutiennent les produits d'IA. Orchestrer les pipelines de données. Gérer et être responsable de la qualité des données. Concevoir et documenter des API qui soutiennent les produits d'IA. Travailler en étroite collaboration avec les scientifiques des données, les ingénieurs en ML et les équipes DevOps/SRE.

Dans le cadre d'une assistance technique, pour l'un de nos clients se trouvant en métropole Lilloise, nous recherchons: Un/une: Data Engineer / Analytics engineer. Vos missions sont les suivantes: - Automatiser et industrialiser les pipelines de transformation de données qui servent aux dashboards, modèles IA et data analyses - Construire et modéliser la semantic layer de domaine métier (commerce, supply, sports, etc.) ; - Définir la stratégie de nos stacks techniques et garantir la qualité des données exposées ; - Maintenir et repenser les datasets et pipelines existants pour servir une plus large variété de use cases ; - Permettre de l'analytique intelligente en construisant des datasets robustes, fiables et pertinents ; - Contribuer activement à notre communauté d'analytics engineers et de data engineers ; Et après ? En tant que véritable partie prenante de DAVRICOURT, vous vous verrez proposer des projets techniques et à forte valeur ajoutée par nos équipes.

Sapiens Group recherche pour le compte de l'un de ses clients basé à Lille un Data engineer Senior disponible sous peu Vos missions : • Vous concevez, alimentez et maintenez les data pipelines, les différents espaces de stockage et leur code source ( IaC) • Vous êtes acteur de la qualité des données que nous servons à nos clients. Pour répondre, vous savez interpréter les données et comprendre les besoins fonctionnels. • Vous êtes acteur de la disponibilité et de la performance des solutions de collecte, transformation, stockage et exposition que vous mettez en place avec l’équipe. • Vous définissez et mettez en place le monitoring adéquate. • Vous formalisez, documentez et généralisez les bonnes pratiques pour accélérer l'apprentissage au sein des équipes travaillant avec les données. • Vous appliquez la data gouvernance et les règles de data management

💡 Missions pour le Data Engineer : Développement et maintenance : Créer et maintenir des ETLs et des pipelines de données robustes en utilisant Talend, MS BI, Azure ( DataFactory ), GCP ( BigQuery ) , SQL, Python, Scala... Modélisation des données : Proposer des modèles de données fiables et optimisés en termes de stockage et de traitement. Automatisation : Implémenter des processus de CI/CD pour automatiser le déploiement et la gestion des infrastructures de données. Analyse et reporting : Développer des rapports et des dashboards en utilisant Looker, Power BI, Qlikview, Tableau, pour faciliter l'accès aux insights data-driven.

La mission consiste à : - Exposer les données utiles à l’entreprise pour les analyser et les utiliser afin d’améliorer l’expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l’entreprise - Travailler en lien avec des Data Scientists/Analysts sur les données qu’il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Formation supérieure en école d’ingénieur, école d’informatique ou Master spécialisé dans la Data Science - Première expérience en Data Engineering indispensable - GCP, BigQuery, SQL, Python, Stambia, Shell, Data Studio, Power BI, Qlikview,... - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais

Nous sommes à la recherche d'un(e) Data Ingénieur / Développeur Flux passionné(e) par les technologies de flux de données et le développement de solutions ETL/ESB. Rejoignez-nous pour faire partie d'une équipe dynamique et contribuer à la conception et à l'implémentation de projets data de haute qualité pour nos clients. Description de la mission : En tant que Data Ingénieur / Développeur Flux, vous serez intégré(e) à un plateau agile et vous aurez pour mission la conception et l'implémentation de solutions ETL/ESB pour nos clients. Vous travaillerez sur des projets data transverses, en étroite collaboration avec les équipes métier et business, et vous contribuerez à faire évoluer et à challenger les process de l'entreprise. Responsabilités : Concevoir et développer des programmes et applications ETL/ESB en fonction des spécifications fonctionnelles et des besoins client. Réaliser les procédures de tests techniques, d'intégration et de recette des développements. Analyser les problèmes techniques et fonctionnels et proposer des correctifs et des mises en conformité techniques. Élaborer et rédiger des documentations techniques à destination du service informatique client. Automatiser l'acquisition, la collecte et l'agrégation des données provenant de différentes sources. Gérer les bases de données de stockage et nettoyer, consolider et structurer les données à l'aide d'outils et d'algorithmes. Travailler en étroite collaboration avec les autres membres de l'équipe technique pour assurer la pertinence et la qualité des solutions développées.

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data engineer (H/F) à Lille, Hauts-de-France, France. Les missions attendues par le Data engineer (H/F) : - Développer les compétences techniques et l'autonomie de l'équipe de Data Engineer - Faciliter la coopération - Développer et garantir les pratiques de développement et de documentation associés (DevOps) - Développer l'industrialisation de modèles statistiques ou de machine learning demandés par le Product Owner - Garantir le maintien et la qualité de fonctionnement d'ensemble ainsi que la performance - Assurer une veille technologique sur les outils data - Collecter, stocker puis exposer les données - Recueillir les besoins métiers détaillés auprès du Product Owner - Définir et valider avec le Data Architect les solutions techniques en cohérence avec les normes, standards et processus - Développer les solutions techniques de collecte / stockage / exposition de la donnée - Mettre en place l'automatisation des traitements (pipelines) - Réaliser les tests unitaires, d'intégration et procéder à la mise en production - Industrialiser et automatiser le nettoyage de la donnée selon les règles du Data Steward - Gérer le cycle de vie de la donnée conformément aux règles définies - Manager la qualité technique, la gestion du run et sécuriser l’accès aux données

Nous recherchons un Data Engineer SSAS/AAS Tabular pour une mission de 3 mois renouvelables sur Villeneuve d'Ascq. ▶ Finalité : Mettre en œuvre et maintenir la plateforme data, exposer les données aux métiers avec le niveau de qualité attendu. Garantir la sécurité et l'évolutivité du Système d'Information managé en cohérence avec les objectifs de l'entreprise et les contraintes externes et internes. ▶ Mission : ▪ Développer les compétences techniques et l'autonomie de l'équipe de Data Engineer • Faciliter la coopération • Développer et garantir les pratiques de développement et de documentation associés (DevOps) • Développer l'industrialisation de modèles statistiques ou de machine learning demandés par le Product Owner • Garantir le maintien et la qualité de fonctionnement d'ensemble ainsi que la performance • Assurer une veille technologique sur les outils data Collecter, stocker puis exposer les données • Recueillir les besoins métiers détaillés auprès du Product Owner • Définir et valider avec le Data Architect les solutions techniques en cohérence avec les normes, standards et processus • Développer les solutions techniques de collecte / stockage / exposition de la donnée • Mettre en place l'automatisation des traitements (pipelines) • Réaliser les tests unitaires, d'intégration et procéder à la mise en production Mettre et maintenir en qualité les données • Industrialiser et automatiser le nettoyage de la donnée selon les règles du Data Steward • Gérer le cycle de vie de la donnée conformément aux règles définies • Manager la qualité technique, la gestion du run et sécuriser l’accès aux données

Nous sommes à la recherche d'un Data Engineer ayant au moins 4 ans d'expérience, et possédant des compétences en SSAS/AAS Tabular. La mobilité sur Lille est requise, avec une présence sur site de 3 jours par semaine. Dans le cadre de ce poste : Le candidat sera chargé de mettre en place et de maintenir la plateforme de données, en veillant à ce que les données soient accessibles aux différents départements avec le niveau de qualité requis. Il devra également garantir la sécurité et la scalabilité du système d'information, aligné sur les objectifs de l'entreprise et les exigences internes et externes. En termes de responsabilités : Il sera responsable du développement des compétences techniques et de l'autonomie de l'équipe de Data Engineers, de faciliter la collaboration, et de mettre en place et de garantir les bonnes pratiques de développement et de documentation (DevOps). Il devra également industrialiser les modèles statistiques ou de machine learning selon les besoins du Product Owner, tout en assurant le maintien de la qualité globale, de la performance et en restant à jour sur les outils technologiques liés aux données. Il sera également chargé de collecter, stocker et rendre accessible les données, de recueillir les exigences métier détaillées auprès du Product Owner, de travailler en étroite collaboration avec le Data Architect pour valider les solutions techniques conformes aux normes et processus établis, et de mettre en place l'automatisation des traitements de données. Le candidat devra réaliser des tests unitaires, d'intégration et procéder à la mise en production, en maintenant la qualité des données et en automatisant leur nettoyage conformément aux règles du Data Steward. Il sera également responsable de gérer le cycle de vie des données conformément aux règles établies, et de superviser la qualité technique, la gestion opérationnelle et la sécurité de l'accès aux données.

Data engineer senior Travailler l'architecture du produit avec le Tech Lead Mettre en place la stack technique Apporter une expertise sur la constitution de datasets & KPIs Assurer la qualité des traitements et des données Etre capable de créer des KPIs à partir des données du Datalake Maîtriser les modèles de données et les outils de transformation Mettre en place des indicateurs de mesure de qualité sur chaque développement engagé pour assurer la bonne mise à disposition de la donnée Mission située à Lille

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data enginner (H/F) à Lille, Hauts-de-France, France. Contexte : The project is divided into 2 technical modules: - an API that delivers a control decision, based on our algorithm. - a set of data pipelines sourced from BigQuery datasets, supplying a feature store. This feature store is then used by our API and to train our predictive model. We are looking for a Data Engineer to develop and maintain these two modules. Les missions attendues par le Data enginner (H/F) : Responsibilities : As a data Engineer, your responsibilities are the following : ● Work with the dev team to design and implement modern, scalable data solutions using a range of new and emerging technologies. ● Work with Agile and DevOps techniques and implementation approaches in the delivery ● Design and document data models that support AI products ● Orchestrate data pipelines ● Manage & responsible of data quality ● Design and document API that supports AI products ● Work closely with data scientists, ML engineer, DevOps/SRE Qualifications : ● Experience working with GCP ● Experience in Python development ● Experience in API development. Good knowledge of FastAPI is required. ● Experience in Docker. ● Experience in data pipeline orchestration. Good knowledge of DBT. ● Experience in CI/CD. Knowledge of Github & Github actions is required. ● Fluency in english is required

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Analystes (Big Data) H/F à Lille, Hauts-de-France, France. Les missions attendues par le Data Analystes (Big Data) H/F : Au sein de l’équipe Agile, le Data Analyste devra : Analyser des besoins fonctionnels et les traduire en solutions techniques via SQL Nettoyer, préparer et exposer les données en assurant leur qualité Manipuler les fichiers sous UNIX et HADOOP Suivre le run et gérer les erreurs Optimiser les traitements SQL Compétences requises : Esprit d’équipe et autonomie Maitrise du SQL et de ses optimisations => Obligatoire Bonnes connaissances de l’environnement HADOOP, UNIX et du SHELL Connaissances en Python Concepts de l’agilité Des connaissances de Cloudera/SAS Visual Analytics/DigDash ou Jupyter sont un plus Expérience souhaitée de 2 à 5 ans minimum sur un poste similaire

Dans le cadre des déploiements SAP aux US et Mexique nous devons renforcer l’équipe Customer Master Data pour aider le BDO -Business Data Owner – dans la collecte, la préparation, et le chargement des data Customer. Liste non exhaustive des activités : - Collecte des data à transférer dans SAP - S’assurer que les data respecterons les standards définis - Préparer les outils et modus opératoires pour effectuer les chargements - Charger les données - Participer à la résolution des anomalies de chargement

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Développeur Flux ODI/Stambia (H/F) à Lille, Hauts-de-France, France. Contexte : - Migrer les flux ODI vers Stambia/Semarchy xDI - De concevoir, développer et maintenir les flux de données Il travaillera en étroite collaboration avec les équipes fonctionnelles pour comprendre les besoins de l'entreprise et garantir l’intégration et l’échange des données de manière efficace et fiable. Les missions attendues par le Développeur Flux ODI/Stambia (H/F) : Analyse des besoins : Comprendre les besoins en matière d'intégration de données en collaborant avec les parties prenantes de l'entreprise. Conception : Concevoir des flux de données en utilisant la plateforme Stambia (v19, v20) et Semarchy xDI pour répondre aux exigences métier. Développement : Développer et configurer les flux Stambia en suivant les meilleures pratiques (versionning, clean code etc..) Tests : Capacité à tester ses développements flux (performance, cohérence...) pour garantir la qualité et la fiabilité. Documentation : Documenter les flux. Faire des spécifications techniques. Maintenance: Assurer la maintenance continue des flux de données et les mises à jour en cas de besoin. Veille technologique : Rester à jour sur les dernières avancées dans le domaine de l'intégration de données. Compétences Requises : ● Compréhension des concepts d'intégration de données et de l'ETL. ● Très bonne connaissance de l’outil Stambia/Semarchy xDI ● Excellente connaissance du SQL et de la manipulation XML. ● Capacité à travailler de manière autonome (prendre en charge un sujet de la phase de conception à la phase de mise en production). ● Expérience passée sur l’outil ODI. ● Connaissance du langage JYTHON / PYTHON (capacité à lire et à comprendre un code existant). ● Connaissance des API REST. ● Capacité à travailler en équipe et à communiquer efficacement (travail en agilité - KANBAN).

Le développeur Flux Stambia sera chargé de: - Migrer les flux ODI vers Stambia/Semarchy xDI - De concevoir, développer et maintenir les flux de données Il travaillera en étroite collaboration avec les équipes fonctionnelles pour comprendre les besoins de l'entreprise et garantir l’intégration et l’échange des données de manière efficace et fiable. Responsabilités Principales : 1. Analyse des besoins : Comprendre les besoins en matière d'intégration de données en collaborant avec les parties prenantes de l'entreprise. 2. Conception : Concevoir des flux de données en utilisant la plateforme Stambia (v19, v20) et Semarchy xDI pour répondre aux exigences métier. 3. Développement : Développer et configurer les flux Stambia en suivant les meilleures pratiques (versionning, clean code etc..) 4. Tests : Capacité à tester ses développements flux (performance, cohérence…) pour garantir la qualité et la fiabilité. 5. Documentation : Documenter les flux. Faire des spécifications techniques. 6. Maintenance: Assurer la maintenance continue des flux de données et les mises à jour en cas de besoin. 7. Veille technologique : Rester à jour sur les dernières avancées dans le domaine de l'intégration de données.