Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Almatek recherche pour l'un de ses clients, un Data Engineer sur Lyon. Compétences : ORACLE impératif SQL impératif Python : c’est un plus mais pas obligatoire Expérience : Participation à des projets liés à la Data et aux Bases de données (injection et exposition des données) Bonne compréhension fonctionnelle Utilisation de GIT pour la gestion de version Niveau recherché : Confirmé (surtout Oracle et SQL, ok pour junior/intermédiaire sur Python) Compétences appréciées (Bonus) : Airflow Apache (ordonnanceur de traitements de données en Python) Trino (exposition des données depuis sources multiples en SQL) Méthodologie Agile SAFE & Scrum Outils de gestion de projet : Jira, Confluence Profil orienté Data Ingénieur On ne recherche pas de profil devsecOps, ni de data architecte Activités : Build 80% & MCO/RUN 20% Conditions de travail : Présentiel souhaité : 2 jours par semaine chez le client Savoir-être : Bonnes compétences en communication Esprit d’équipe : capacité à collaborer efficacement Force de proposition : aptitude à apporter des idées et solutions proactives

Contexte : Le candidat intervient au sein d’équipes dans des contextes très variés tel que l’optimisation opérationnelle pour des applications de maintenance préventive, optimisation des processus d’acquisition et de contrôle ou le support aux lignes de lumière pour traiter les données expérimentales. MISSIONS Activités principales : • Faire l’analyse technique et la conception du ou des logiciels à réaliser. • Réaliser les logiciels dans le/les langage(s) le plus approprié. • Concevoir et implémenter des procédures de test. • Déployer les logiciels (paquets). • Rédiger les spécifications, documentations techniques et utilisateurs. LIVRABLES Analyse technique et conception (spécifications techniques, architecture logicielle) ; Code source des logiciels développés ; Procédures et scripts de test ; Packages déployables ; Documentation technique et utilisa teurs Profil & Exigences techniques : • Maîtrise approfondie des concepts de traitements de données scientifiques : • Développement et implémentation d'algorithmes pour l'analyse d'images scientifiques (ex: détection de features, segmentation, reconstruction tomographique, analyse de diffraction/diffusion). • Application et développement de méthodes de calculs statistiques (ex: ajustement de modèles, analyse d'erreurs, tests d'hypothèses, classification) et mathématiques (ex: transformées de Fourier, algèbre linéaire, optimisation numérique) appliquées aux données expérimentales. • Compréhension des formats de données scientifiques (HDF5, NeXus, TIFF, etc.) et des bibliothèques associées. • Expérience dans le séquencement et l’orchestration de traitements de données (Apache Airflow, etc.) • Expérience dans la gestion et le traitement de volumes importants de données (Big Data) et dans l'optimisation des pipelines de traitement. • Connaissance et utilisation d'outils de réduction et d’analyse de données du monde open source : • ImageJ/Fiji : Pour le traitement et l'analyse d'images. • Python/Jupyter Notebooks/JupyterLab : • Pour l'analyse interactive, la visualisation et le prototypage. • Bibliothèques spécialisées : Connaissance de bibliothèques dédiées à des techniques d'analyse spécifiques (ex: SPEC, Lima, Bliss, Sardana, TANGO Controls). • Optionnellement, mais fortement apprécié, maîtriser les méthodes de parallélisation de codes pour le calcul intensif (HPC) : • Parallélisation multi-threading (OpenMP). • Calcul distribué (OpenMPI, ZeroMQ, gRPC). • Programmation sur GPU (CUDA/OpenCL, OpenACC). • Compréhension des architectures de calcul parallèle et des problématiques de scalabilité.

Almatek recherche pour un de ses clients, des ingenieurs DEVOPS sur Clermont Ferrand, Poitiers, Rouen, Strasbourg, Lille et Paris Le candidat exercera les tâches suivantes : • Construction des environnments (Terraform) sur le cluster OpenStack • Déploiement automatisé des outils (Ansible) • Mise en place de pipelines CI/CD (Jenkins, GitLab, Maven, Sonar, Nexus) • Supervision et suivi des systèmes d'exploitation (Prometheus, Grafana, Loki, Promtail) • Échanges réguliers avec les équipes qui ont fait le développement Compétences attendues : • Requises : commandes système et réseau Linux, Cloud public ou privé, Ansible, Jenkins, Grafana • Souhaitables : Terraform, Prometheus, Openstack, Loki, Promtail, AirFlow • Appréciées : GitLab, Java, Maven, Vault, Docker, Kubernetes, Rancher, Nexus, SonarQube, Selenium, Cucumber, JMeter, ZAP Leur besoin est d’accompagner les ingénieurs de production actuels dans leur montée en compétence sur les technologies OPS. Le candidat interviendra en full présentiel les 3 premiers mois, puis pourra prétendre à 1 ou 2 jours de télétravail max. Il travaillera en binôme avec les internes pour les coacher (leur montrer de façon pratique comment utiliser certaines technologies que le candidat maitrise). Il pourra par ailleurs prendre à sa charge certaines activités de BUILD ou de RUN au sein du Centre Ops. Il sera amené à participer au projet dès son démarrage et sera donc associé à la phase de définition de l'architecture. Le candidat devra apporter son expérience et cadrer le travail de ses collègues. Une bonne expression orale et écrite ainsi que des qualités pédagogiques sont requises.

Notre stack technique est principalement constitué de Python, Spark, SQL pour les traitements de données, Airflow pour l'orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l'infrastructure. Prestations attendues Collecter et centraliser les différentes sources de données non homogènes Assurer la conformité et la sécurité des données Participer aux initiatives de gouvernance des données Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l'équipe Construire et maintenir de pipelines data robustes et scalables Accompagner les membres de l'équipe dans l'exploitation et le requêtage des données Organiser et structurer le stockage des données Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l'accroissement rapide du volume de données Construire et maintenir les workflows de la CI/CD Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur Assurer l'évolutivité, la sécurité, la stabilité des environnements Participer aux différentes instances des data ingénieurs Contribuer et veiller à la mise à jour de la documentation Faire de la veille technologique active dans le domaine

Data Engineer senior/expert DBT ET IICS (Informatica Intelligent Cloud Services) Bordeaux pour diriger la migration d'IICS vers DBT sur Snowflake. 5 à 10 ans d’expérience Anglais obligatoire Démarrage : asap Durée : min 3 mois Localisation : Bordeaux de préférence sinon France L'équipe recherche un data Engineer senior pour diriger la migration d'IICS vers DBT sur Snowflake. Le candidat idéal doit jouer le rôle de « traducteur » : il doit être capable de lire des mappages IICS hérités complexes (logique de rétro-ingénierie) et de les refactoriser en modèles SQL DBT modulaires et propres. Compétences requises : Connaissance approfondie d'IICS et de dbt : maîtrise parfaite des deux outils. Spécialisation en validation : expérience dans la vérification de la parité des données 1:1 à l'aide d'outils tels que dbt_audit_helper.) Stack : Snowflake, dbt, IICS et Airflow (pour l'orchestration).

FnacDarty est le leader européen du retail spécialisé omnicanal, avec des marques iconiques telles que Fnac, Darty, Nature et Découverte, WeFix, engagé pour un choix éclairé et une consommation durable. Vous êtes passionné par les outils BI et la data ? Rejoignez la Data & AI Factory de FnacDarty, entité qui regroupe les compétences fonctionnelles et techniques qui contribue au développement de l’activité grâce à la richesse de nos données et aux technologies avancées d’exploitation. L’entreprise recherche un TechLead Data pour intervenir au sein de la squad Exploitation (Améliorer le pilotage opérationnel des magasins, optimiser les processus et soutenir les décision terrain) Description La mission nécessite un profil capable d’assurer à la fois : • un rôle de leadership technique, garant de la cohérence des choix d’architecture, de la qualité des développements et de l’industrialisation des solutions • un rôle opérationnel de développeur, pleinement impliqué dans la conception et la réalisation des pipelines, modèles et orchestrations. Vous interviendrez principalement sur les technologies GCP (BigQuery, Dataform, Cloud Composer,…) et contribuerez également, dans une moindre mesure, à la maintenance et à l’évolution de flux existants sous Talend. En binôme avec le PO, vous participerez au cadrage des besoins, à la structuration du backlog, à la définition des solutions techniques et à la sécurisation de la delivery.  Missions principales • Participer au cadrage fonctionnel avec le PO et les parties prenantes métier pour comprendre les impacts business des données et ceux afin de réaliser des conceptions pertinentes et alignées avec les objectifs stratégiques. • Concevoir et développer des pipelines de données robustes et scalables en utilisant les services de Google Cloud Platform (BigQuery, DataForm, Dataflow, Pub/Sub, CloudComposer). Vous serez au cœur de la construction d’une infrastructure de données moderne et performante. • Contribuer ponctuellement aux flux existants sous Talend. • Assure la maintenance corrective ou évolutive • Améliorer la performance et la scalabilité des solutions existantes pour répondre aux besoins stratégiques de l’entreprise. • Maintenir une documentation technique précise et complète sur les processus et les solutions implémentés. • Mettre en place des bonnes pratiques de développement : tests, documentation, revue de code, versioning. • Réalise la recette technique et participe à animer la recette fonctionnelle avec les utilisateurs et le PO • Mettre en place et gérer des systèmes de monitoring et d’alerting pour assurer une supervision proactive des pipelines et systèmes de données, garantissant leur fiabilité et leur disponibilité. • Support au déploiement • S’assure de la cohérence des livrables avec les règles et bonnes pratiques définies au sein de l’équipe • Assurer une veille technologique sur les outils GCP et les frameworks data. Livrables • Conceptions techniques des modèles, pipelines et orchestrations GCP. • Développements et industrialisation des traitements (BigQuery, Dataform, Cloud Composer). • Documentation technique à jour (architecture, transformations, procédures). • Contributions au cadrage et à la structuration du backlog avec le PO. • Mise en place ou renforcement des bonnes pratiques DataOps (tests, CI/CD, monitoring). • Assurer la TMA des pipelines existants (maintenance corrective et évolutive, résolution d’incidents, mises à jour techniques). Compétences  Compétences techniques requises : • Langages : Maîtrise de SQL et connaissance de langages comme Python ou Java pour les traitements de données. • GCP : Expérience sur les outils BigQuery, DataForm, CoudComposer/AirFlow, Pub/Sub, Dataflow et d’autres services GCP liés aux données. • Talend : Connaissances et pratiques dans la conception et la gestion des workflows • Outils : Familiarité avec des outils de CI/CD comme Git, Jenkins  Compétences transversales : • Esprit analytique et rigueur. • Leadership technique, pédagogie, capacité à embarquer. • Approche orientée résolution de problèmes et fiabilité opérationnelle. • Capacité à gérer des priorités multiples dans un environnement dynamique. • Capacité à travailler en équipe et à collaborer avec des parties prenantes variées. • Autonomie et force de proposition sur les solutions techniques. • Bonne communication et pédagogie pour expliquer les concepts techniques aux non-spécialistes. • Capacité à comprendre les besoins pour proposer aux métiers les solutions leur permettant d’utiliser efficacement les données et de prendre les bonnes décisions

Contexte Dans le cadre du renforcement de ses plateformes data, un grand groupe industriel recherche un Data Engineer senior pour intervenir sur des sujets d’industrialisation, de fiabilisation et de montée en charge de ses pipelines data. Objectifs de la mission Concevoir, développer et maintenir des pipelines de données robustes et scalables Industrialiser les traitements data dans un environnement cloud AWS Exploiter et optimiser une plateforme Snowflake Mettre en place et améliorer les chaînes CI/CD liées aux usages data Garantir la qualité, la performance et la sécurité des flux de données Environnement technique (cœur) Cloud : AWS Data Warehouse : Snowflake Langages : Python, SQL Orchestration / ingestion : Airflow, services AWS (Glue, Lambda, S3, etc.) CI/CD : Git, pipelines automatisés Enjeux forts d’industrialisation et de bonnes pratiques DataOps Profil recherché Data Engineer confirmé / senior Expérience significative sur AWS et Snowflake À l’aise avec les environnements industrialisés et les contraintes de production Capacité à travailler avec des équipes data, IT et métiers

CONTEXTE : L’équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs. Le stack technique est principalement constitué de Python, Spark, SQL pour les traitements de données, Airflow pour l’orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l’infrastructure MISSIONS : 1. Collecter et centraliser les différentes sources de données non homogènes 2. Assurer la conformité et la sécurité des données 3. Participer aux initiatives de gouvernance des données • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir de pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Expertises demandées pour la réalisation de la prestation : • Au moins 5 ans d’expérience en tant que Data Ingénieur dans un environnement data • Compétences solides en data : structures de données, code, architecture • Expériences dans la conception et la réalisation de pipelines data • Expériences dans un environnement du cloud Google (GCP) • Expériences intégrant BigQuery et Dataplex Universal Catalog • Expériences intégrant les langages Python et SQL • Expériences intégrant Spark • Expériences intégrant delta lake • Expériences intégrant Terraform et Terragrunt • Expériences intégrant Gitlab et Gitlab CI/CD • Expériences intégrant les méthodologies Agile : Scrum ou Kanban • Capacité à vulgariser et à communiquer sur des aspects purement techniques