Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Nous accompagnons actuellement un client final basé en Île-de-France , qui recherche un Data Engineer confirmé/expert GCP pour renforcer son équipe pluridisciplinaire (Data Engineer, DevSecFinOps). Contexte & missions principales : RUN : Maintien en condition opérationnelle (RDO multi-sources, 15 applications), gestion des incidents, suivi des flux, mise en production via Git. BUILD : Conception & développement de solutions data (BigQuery, Data Lake, SQL), modélisation sous gouvernance data, intégration Supply Chain, tests & reporting. EXPERTISE : Apport d'expertise GCP, montée en compétences sur le SI, approche FinOps (maîtrise et optimisation des coûts cloud). Livrables attendus : météo quotidienne, remontées d'alertes, scripts & requêtes, documentations, états d'avancement. Compétences requises : Expert impératif : GCP (BigQuery, Data Lake, SQL), GitLab, Terraform Confirmé : Script Shell, IWS, Airflow Langues : Français courant (impératif), Anglais bon niveau Informations pratiques : Démarrage : ASAP Localisation : Île-de-France (hybride) Durée : mission longue possible Contexte : client final - pas de sous-traitance Montreal Associates is acting as an Employment Business in relation to this vacancy.

Dans le cadre du renforcement de notre capacité de support N2, nous recherchons un/une ingénieur spécialisé dans l’exploitation et le support de plateformes Big Data. Role : assurer le maintien opérationnel des plateformes Spark et Airflow tournant sur Kubernetes : Bonne vision de l'univers prod dans la big data Bon niveau en Kubernetes attendu Anglais courant Disponible ASAP Bonnes pratiques d’exploitation de traitements data distribués. Connaissances en tuning Spark, gestion des ressources, profiling applicatif. Capacités rédactionnelles pour formaliser les procédures d’exploitation et de diagnostic. Compétences en scripting (Ansible, Python, Bash..) appréciées. Maitrise chaine CI/CD (Git, jenkins, Gitlab CI, ….)

Contexte: Nous recherchons un Data Analyst / Développeur BI Senior afin de renforcer l’équipe existante. Le profil attendu doit avoir une expertise confirmée dans les environnements GCP et Power BI Online, avec une forte capacité à produire des développements BI robustes, scalables et maintenables. Missions principales: - Réaliser les reportings et tableaux de bord. - Assurer la maîtrise et la modélisation des données. - Concevoir, développer et maintenir des solutions BI performantes, optimisées et réutilisables. - Réaliser des tests fonctionnels et des recettes métiers. - Garantir l’application des bonnes pratiques de développement BI. - Produire la documentation technico-fonctionnelle en fin de sprint. - Conseiller et accompagner les équipes métiers (devoir de conseil). - Collaborer étroitement avec le Product Owner et l’équipe de développement. - Concevoir des maquettes en lien avec le Product Owner. - Participer à l’assistance utilisateurs (formation, transmission de connaissances, support niveau 3). - Débloquer et accompagner les autres développeurs si nécessaire. Environnement technique & compétences attendues Environnement GCP (Google Cloud Platform) : - BigQuery - PySpark - Dataflow - Airflow / DAG - Cloud Storage - Administration de plateforme (IAM, gestion des droits, monitoring, etc.) BI & Data Visualisation : - Power BI Desktop & Online - Modélisation BI - DevOps / CI/CD - Bonnes pratiques BI (scalabilité, performance, maintenabilité). Profil recherché Expérience : minimum 7 ans dans le développement BI et l’exploitation de données. Compétences techniques : maîtrise confirmée de GCP et Power BI Online, avec une bonne pratique des outils de traitement et d’orchestration des données (BigQuery, PySpark, Airflow, Dataflow).

Expert Cloud Au sein du groupe "automation lab" vous travaillerez dans le domaine "Support Cloud" pour traiter les tickets et résoudre les problèmes techniques liés aux demandes clients bloquées dans les portails Cloud opéré par l'orchestrateur BPM (IBM Business Automation) et/ou de l'IBM Cloud Automation et AirFlow sur le cloud OnPREM comme sur l'IBM Cloud. Vous collaborerez étroitement avec les équipes pour résoudre les blocages et assurer un suivi efficace des demandes. Vous serez donc amené à travailler avec toute la Factory (Linux, windows, x86, IKS, ...) les équipes data base, ICD, les équipes sécurité, etc afin d'identifier les root cause sur les blocages des demandes. Le support Cloud est en pleine transformation, la rigueur et l'organisation seront un véritable appui pour la réussite de cette mission. Environnement technique Vous travaillerez avec les outils et technologies suivants : • Cloud IBM et orchestrateur (Terraform, Schematics) • Ansible • Python • Toolchain, Gitlab • Linux Red Hat, Virtualization VMware ESX, TCP/IP, TLS/SSL, ICMP, LDAP, Virtual Directory, IKS, Kubernetes • Service, SFTP, SMTP, SSH, X509, PKI, OpenSSL, GPG/PGP, Java, HTML/CSS, MySQL • SFM • SCCM Mission et Responsabilités • Suivi des demandes du portail Cloud : IBM Cloud (Cloud dédié) • Traitement des Incidents Clients - Accompagnement Client sur le suivi des incidents. • Suivi des blocages des demandes via l'orchestrateur; savoir les expliquer, les corréler aux différentes incidents. savoir les analyser , les catégoriser et les dispatcher aux bonnes équipes pour les résoudre et travailler de façon conjointe avec IBM (ouvrir des cases à IBM, les challenger, ....). • Documentation des anomalies rencontrées; documenter les Mode OP. Connaissance BPM (orchestrateur IBM Cloud) (IBM Business Automation). Connaissance environnement Cloud

Missions principales Concevoir, développer et maintenir des pipelines d’ingestion et de traitement de données à forte volumétrie . Participer à la migration Scala vers Java/Spring et à l’intégration dans Snowflake/Snowpark . Travailler sur l’ architecture et l’optimisation des solutions data (batch & stream). Garantir la qualité du code : tests unitaires et d’intégration, CI/CD, documentation, monitoring. Collaborer avec le Tech Lead et l’équipe , en agile (daily scrums, code reviews, pair programming). Être un référent technique pour l’équipe et contribuer aux choix technologiques. Participer à des projets transverses et assurer la veille technologique sur les nouvelles solutions data. Architecture & concepts Expérience avec architecture medaillon data : Bronze → Silver → Gold. Compréhension des transformations et de la gestion des données selon cette architecture. Capacité à proposer et mettre en œuvre des améliorations pour la performance et la scalabilité. Stack & compétences recherchées Technologies principales : Java (expert, orienté Spark) Spring Snowflake / Snowpark Connaissances attendues : Databricks (full service managé, migration complète) Airflow, GitLab CI SQL Expérience Cloud (préférence GCP, AWS également possible) Compétences complémentaires : Conception de pipelines de données scalables Tests automatisés, monitoring, CI/CD Autonomie et capacité à driver techniquement l’équipe

Nous recherchons un ingénieur de production pour notre client grand compte basé à la Paris. 🎯 Objectifs de la mission : Intégration et paramétrage de solutions logicielles Suivi des mises en production, gestion des incidents et changements Contrôle de la qualité des livrables Installation et configuration des modules applicatifs Réalisation des tests (unitaires, d’intégration…) Collaboration étroite avec les Référents Techniques (RT) Reporting et participation à la veille technologique 💻 Environnement technique : Les compétences suivantes sont requises (niveau ≥ 3 sauf mention contraire) : Systèmes : Unix, Linux, Windows Langages : Shell, Python, Java, SQL CI/CD : Jenkins, GitLab, GitHub Supervision : Zabbix, Instana Ordonnanceur : VTOM Conteneurisation : Docker, Kubernetes Outils DevOps : Ansible, Terraform, Puppet, Airflow Base de données : Redis, PostgreSQL, MongoDB, MS SQL Messagerie : Kafka, RabbitMQ, IBM MQ Orchestration / Workflows / Logs : HAProxy, NGINX, LOKI, Elasticsearch, Prometheus, Grafana, Kibana

CONTEXTE Contexte La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques. La Direction Data a 3 grandes missions : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision. Au sein de l’équipe Silver, la mission se déroulera en collaboration avec les autres équipes de la Data, au cœur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et d’un data ingénieur. Notre stack technique est principalement constitué de Python, Spark, SQL, dbt, BigQuery, Airflow pour l’orchestration des traitements et Terraform ainsi que Terragrunt pour l’industrialisation. Le stack inclut aussi d’autres services de la Google Cloud Platform. MISSIONS : 1. Déployer les datasets normés sur un ou plusieurs des data domain suivants : Utilisateurs, Comportements et Référentiels 2. Accompagner les utilisateurs dans leurs usages 3. Mettre en place le contrôle qualité sur ces datasets En interaction avec les membres de l’équipe, la prestation consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir des pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capables de répondre aux besoins et à l’accroissement rapide du volume de données • Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité des données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Expertises demandées pour la réalisation de la prestation : • Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data • Compétences solides en data : structures de données, code, architecture • Expériences dans la conception et la réalisation de pipelines data • Expériences dans un environnement du cloud Google (GCP) • Expériences intégrant BigQuery et Dataplex Universal Catalog • Expériences intégrant les langages Python et SQL • Expériences intégrant Spark • Expériences intégrant dbt • Expériences intégrant Terraform et Terragrunt • Expériences intégrant Gitlab et Gitlab CI/CD • Expériences intégrant les méthodologies Agile : Scrum ou Kanban • Capacité à vulgariser et à communiquer sur des aspects purement techniques

Je suis à la recherche pour un de nos clients d'un Développeur Python API React JS. L’objectif de la prestation porte sur le projet de remplacement de l’outil de lutte contre le blanchiment et le financement du terrorisme. Ce projet implique le développement des flux entrants et sortants de l’application de Screening (ASAM), le stockage des données et la création d’une interface pour le pilotage de l’activité. • Les connaissances techniques requises : o Jira, o Python, Flask, SQL Alchemy, o Cloud GCP : BigQuery, PostGresql, Airflow, API RESTFUL, … o React JS o La connaissance d’Okta, Swagger et Docker sont un plus Une expérience significative dans le développement est demandée dans les domaines suivants : • développement Back End (API, Python, Cloud function) • développement Front End (React JS) Savoir-faire sur : • Projet en méthode Agile, Kanban, RPE • Principes RGPD

Contexte du poste L’Analytics Engineer est chargé de délivrer des datasets modélisés pour un domaine métier afin d'accélérer les cas d’usage. Il en assure la qualité , la disponibilité , le suivi et l’ accessibilité , pour permettre aux utilisateurs d’exploiter efficacement les données (Self Service Analytics, analyses, modèles, dashboards). Missions principales 1. Délivrer les bonnes données, à temps Assurer le rafraîchissement fréquent et fiable des données pour soutenir la prise de décision. Garantir la stabilité et la fiabilité des datasets exposés. Corriger rapidement les données corrompues. Anticiper et planifier l’évolution des datasets. Déployer les évolutions avec un délai court mais soutenable. 2. User Centric Connaître les utilisateurs et comprendre leurs usages métiers. Collaborer avec les PM Analytics, Data Analysts, Data Scientists et BI Engineers. Automatiser puis industrialiser les datasets nécessaires aux use cases. Suivre et mesurer l’utilisation réelle des datasets. Définir et communiquer le niveau de confiance dans les données. Informer sur l’état et les éventuelles corruptions des datasets. 3. Playmaker / Team player Participer au recrutement et à l’onboarding des nouveaux membres. Contribuer à la communauté Data (partage d’expérience, ateliers, revues de code, pair programming). Collaborer avec les équipes Core Data Products pour fiabiliser les pipelines. Être force d’entraide et de transmission auprès des autres Analytics Engineers. 4. Better Way Améliorer en continu les pratiques de delivery data. Faire évoluer la stack et les outils. Être proactif sur l’amélioration des processus. Contribuer à la réduction de l’impact écologique et économique des solutions déployées. Compétences techniques : Data modeling dbt SQL Tests and expectations Git Airflow Python Spark Data Architecture Databricks Redshift Indicateurs de performance Fiabilité et fraîcheur des données exposées Temps de correction des anomalies Fréquence des déploiements et time to market des datasets Satisfaction et autonomie des utilisateurs Contribution à la communauté Data et aux rituels d’équipe