Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Contexte Dans le cadre du renforcement d'une plateforme data moderne, l'entreprise recherche un Data Engineer capable de concevoir, développer, déployer et maintenir des pipelines de données robustes dans un environnement cloud. Le poste s'inscrit dans une logique d'industrialisation de la donnée, de fiabilisation des traitements et d'amélioration continue des pratiques DevOps et DataOps. Missions principales Concevoir, développer et maintenir des pipelines de données scalables et performants en environnement cloud. Développer les traitements de transformation et d'automatisation avec SQL et Python. Modéliser les données dans Snowflake et mettre en œuvre les transformations avec dbt. Orchestrer et superviser les workflows de données avec Airflow. Mettre en place des pratiques CI/CD et de versioning avec GitLab afin d'industrialiser les déploiements data. Gérer et automatiser l'infrastructure via Terraform dans une approche Infrastructure as Code. Exploiter les services AWS, notamment S3 pour le stockage et ECS / EC2 pour l'exécution et le déploiement des composants techniques. Collaborer avec les équipes métiers, produit, data et DevOps pour traduire les besoins en solutions data fiables et maintenables. Documenter les pipelines, modèles et traitements afin d'assurer la maintenabilité et la qualité des livrables. Environnement technique Domaine Technologies Langages SQL, Python Data Warehouse Snowflake Transformation dbt Orchestration Airflow Cloud AWS Services AWS S3, ECS, EC2 IaC Terraform DevOps / Versioning GitLab, CI/CD

Description du poste Le/La Senior AI Platform Engineer conçoit et fait évoluer l'infrastructure IA et GenAI globale. Intégré(e) à l'équipe Data Platform, ce rôle consiste à outiller les Data Scientists et ML Engineers tout en sécurisant la mise à disposition de LLM et d'agents IA pour l'ensemble des utilisateurs techniques. Missions principales : Architecture multi-cloud : concevoir des architectures IA robustes et sur-mesure sur AWS et GCP. Industrialisation & IaC : piloter le déploiement et l'évolution des infrastructures via Terraform. Automatisation & CI/CD : orchestrer les pipelines de déploiement continu via Git. Gouvernance & standards : définir les bonnes pratiques, créer des guides et templates, rédiger la documentation technique et assurer une veille sur l'IA générative. Accompagnement & animation : assurer le support technique, animer des Office Hours et vulgariser les enjeux complexes de la plateforme.

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Développeur data sénior (H/F) à Lille, France. Contexte : Le développeur recruté interviendra directement sur ce projet de mise en place d'un nouvel applicatif magasin, en lien étroit avec le PPO et l'équipe projet. L'équipe est composée de 5 personnes et fonctionne en mode produit. Les missions attendues par le Développeur data sénior (H/F) : Développer et paramétrer les solutions et interfaces du périmètre Garantir la qualité des livraisons via la mise en place de tests unitaires Contribuer à l'exploitation et à la stabilité des solutions en production Participer à la gestion des incidents et des problèmes Garantir la performance et la maintenabilité des produits dans la durée Compétences techniques ✓Bon niveau en SQL GCP ✓ Maîtrise de GCP et BigQuery ✓ Maîtrise de Python ✓ Connaissance d'Airflow

"Nous recherchons un consultant Data Scientist orienté ML Engineering, alliant une solide expertise en science des données et de fortes compétences en ingénierie logicielle et infrastructure. Le consultant interviendra sur des sujets variés au sein de la direction DATA, couvrant aussi bien le développement de modèles de machine learning que leur industrialisation et leur mise en production à grande échelle. Le profil recherché est capable de naviguer entre la conception de modèles IA/ML, la construction de pipelines de données robustes, et le déploiement de solutions scalables dans un environnement cloud moderne."

Pour un client dans le Retail, nous recherchons un profil Ingénieur Data. L'idée sera d'intégrer une équipe pluridisciplinaire pour un cas d'usage data avec un focus sur la maîtrise des coûts. Missions : concevoir des solutions conformes, développer et modéliser les données, maintenir les systèmes opérationnels, gérer les incidents, déployer via Git et renforcer l'expertise SI. Compétences recherchées : Python, Apache Airflow, Google Data Studio, BigQuery, GCP, Scripts Shell, Terraform, GitLab Mission dans la métropole lilloise.

Au sein du Pôle Architecture Logicielle & IA (DSI), le Lead IA / Architecte IA & MLOps du stream IA conçoit, cadre et met en œuvre les architectures IA industrielles (ML classiques et IA générative), en garantissant leur cohérence avec le SI, leur industrialisation via le MLOps, et leur observabilité en production. Il intervient de la faisabilité technique au passage à l'échelle, en lien étroit avec la DSMC (valeur métier) et dans le respect des cadres Groupe (Design Authority IA, sécurité, conformité). Périmètre et rattachement Rattachement : Direction des Systèmes d'Information / Architecture Logicielle & IA Interactions clés : DSMC (cadrage valeur, priorisation des cas d'usage), Architectes SI et Logiciel / équipe infra / Cloud, équipe Data, équipes projets DSI, prestataires IA, RSSI, Conformité / Juridique (interfaces), Groupe (Design Authority IA, ITD DataLab Missions principales Cadrage technique & architecture IA Réaliser les études de faisabilité technique IA (données, intégration, sécurité, MLOps). Définir les architectures cibles IA (ML prédictif, RAG, GenAI), alignées avec : le SI existant, les standards Groupe, le socle technique commun (CI/CD, API, SCOM) Formaliser les choix dans des dossiers d'architecture. Prototypage & validation des cas d'usage Piloter ou réaliser des POC IA rapides (4–6 semaines) en lien avec la DSMC. Tester la viabilité des modèles, des données et des chaînes techniques. Documenter résultats, limites, risques techniques et conditions d'industrialisation MLOps & industrialisation Définir et mettre en œuvre les chaînes MLOps : Accompagner l'intégration des solutions IA dans le SI existant. Contribuer au catalogue de services IA de la DSI Observabilité IA & fiabilité Définir et déployer les principes de ML Observability : Mettre en place les alertes et indicateurs nécessaires au pilotage. Contribuer à la stratégie de run IA avec les équipes concernées Gouvernance des modèles IA Contribuer à la gouvernance IA DSI / DSMC : Participer aux comités IA et Architecture. Garantir la conformité des solutions avec les exigences RGPD / AI Act (en lien avec les instances dédiées) Référent IA & accompagnement des équipes Agir comme référent technique IA pour la DSI. Accompagner Data Engineers, équipes projets et prestataires. Diffuser les bonnes pratiques IA / MLOps (standards, patterns, retours d'expérience). Contribuer à la montée en compétence globale sur l'IA industrielle Responsabilités clés Validation des choix techniques IA (outils, modèles, architectures). Définition des standards MLOps & observabilité IA. Contribution aux livrables structurants : Reporting sur l'avancement et la maturité IA du SI Compétences techniques (hard skills) Indispensables Python, Git, CI/CD (GitLabCI) Cloud (priorité Azure) Concepts ML & IA générative (RAG, LLM, embeddings) MLOps (versioning, pipelines, monitoring) Intégration SI / APIs Agent IA Appréciées (non bloquantes) Snowflake Airflow Sécurité IA (prompts, cloisonnement, traçabilité) Compétences comportementales (soft skills) Leadership technique, pédagogie et capacité à influencer. Culture produit et sens de la valeur métier. Rigueur, documentation et standards d'ingénierie. Orientation sécurité et conformité. Communication claire avec équipes techniques et métiers. Profil & qualifications Bac+5 (école d'ingénieur, master en informatique/data/IA) ou équivalent. Expérience : 5–8+ ans en data/ML/Cloud, dont 2–3+ ans en MLOps/architecture. Expérience concrète en industrialisation de solutions IA Bonne compréhension des enjeux DSI et Groupe Certifications (appréciées) : Cloud Architect (AWS/Azure/GCP), AzureML Langues : Français, anglais technique. Localisation : obligatoirement sur Toulouse

Notre client s'appuie sur une équipe Data centrale pour exploiter une grande diversité de sources de données et générer des indicateurs à forte valeur ajoutée au service de ses activités. Dans le cadre du renforcement de son équipe Data Platform, nous recherchons un(e) Senior Cloud Data Platform Engineer qui contribuera à l'optimisation et à l'évolution de la plateforme data cloud, garantissant une intégration fluide des données à l'échelle de l'organisation. Vos missionsConcevoir et développer des templates d'Infrastructure as Code (IaC) avancés et réutilisables pour provisionner et gérer les ressources cloud, selon les meilleures pratiques et des standards d'architecture robustes. Architecturer des blueprints applicatifs complets permettant des workflows de data engineering scalables et fiables. Maintenir les projets AWS existants et accompagner les Data Engineers de l'organisation dans l'utilisation de la plateforme, en lien avec l'équipe Data Support.

En tant qu'Architecte Data, vous concevez et faites évoluer les plateformes de données de l'entreprise. Vous définissez les architectures cibles, accompagnez les équipes techniques et garantissez des solutions performantes, sécurisées et évolutives répondant aux enjeux métiers. Vos missions : Concevoir des architectures Data modernes (Data Lake, Lakehouse, Data Warehouse, Data Mesh). Définir les stratégies d'ingestion, de transformation et de restitution des données (batch & streaming). Garantir la qualité, la sécurité, la performance et la gouvernance des plateformes. Définir les standards d'architecture, de CI/CD et d'observabilité. Optimiser les performances et les coûts des plateformes (FinOps). Accompagner les équipes Data et participer aux instances d'architecture dans un environnement Agile/SAFe.

Contexte de la mission Garantir pour le compte du client le maintien en conditions opérationnelles (MCO) et l'infogérance du socle technique de la DataPlateforme, en respectant rigoureusement les engagements contractuels (SLA, disponibilité, GTI/GTR). Profil & Expérience Requis Formation : Bac +3 à Bac +5 en informatique, systèmes, réseaux ou équivalent. Expérience : 1 à 3 ans minimum sur des postes DevOps / SRE / Infrastructure. Atout majeur : Expérience sur des plateformes Data / Big Data (Airflow, Kafka, DataLake, DataWarehouse). Compétences Linux (Administration Système) : Confirmé Kafka, Airflow, ELK : Confirmé Programmation (Java, Node.js) : Élémentaire Kubernetes : Confirmé Terraform / Ansible : Confirmé Monitoring (Grafana / Prometheus) : Confirmé CI/CD : Élémentaire Scripting Bash / Python : Confirmé

Contexte :Dans le cadre du renforcement de son équipe Data, notre client recherche un Développeur Data confirmé spécialisé Snowflake / dbt pour participer à la conception et à l'évolution de sa plateforme Data Cloud. Missions :Concevoir et développer des pipelines de données et des traitements ETL/ELT. Développer et maintenir les modèles de données sur Snowflake avec dbt. Développer des traitements Data en Python / PySpark / Spark. Participer à l'ingestion et à la transformation de données issues de différentes sources. Optimiser les traitements SQL et les performances des pipelines. Mettre en place les tests et contrôles de qualité des données. Participer à l'orchestration des pipelines avec Airflow / Azure Data Factory. Contribuer à l'industrialisation des développements via Git et CI/CD. Participer aux évolutions de l'architecture Data et aux bonnes pratiques de développement. Environnement technique :Snowflake, dbt, SQL, Python, PySpark, Apache Spark, Azure, Azure Data Factory, Azure Databricks, ADLS, Airflow, Kafka, Delta Lake, Git, CI/CD, Power BI. Profil recherchéExpérience confirmée en Data Engineering. Très bonne maîtrise de Snowflake, dbt et SQL. Bonne maîtrise de Python et PySpark/Spark. Expérience sur un environnement Cloud Azure. Connaissance des outils d'orchestration et des pratiques CI/CD. Autonomie, rigueur et capacité à travailler dans un environnement Agile

Data & AI Engineer (Data Engineering / AI Engineering) Qui sommes-nous ? Fondée par des experts techniques et portée par des passionnés de l'IT, Big APPS est une société de conseil spécialisée dans la Data, le Cloud, le DevOps et l'Intelligence Artificielle (IA). Nous accompagnons nos clients dans leurs projets de transformation digitale en concevant des plateformes de données performantes et des solutions innovantes basées sur l'IA. Nous intervenons sur des projets à forte valeur ajoutée en mettant en œuvre les technologies les plus récentes et les meilleures pratiques du marché. Dans le cadre de notre croissance, nous recherchons un(e) Data & AI Engineer pour renforcer nos équipes. Vos missions En tant que Data & AI Engineer, vous serez amené(e) à : Concevoir, développer et maintenir des plateformes de données robustes et évolutives. Développer et optimiser des pipelines de données (ETL/ELT). Concevoir des architectures Data sur Azure, AWS ou GCP. Préparer, transformer et valoriser les données pour les projets d'IA. Développer, intégrer et industrialiser des modèles de Machine Learning et d'IA générative. Participer au déploiement des modèles en production (MLOps). Collaborer avec les équipes métiers, Data Science et Cloud. Mettre en œuvre les bonnes pratiques DevOps, CI/CD et Infrastructure as Code. Garantir la qualité, la sécurité et la disponibilité des données. Que vous soyez Data Engineer, AI Engineer, Data Scientist ou déjà doté(e) d'une double compétence Data & IA, vous souhaitez intervenir sur des projets innovants mêlant Data Engineering, Machine Learning, IA Générative et Cloud ? Rejoignez Big APPS !

🔎 ContexteL'objectif est d'assurer le maintien en conditions opérationnelles (MCO) et l'infogérance du socle technique d'une DataPlateforme, avec des engagements forts sur les SLA, la disponibilité et les délais de résolution (GTI/GTR). L'environnement repose notamment sur Kubernetes, PostgreSQL, Kafka/Debezium, Airflow, S3, Grafana, réseau, Keycloak et Teleport, dans un contexte Agile et DevOps. 🛠️ MissionsLe consultant interviendra principalement sur : Administration et maintien en conditions opérationnelles des environnements. Administration du cluster Kubernetes : pods, nœuds, scheduler, autoscaling. Administration et supervision de PostgreSQL : sauvegardes, réplication, restauration. Administration de Kafka / Debezium et supervision des flux CDC. Administration d'Airflow. Gestion du stockage objet S3 et des composants réseau. Mise en place et maintien du monitoring / alerting. Gestion des incidents infrastructure : diagnostic, recherche de cause racine, correction et contournement. Respect des SLA / GTI / GTR. Mise en œuvre des sauvegardes, restaurations et PRA/PCA. Application des patchs de sécurité et opérations de durcissement. Contribution aux flux de données via Debezium, Kafka et APIs. ⚙️ DevOps / automatisationUne partie importante du poste concerne l'automatisation et l'industrialisation : Terraform Ansible ArgoCD ou équivalent CI/CD / Git Bash / Python Automatisation des déploiements et opérations courantes Industrialisation des procédures de monitoring, alerting et PRA. 📊 Monitoring & outilsÀ connaître idéalement : Grafana / Prometheus Loki / Tempo ELK / OpenSearch Zabbix Kubernetes ArgoCD Git / CI-CD. 🔐 SécuritéLe profil interviendra également sur : Keycloak Teleport IAM technique Firewall / réseau Gestion des accès techniques Logs, traces et conformité des accès Audits techniques de sécurité.

Tu rejoins une équipe pluridisciplinaire, en tant que ML Engineer, tu interviens sur l'ensemble du cycle de vie des features ML — de l'idée à la mise en production — en collaboration étroite avec les équipes back-end, front-end et produit. Parmi les sujets sur lesquels tu pourras contribuer : personnalisation des résultats de recherche / recommandations (nouveaux signaux, nouvelles architectures de modèles, A/B tests), refonte du système d'auto-complétion, amélioration des pipelines ML (automatisation, monitoring, observabilité), ou encore exploration proactive de nouvelles approches ML pour résoudre des problèmes utilisateurs concrets. Le poste est volontairement équilibré entre modélisation et industrialisation , dans un stack moderne : Python, PyTorch, TensorFlow, MLflow, Kubeflow, Airflow, KServe, AWS, FastAPI, Kubernetes

Au sein d'une équipe DevOps dédiée à la conception et à l'exploitation de plateformes d'infrastructure modernes, le consultant interviendra en tant que Lead DevOps spécialisé Python Backend et Terraform. Il aura pour mission de développer et d'automatiser des composants techniques robustes, de mettre en œuvre des tests automatisés d'API REST avec Python et Pytest, et de contribuer à l'industrialisation des déploiements via GitLab CI/CD. Il participera également à l'amélioration des pratiques d'ingénierie logicielle et de qualité du code, notamment autour du BDD/Gherkin, du TDD et des principes DRY, d'abstraction et d'idempotence. La mission s'inscrit dans un environnement Agile/Scrum combinant Linux, conteneurisation, Infrastructure as Code et automatisation, avec notamment Terraform, Ansible, Docker/Kubernetes et Apache Airflow.

Contexte du poste Nous recherchons un Analytics Engineer / Data Engineer pour participer au développement d'une plateforme Data Analytics intégrée à une suite logicielle d'analyse technico-économique. En collaboration directe avec le Product Owner, vous serez responsable de l'implémentation des cas d'usage liés à la performance et aurez une vraie responsabilité sur la conception de l'architecture analytique et la modélisation des données. Missions principales Concevoir et faire évoluer l'architecture OLAP de la plateforme Modéliser les données selon les approches Kimball / étoile / flocon Développer et optimiser les transformations SQL et les modèles analytiques Concevoir les pipelines d'ingestion et d'orchestration avec Apache Airflow Développer des DAGs Python robustes, modulaires et maintenables Intégrer les données issues de bases OLTP vers l'environnement analytique Structurer les transformations avec dbt Implémenter et maintenir la couche sémantique avec Cube.js Concevoir les dashboards et métriques métiers sous Apache Superset Optimiser les performances, le cache et la gestion des droits d'accès / RLS Participer à l'industrialisation des développements avec Git et Docker