Trouvez votre prochaine offre d’emploi ou de mission freelance Apache

Contexte Dans le cadre de la modernisation de sa plateforme data, notre client remplace un ETL historique par un socle basé sur Microsoft Fabric et Spark. Les flux concernés alimentent un Data Hub finance/risque (contrats, positions, instruments de couverture, flux futurs, contreparties, notations, données de marché). Pour piloter cette transformation, nous recherchons un Tech Lead Data, référent technique auprès des équipes data, architecture et métiers. Descriptif de la mission Évaluer l’existant (flux batch, modèles pivots, dépendances applicatives) avec l’équipe data Concevoir le framework d’ingestion et de transformation (Spark / PySpark / Python / Notebooks) Définir les standards de développement et conventions de nommage Mettre en place la chaîne CI/CD (Azure DevOps, GitHub Actions ou équivalent) Mettre en œuvre les mécanismes de monitoring, alerting et logging des traitements Accompagner les équipes d’intégration et métiers sur les flux critiques Encadrer techniquement et mentorer une équipe d’environ 3 data engineers Optimiser les performances et garantir la qualité des livrables Contribuer à la documentation et au transfert de connaissances Profil recherché Maîtrise de Spark / PySpark et des optimisations de performance Très bonne connaissance de Microsoft Fabric (Lakehouse, Notebooks, Data Pipelines, OneLake) ou Databricks Excellente pratique de Python pour les traitements de données et frameworks internes Très bon niveau SQL, bonne culture ETL/ELT, Data Hub et ingestion temps réel Pratique de la CI/CD (Azure DevOps, GitHub Actions ou similaire) Connaissance appréciée des Webservices / APIs REST Bonne compréhension des produits financiers (prêt, emprunt, titres, swaps, FX) appréciée Aisance relationnelle avec les équipes Finance et Risques, posture de “référent bienveillant” Expérience en lead technique / pilotage de projets data, autonomie, capacité d’auto-formation Français courant, anglais professionnel

L’administrateur Kafka est responsable de l’installation, de la configuration et de l’exploitation des clusters Kafka. Il assure la supervision, la performance et la disponibilité de la plateforme, tout en garantissant sa sécurité via TLS, ACL et bonnes pratiques d’accès. Il gère le cycle de vie des topics, des partitions et des données, optimise les flux et automatise les opérations via des outils IaC. Il accompagne les équipes applicatives, résout les incidents liés aux producers/consumers et contribue à l’amélioration continue de l’écosystème Kafka (Connect, Schema Registry, monitoring).

Dans le cadre de notre développement, nous recherchons un Expert Big Data pour accompagner un acteur majeur du secteur bancaire sur des projets stratégiques liés à la transformation et à l’optimisation de ses plateformes de données. Le consultant aura un rôle clé dans l’architecture et la mise en œuvre des pipelines Big Data, garantissant performance, scalabilité et conformité aux exigences métier et réglementaires. Objectifs de la mission : Conception et développement de pipelines Big Data Définir et mettre en place des architectures de traitement de données complexes. Développer et optimiser des workflows Spark et Airflow pour des traitements batch et temps réel. Assurer la qualité, la fiabilité et la performance des pipelines. Support stratégique et technique Conseiller les équipes sur les choix technologiques et les bonnes pratiques Big Data. Participer à la définition de la stratégie de données et à la roadmap technique. Collaborer étroitement avec les équipes métier et IT pour anticiper les besoins et prioriser les évolutions. Gouvernance et qualité des données Garantir la conformité des pipelines aux normes de sécurité et réglementaires du secteur bancaire. Mettre en place des mécanismes de supervision, de monitoring et d’alerte. Assurer la documentation technique et fonctionnelle des solutions déployées.

Groupe dans le domaine de la défense nécessitant un intervenant habitable CD (natio. française). L’entreprise souhaite mettre en place un socle Kafka pour gérer ses flux de données en temps réel, avec des standards de gouvernance et de bonnes pratiques. La présente prestation vise à assurer la gestion complète du service Kafka, incluant : - La maintenance corrective et préventive (RUN L2 / L3) - La maintenance évolutive (mise en œuvre de nouveaux flux ou d'améliorations) - L’accompagnement des ressources affectées à Kafka (via sessions de formation, suivi des montées en compétence, coaching opérationnel) - La structuration et l’outillage de la base de connaissance (MEX, Reférentiel etc..) - Le pilotage opérationnel et le reporting hebdomadaire des indicateurs de service. la société souhaiterait un accompagnement d’une expertise Kafka. La proposition devra prendre en compte les éléments suivants : • Expertise Kafka (Kafka Streams, Connect, clusters distribués). • Connaissance sécurité, monitoring (Prometheus, Grafana) et DevOps (Docker, Kubernetes). • Capacité à documenter et former les équipes. Missions 1. Audit et conception : analyser besoins, définir architecture, gouvernance et standards. 2. Déploiement : installer/configurer le cluster et les outils associés, assurer HA et disaster recovery. 3. Gouvernance et bonnes pratiques : définir guide usage, gestion topics, droits et schémas. 4. Transfert de compétences : formation et documentation opérationnelle. Livrables • Cluster Kafka opérationnel. • Documentation technique et guide de bonnes pratiques. Procédures de maintenance et formation des équipes. Projets : • Prise en charge des demandes via des tickets Snow • Cadrage / Conception / Analyse d’impact • Devis (via abaque et UO négociées) et planning (date de livraison à communiquer dans le devis) • Réalisation (développements, paramètrage ..) • Tests unitaires, assistance recette, assistance Tests • Fourniture des jeux de données / Rédaction cahier de recette • Test d’intégration, Test de non-régression • Documentations (Rédaction des spécifications fonctionnelles / techniques détaillées SFD, STD, MEX, GIT…) • Prise en charge d’un projet d’un tiers via une prestation de réversibilité

Pour un démarrage sous un mois environ, nous recherchons un(e) intégrateur technique d'application freelance très expérimenté pour intégrer les application web chez notre client, en lien avec la production et les équipes de développement. Très Important : le profil recherché n'est pas un ingénieur de production qui gère des procédures d'intégration applicative mais un consultant habitué à être intercalé entre les équipes de développements et la production et qui prépare les documents d'installation. de plus il doit être expert et parfaitement autonome avec beaucoup d'expérience sur Tomcat / Apache. Pas de Devops dans le périmètre. Astreintes possibles soir et week-end - répartition selon l'équipe Livrables sont : - Dossier d'installation - Composants applicatifs -Configuration applicative Description détaillée - Capable de configurer/installer tomcat manuellement sur windows ou linux - Capable d'analyser les logs tomcat en cas d'erreur - Capable de configurer/installer manuellement un serveur httpd - Capable d'analyser les logs httpd en cas d'erreur - Savoir évoluer dans un environnement linux - Récupération des livrables de développement sur les outils de Gestion de configuration (SVN, GIT) - Installation des packages sur les plateformes de tests - Qualification des packages sur les plateformes de tests selon les normes en vigueur - Vérification de la conformité des applications vis à vis des contraintes de production - Rédaction et validation des documents d'installation et d'exploitation - Rédaction et exécution des plans de tests techniques - Assistance et support technique à la mise en production - Communication avec l'équipe projet - Reporting

Dans le cadre d'un renfort d'équipe chez l'un de nos clients : Nous recherchons un consultant Data / BI / Dataviz avec une expertise sur "Apache Superset" Missions principales : Configuration de dashboards superset : Création de dashboards dynamiques et interactifs pour répondre aux besoins spécifiques de l'entreprise Intégration de données provenant de différentes sources Mise en forme des données pour une visualisation claire et efficace Développement de plugins : Création de plugins personnalisés pour étendre les fonctionnalités de Superset Intégration de nouvelles sources de données Automatisation des tâches de reporting Informations complémentaires : Type de contrat : Prestation de service Début de mission : Immédiat Lieu de travail : Castres / Full Remote

Nous sommes à la recherche d’un Développeur Big Data Java/Scala – Projet Migration DataHub V2 Objectif de la mission : Assurer un service de développement Big Data dans un environnement distribué à forte volumétrie. Accompagnement sur les phases de conception, développement, industrialisation et maintien des traitements. Stack et compétences techniques requises : Apache Spark (maîtrise attendue) Scala (langage principal sur la squad) SQL (avancé) Java (notions de base à confirmées) Kafka (bonnes bases sur les événements, topics) Apache Airflow (idéalement une première expérience) Écosystème Hadoop : HDFS, Hive, Yarn (bonnes bases requises) Cloud (une première expérience Cloud valorisée, idéalement GCP ou AWS) CI/CD : Jenkins, Gitflow, notions de DevOps Méthodologie Agile : backlog, rituels, communication proactive Responsabilités principales : Étude et conception technique des batchs Développement Spark/Scala pour traitement de données volumineuses Récupération, transformation, enrichissement, restitution Création de batchs de publication Kafka Participation à la maintenance de la chaîne CI/CD Collaboration étroite avec les Business Analysts pour garantir qualité et lisibilité des libellés Gestion autonome de certains sujets (reporting, suivi, coordination) Profil recherché : Confirmé (3 à 6 ans d’expérience sur des environnements similaires) Proactif, rigoureux, à l’aise dans les contextes techniques exigeants Capacité à interagir avec des interlocuteurs techniques et fonctionnels Démarrage : ASAP Durée : mission longue (visibilité +12 mois)

Client : Entreprise de transport Poste : Architecte technique Senior DSM Expérience : Plus de 8 ans TJM d’achat max : 5 15€ Localisation : Banlieue parisienne Deadline réponse : 09/12 Démarrage : 01/01/2025 Durée : Mission très longue DESCRIPTION DE LA MISSION Objectifs La prestation, objet du présent cahier des charges, est une prestation à temps plein de Data Engineer Senior Scala/Spark. Vous interviendrez en tant que contributeur individuel sur l’étude, le chiffrage, la réalisation et l’exploitation de tâches liées à la constitution de traitements Data complexes. Les projets sont menés en équipe de 2 à 6 Data Engineers, accompagnés d’opérateurs, d’architectes et encadrés par un chef de projet. Description détaillée des tâches qui constituent la mission Dans le cadre de cette prestation, il est notamment demandé de réaliser les livrables décrits ci-dessous. S'agissant d'un projet mené en méthodologie agile, le découpage des livrables est réalisé par sprints. Le contenu de chaque sprint est variable mais toujours constitué sur la base d’US (User Stories). Les livrables liés aux US sont donc variables mais suivent généralement une recette commune liée à la Definition of Done du projet. Ces livrables sont réalisés par l'équipe projet, sans responsabilité de production individuelle. Les sprints s’échelonnent généralement sur 2 semaines. Contenu général des sprints : Développement des US et tests associés ; Documentation du projet, mapping des données, modélisation des pipelines, documents d’exploitation ; Mise en place du CI/CD sur l’usine logicielle ; Mise en place du monitoring ;

Le service réalise le développement de l'ensemble des services BIGDATA , et garantit : - L’exploitabilité des présentations mises en œuvre - L'expertise des ensembles applicatifs - Le planning global de production - Le support au pilotage. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : - L’automatisation basée sur Cloudera CDP 7.1 à base d’Ansible et Terraform dans un contexte hybride cloud interne et serveurs physiques - Maintien de la production - La gestion des nouvelles demandes de nos bénéficiaires - Livraisons des projets qui apportent de la valeur à nos bénéficiaires - L’automatisation de l'administration et des demandes (self-service, API, scripts) - La mise en place des tests de nouveaux composants Environnement technique :  Ansible  Apache NiFi  Hadoop (Big Data)  Kafka  Scripting (GuitHub, Ansible, AWX, shell, vba)

En tant que Data Engineer chez Smile, vous ferez partie de notre aventure où chaque jour est une nouvelle occasion de construire des solutions qui dépassent les attentes de nos clients (et les vôtres !)🧑‍🚀👩‍🚀 Ce que vous ferez en tant que Data Engineer chez Smile ? Conception et développement de pipelines de données (ETL/ELT). Maintenance et optimisation de l'infrastructure de données. Mise en place de solutions de stockage et de traitement de données (data warehouses, data lakes). Collaboration avec les équipes de data science et d'analyse. Automatisation des processus de gestion des données. Veille technologique sur les outils et technologies de données. Côté technique justement, vous évoluerez dans un environnement Open Source ☕: Ingénierie des données et Cloud : ETL/ELT, Big Data (Spark, Hadoop), plateformes cloud (AWS, Azure, GCP), orchestration (Kubernetes, Docker). Analyse de données et Business Intelligence : Visualisation (Power BI, Tableau), reporting, analyse prédictive, bases de données SQL/NoSQL. Développement logiciel et programmation : Développement backend, langages (Python, Java, Scala, R), API, intégration continue (CI/CD). Recherche et indexation de données : Moteurs de recherche (Elasticsearch, Solr), recherche full-text, optimisation de la performance des requêtes. Vous intègrerez un environnement stimulant où votre expertise et votre passion seront reconnues 💥. Nous vous invitons à participer à des projets captivants et à contribuer à notre croissance commune🌱. Smile s’engage pour un environnement où la diversité est une force et l’inclusion, un pilier. Ici, chaque talent est reconnu, respecté et encouragé à aller plus loin.

Hanson Regan is looking for a Big data / Scala / Spark engineer for a 6 month renewable contract in remote with some travel to Belgium Advanced Data & Application Lifecycle Data Engineering Principles (Datalake, Lakehouse, SCD Types 1 & 2, PIT, ...), Application design, development, testing & deployment, Requirement Analysis Advanced Data Processing & Programming Language Apache Spark, Scala, SQL Advanced Real-time Processing Streaming Technologies (Apache Spark) or Flink Advanced Data Storage Iceberg, Delta Table, Parquet, Avro, CSV,JSON Cloud Platforms AWS, Snowflake (preferred) or Zure Databricks Intermediate Development Tools GIT CI/CD, DBT, Containers Afin de répondre aux besoins de nos clients, nous n'acceptons que les candidatures de freelances travaillant au sein de leur propre entreprise (SAS, SASU, SARL, EURL, etc.). N'hésitez pas à me contacter si vous souhaitez discuter de ce poste plus en détail.

Nous recherchons un Ingénieur Expert Serveurs d’Applications pour intervenir dans un environnement technique exigeant et fortement orienté production. Vous rejoindrez une équipe chargée de concevoir, maintenir et optimiser des socles serveurs d’applications mis à disposition via un cloud interne. Vous interviendrez sur des plateformes critiques basées sur WAS / IHS (et JBoss, Tomcat, Apache) et apporterez votre expertise sur le design, le déploiement, la configuration, la supervision et la résolution d’incidents complexes. Vos missions : 🔹 Catalogue & MCO des socles serveurs d’applications Intégrer les solutions « clés en main » au catalogue interne et assurer leur maintien en condition opérationnelle. Maintenir en état opérationnel les outillages de configuration associés (Ansible Tower, XLD/XLR). Documenter les architectures, procédures et bonnes pratiques. 🔹 Support & expertise Niveau 3 Prendre en charge les incidents critiques (N3) en production et hors production. Diagnostiquer les causes profondes, proposer des corrections et solutions de contournement. Assurer des astreintes régulières sur l’ensemble du périmètre serveurs d’applications. 🔹 Ingénierie & projets (Design / Build / Run) Contribuer aux études d’architecture, POC, prototypes et choix techniques. Concevoir, installer et paramétrer les environnements applicatifs. Garantir la disponibilité, la performance et la sécurité des infrastructures. Participer aux actions de capacity planning et optimisations. 🔹 Gouvernance & amélioration continue Assurer la veille technologique sur les serveurs d’applications. Participer à la définition des normes et standards. Proposer des solutions innovantes pour améliorer performance, qualité et coûts d’exploitation. Rédiger documentations techniques, rapports d’activité, guides d’exploitation

Dans la direction du SI applicatif (DSIA), les projets sont organisés par pôle de compétences. Chaque portefeuille est en charge de gérer ses projets, à la fois en terme de pilotage et suivi, de développement, qualification, intégration et livraison auprès de la direction de l’exploitation qui en assure la mise en production et l’exploitation. Le poste concerne l'équipe d'intégration notaire (DSIA.SILN) sur le périmètre Authenticité et Service de Confiance (ASC) Intégration applicative : packaging, livraisons, déploiement sur des stacks JAVA Conception d’architecture technique en prenant en compte la résilience et redondance pour répondre à la disponibilité des services en production, clusterisation Livrables: Documentations et notes techniques Dossiers d’architecture technique Configuration des briques middlewares et applicatives Mode opératoire à destination de la direction de l’exploitation

Contexte Au sein de la Direction de Production , la/le Run Process Manager est responsable de la bonne mise en application des processus de change & incident. Pour un SI toujours plus performant et une Qualité de Service au plus haut, la/le Run Process Manager pilote les incidents majeurs transverses. Description L'ingénieur Suivi Prod est à la fois vigie de la Production en grand et responsable des processus régaliens qui font vivre cette Production (Change, Incident, Pilotage, Amélioration Continue…). Il a en charge l'amélioration continue des processus, méthodes et outils de Production ainsi que le suivi du respect de leur bonne application. Il analyse les événements de Production pour en extraire des tendances, détecter des signaux faibles et des plans d'amélioration continue. Dans une démarche Services, il accompagne les équipes pour une maitrise de la QoS au juste niveau d'excellence.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

QODEXIA est une société de services informatiques implantée en France et en afrique du nord. Partenaire performant, innovant, agile pour aider les entreprises dans leur transforamtion digitale. QODEXIA s'est spécialisée dans le digital, SAP et les nouvelles technologies, accompagne au quotidien les plus grands acteurs de l'industrie, de l'énergie, du Luxe, de la Banque et de l'Assurance sur leurs projets. L’IT est notre passion, les valeurs humaines sont notre capital, c'est de quoi notre ADN est composé. Pour le compte de l'un de nos clients grands comptes du secteur transport, ous sommes à la rercherche d'un Profil Data Engineer Senior Scala/Spark (H/F) Client : Secteur d’activité Transport Poste : Architecte technique DSM Expérience : plus de 8 ans Localisation : Saint-Denis Durée : Mission très longue