Trouvez votre prochaine offre d’emploi ou de mission freelance Scilab

Bonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. Mission : Livrables n 1 : Sprint n 1 + Lot 1 : développement des US et tests associés ; + Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation ; + Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; + Lot 4 : Mise en place du monitoring ; LE PROFIL RECHERCHE Compétences métiers & outils : Les compétences technologiques attendues sont : + Indispensables : maîtrise de l’API Scala Spark (batch principalement), maîtrise des techniques d’optimisation Spark, expérience dans le traitement de volumétries importantes / complexes, développement et bonnes pratiques Scala, build Maven, travail en environnement cloud (idéalement Azure) + Appréciées : écosystème Databricks, développement d’API HTTP, expérience sur la stack ELK Compétences transverses + Aisance relationnelle + Esprit d’équipe et d’adaptabilité + Esprit de synthèse + Rigueur et esprit d’analyse + Autonomie + Force de proposition + Vous avez le sens des priorités et la capacité à gérer les délais + Vous aimez le travail en mode multi-projets + Appétence client, besoin métier et compréhension du fonctionnel + Mentoring et partage de connaissances

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation de différents projets, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Data Engineer Spark/Scala (H/F) 🚀 💰 Votre mission est pour un client du secteur banque et assurance qui dispose de 3000 caisses locales sur l’ensemble du territoire ainsi que de 8000 conseillers. Le projet est pour l’une de ses caisses. 📝 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Conception détaillée, fonctionnelle et technique des solutions SPARK/SCALA 🔸 Développement de scripts et modules en SPARK/SCALA 🔸 Formalisation et exécution des plans de tests 🔸 Résolution des anomalies rencontrées lors des phases d'intégration fonctionnelle et de recette utilisateur 🔸 Packaging et déploiement des solutions développées en environnements de pré-production et de production 🔸 Optimisation des traitements Big Data 🔸 Mise en œuvre des solutions industrielles de réentrance

Nous recherchons un Freelance “Data Science/AI Engineer” pour faire partie de notre équipe et avoir un impact direct sur notre produit et le monde de la finance durable. Responsabilités : Travailler avec l’équipe tech pour intégrer des solutions d’intelligence artificielle dans les systèmes existants. Veille technologique sur l’IA générative et les plateformes de l’écosystème. Idéation, création et tests de nouveaux modèle d’IA en rapport avec nos produits ESG. Reportez directement à notre CTO. Missions: Une première mission de 2/3 semaine pour apprendre à se connaître et valider le fit. Des missions plus périodiques. 5 jours / mois. Exigences Connaissance pratique de l’anglais. C’est notre langue de travail. Vous êtes le candidat idéal si vous Avez une expérience et une expertise dans le domaine de l’IA (3 ans et +), NLP, LLMs, Prompt engineering. Possédez des bases solides en Python et êtes familier avec les outils tels que Jupyter, Colab. Etes familier avec le concept de RAG (Retrieval-Augmented Generation). Avez de l’expérience dans l’application de NLP à l’ingestion de documents. Êtes désireux d’apprendre et d’expérimenter de nouvelles technologies et outils. Avez une passion pour la résolution de problèmes et un esprit curieux. Pouvez communiquer efficacement des concepts complexes à des publics divers. Aimez travailler en collaboration dans un environnement dynamique de startup. Points bonus si vous Avez de l’expérience avec la plateforme Google Cloud AI. Avez un portfolio présentant vos projets de science des données. Veuillez soumettre votre CV, lettre de motivation et tout autre lien pertinent. Nous sommes impatients de vous lire ! 1 entretien CTO 1 case study

Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : Conception détaillée, fonctionnelle et technique. Développements SPARK / SCALA Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. Packaging et déploiement en pre-production et production. Optimisation des traitements afin de garantir la qualité de service standards du DWG. Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. Mise en service et accompagnement au déploiement. Suivi des environnements. Le consultant devra travailler en étroite collaboration avec le Chef de Projet, responsable du lot et l'équipe de développement du Programme. Une connaissance d'Oracle est nécessaire Une expérience >5 ans sur des technologies SPARK & SCALA est nécessaire Une connaissance de contexte technologique similaire est un plus

💡 Missions pour le Data Engineer : Développement et maintenance : Créer et maintenir des ETLs et des pipelines de données robustes en utilisant Talend, MS BI, Azure ( DataFactory ), GCP ( BigQuery ) , SQL, Python, Scala... Modélisation des données : Proposer des modèles de données fiables et optimisés en termes de stockage et de traitement. Automatisation : Implémenter des processus de CI/CD pour automatiser le déploiement et la gestion des infrastructures de données. Analyse et reporting : Développer des rapports et des dashboards en utilisant Looker, Power BI, Qlikview, Tableau, pour faciliter l'accès aux insights data-driven.

La prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des évolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets

Objectifs et livrables L’expertise technique sur le Datalake (plateforme Big Data) consistera à : · Assurer le maintien en conditions opérationnelles de la plateforme Datalake : gestion des incidents et des demandes effectuées par les projets ou les utilisateurs finaux · Contribuer à l’implémentation/automatisation des solutions · Effectuer les actions de mises en production · Contribuer à l’amélioration continue des outils d’exploitation · Communication auprès des utilisateurs finaux Le Prestataire devra fournir les livrables suivants : · Récapitulatif mensuel des tickets traités (incidents, demandes de travaux) · Statut bi-mensuel sur l’avancée des projets sur lesquels il sera contributeur

Le bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Conception et développement Dans ce cadre la prestation consiste à contribuer à/au(x) : - Développement Spark/Scala et HIVE - Traitement d'un gros volume de données - Environnement Hadoop - Environnement Anglophone - Environnement Agile Les livrables attendus sont : - Revue de code et re-factoring - Normes de développements Les expertises attendues pour réaliser cette prestation sont listées ci-après : • Hive

Nous recrutons un(e) Développeur(se) Backend Java pour accompagner l'un de nos clients dans le secteur de la finance. L’analyse des besoins métiers, Le développement des fonctionnalités autour des technologies Java, L'amélioration continue (technique, organisation et processus), La mise en production, L’exécution des tests unitaires, Le traitement et suivi des anomalies, La rédaction de documentation technique. Compétences Backend : Java, Spring/ Spring Boot Connaissances fonctionnelles sur la finance de marché Un + : Scala/Spark

Nous recrutons un(e) Développeur(se) Backend Java pour accompagner l'un de nos clients dans le secteur de la finance. L’analyse des besoins métiers, Le développement des fonctionnalités autour des technologies Java, L'amélioration continue (technique, organisation et processus), La mise en production, L’exécution des tests unitaires, Le traitement et suivi des anomalies, La rédaction de documentation technique. Compétences Backend : Java, Spring/ Spring Boot Connaissances fonctionnelles sur la finance de marché Un + : Scala/Spark

Architecte Data Azure et Snowflake . - Il maîtrise le panel des exigences fonctionnelles et non fonctionnelles à collecter afin d'assurer l'efficience opérationnelle et la pérennité de la data platform. - Expert et maîtrise tous les outils et services de l’écosystème Azure et a des facilités pour étendre votre champ de compétences. - proactif/ve sur la veille technique et la capitalisation et veille à garder toujours un temps d'avance sur l'état de l'art du secteur afin de pouvoir guider ses clients. - En tant qu'architecte expérimenté(e) il peut intervenir sur des missions opérationnelles pour concevoir la solution cible ou en phase de cadrage amont pour guider les choix et construire les roadmaps. - pédagogue et sait communiquer et vulgariser des réflexions complexes pour les rendre accessibles à tous.

Le bénéficiaire souhaite mettre en oeuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de data Engineering Dans ce cadre la prestation consiste à contribuer à/au(x) :  Recueil et à l'analyse des besoins métier et des processus de bout en bout  La redaction des spécifications techniques.  L'assistance et contribution aux instances projet.  La sécurisation des jalons stratégiques  Suivi et au dépannage de la production pour son maintien en conditions opérationelles Envrionnement technique : Juptyper Lab, ML Flow Environnement Agile Livrables attendus Les livrables attendus sont : - Dévéloppements : Python, système RAG, implémentation des Guardrails, prompt ingénierie) - Contribution aux chantiers transverses : Architecture, Sécurité - Documentation technique de la solution - Contribution à la préparation des instances projets Expertise(s) / technologie(s) Les expertises attendues pour réaliser cette prestation sont listées ci-après :  Compétences en développement (Shell unix, Perl, PHP, Python, git, github)  Continuous Integration  Hadoop (Big Data), Spark  Python

Nous recherchons pour l’un de nos clients un Data Engineer AWS. Contexte de la mission : Au sein de l'équipe chargée de développer des outils internes d’une entité, constituée de 10 personnes : Développeurs back/frond end et Ingénieurs Data, le Data Engineer AWS est en charge de mener à bien un besoin clé du Groupe autour du sujet Zéro Carbone. Affecté à l'équipe métier, nous travaillons en mode Scrum en collaboration avec un autre Data Engineer et un PO pour réaliser les tâches et mener à bien le projet à terme. Missions : - Créer des fonctions AWS Lambda et pour consommer des APIs provenant de l'extérieur (données Gas/Power) et alimenter nos buckets S3 dédiés. - Développer des jobs AWS Batch pour alimenter nos buckets S3 avec des données pré-calculées de l'intensité Carbon du Groupe et de ses clients. - Mettre en place des dashboards sur Quicksight pour visualiser les résultats. - Développer une API Flask et exposer les calculs via Swagger. - Exploration des données via AWS Athena. - Mise en place de Jupyter Notebooks pour exposer et valider nos premiers résultats de calculs aux métiers. - Scheduler des jobs via CloudWatch et StepFunctions. - Archiver l'ensemble du code dans Git et mettre en place un déploiement automatique via Azure Devops - Mise en place de WebApps sur Azure pour héberger nos API Flask. - Collaborer avec nos clients pour présenter nos calculs et les accompagner. Environnement technique : Spark, Python, Jupyter/ Pytest, Flask, Swagger, AWS Lambda/ Athena/ CloudWatch/ QuickSight/ Batch / S3/ Partionning/ Bucketing, Azure Devops/ Functions/ AppService/ Web Apps.

Nous recherchons pour le compte d'un de nos clients un Data Engineer en gestion de données Azure, souhaitant contribuer à des projets innovants dans un environnement dynamique et en constante évolution. Vous aurez l'occasion de travailler sur des tâches variées allant de la gestion de base de données SQL sur Azure à l'automatisation des pipelines ETL et au développement de scripts Python pour le web scraping. xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

PLATEFORME : Cloud privé SG (accès restreint) COMPETENCES RECERCHEES: Connaissance Technologies VMWare (Interne SG) Connaissance des systèmes d'exploitation Windows et UNIX Connaissance installation / Maintenance des Services Windows Connaissance de l'Administration Windows Connaissance LDAP Connaissance du langage de programmation Powershell Connaissance de différents langages de programmation et de script (Java, Python, Ruby, JavaScript, Scala, etc.) Connaissance de différents bases de données Principes de réseau et protocole TCP/IP (ouverture de route, etc...) Connaissance d'Azure Devops (Chaîne CI/CD), du Cloud Public (Azure, AWS, GCP) et de l'Observabilité (Elastic Stack) Connaissance Technologie Automatisation OBJECTIFS : Automatisation de Virtualisation des creations/installation de VDI Automatisation de Virtualisation des creations/installation de Serveurs

La prestation consiste à contribuer à/au(x) : Maintien de l'environnement legacy et contribution au projet de migration de l'application vers le Big Data. - Mise en place de la One Plateforme (On premise + Cloude public) - Challenge des choix architecturaux - Audit du codes existants et solutions de factorisation du code - contribution à la validation des futurs développement - Développements, tests unitaires et homologation technique sur des composants applicatifs dans les plannings et délais demandés. La mission doit être effectuée dans le cadre des normes du projet. - Assistance sur les développements produits jusqu'à la mise en production. - Support de production