Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs : un Ingénieur de production (H/F) – ILE DE FRANCE Mission à pourvoir en régie sur l’Ie de France Présence sur site : 3 jours / semaine Compétences obligatoires : ANGLAIS COURANT ; Linux / Redhat ; Apache Tomcat ; Jboss Votre mission : - Accompagnement d’équipes délocalisées pour remédier à l’obsolescence des serveurs, bases de données et briques techniques - Etablissement de plannings de remédiation et suivi - Remontée des alertes et points de blocage REF : EFP/INGPMDQ/ODVB Plus d’offres sur :

Nous recherchons un Ingénieur Big Data Compétences techniques: Hadoop Hive - Confirmé - Impératif Kubernetes - Junior - Important Description détaillée: Il s’agit de participer à la migration de données hébergées sur une plateforme obsolète Hortonworks vers la solution cible. La mission comprend 3 activités principales : - Gestion de la plateforme actuelle Hortonworks 2.6 (run) - Construction de la plateforme cible sur openshift (build) - Préparation à la migration depuis Hortonworks vers openshift (build) Un membre de l’équipe participera également à ces mêmes activités Savoir-faire : - Maitrise de Kafka et Spark - Connaissance de la plateforme Hortonworks et du concept de Big Data - La connaissance d’openshift est un plus - Automatisation (python, shell, SQL, ansible) - Processus ITIL

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation d’un projet important, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Ingénieur de production (H/F) 🚀 💰 Votre mission est pour un client reconnu dans le secteur bancaire, implanté dans de nombreuses villes en France, il a pour objectif d'accélérer sa transformation digitale afin d'offrir toujours plus de solutions et de services innovants. 💳 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Mettre en œuvre des solutions techniques. 🔸 Réaliser des diagnostics pour identifier les causes de dysfonctionnement, proposer et mettre en œuvre des corrections et des solutions de "back-up". 🔸 Proposer des solutions pour améliorer les performances de son domaine d'activité. 🔸 Assurer, si nécessaire, l'interface des experts des autres domaines et gère les échanges avec les sous-traitants. 🔸 Définir les règles de bonne gestion des systèmes d'exploitation. 🔸 Concevoir si nécessaire les normes et les règles de bonne gestion et vérifier systématiquement leur application (sécurité informatique, qualité?). 🔸 Assurer la mise à niveau, l'assemblage, la cohérence et l'homologation des différents logiciels (progiciels, base de données, développements spécifiques) dans le respect de l'architecture retenue. 🔸 Prendre en charge l'intégration de nouvelles applications ou de progiciels (transactionnel et/ou batch) dans le respect des normes et procédures en vigueur 🔸 Effectuer la réception, la validation et le packaging des composants. 🔸 Installer et met à disposition des composants. 🔸 Réaliser la recette technique et l'homologation des composants / applications. 🔸 Participer à l'amélioration des processus et des outils d'industrialisation et de déploiement. 🔸 Travailler en relation étroite et permanente avec les équipes Etudes, Infrastructures et Sécurité. 🔸 Spécificités pour les tests techniques. 🔸 Prise de connaissance du changement et de son contexte technique. 🔸 Compléter le plan de tests proposé. 🔸 Préparer les infrastructures de tests. 🔸 Valider les documents et les procédures à destination de la production. 🔸 Réaliser les différents tests techniques. 🔸 Analyser les résultats. 🔸 Contribuer au diagnostic en cas de dysfonctionnement. 🔸 Rédiger les rapports détaillés qui aideront à la décision du GO/NOGO pour la mise en production. 🔸 Constituer ou met à jour le patrimoine de tests réutilisable pour les intégrations ultérieures. 🔸 Effectuer le reporting vers le Responsable Intégration. 🔸 Contribuer à l'amélioration continue. 🔸 Industrialiser les tests techniques récurrents (automatisation, outillage).

la Prestation consiste à contribuer à/au(x) :  Gestion de l’intégration des données dans le DataLake Azure  Analyse des données et croisement de ces dernières  Analyse des restitutions responsives et mise en avant de la valeur-ajouté des données  Support de la solution et ses composants Environnement technique Expertises : - Java - Spark - Kubernetes - MS Azure - Kafka - Microsoft PowerBI - Cosmos DB - PosgreSQL Les livrables attendus sont : - Spécifications techniques générales et détaillées - Code - PV de tests - Support aux UATs (User Acceptance Tests) - Package de livraison - Gestion des releases et documentations associées - Assistance aux utilisateurs et/ou support

Le bénéficiaire souhaite mettre en oeuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de data Engineering Dans ce cadre la prestation consiste à contribuer à/au(x) :  Recueil et à l'analyse des besoins métier et des processus de bout en bout  La redaction des spécifications techniques.  L'assistance et contribution aux instances projet.  La sécurisation des jalons stratégiques  Suivi et au dépannage de la production pour son maintien en conditions opérationelles Envrionnement technique : Juptyper Lab, ML Flow Environnement Agile Livrables attendus Les livrables attendus sont : - Dévéloppements : Python, système RAG, implémentation des Guardrails, prompt ingénierie) - Contribution aux chantiers transverses : Architecture, Sécurité - Documentation technique de la solution - Contribution à la préparation des instances projets Expertise(s) / technologie(s) Les expertises attendues pour réaliser cette prestation sont listées ci-après :  Compétences en développement (Shell unix, Perl, PHP, Python, git, github)  Continuous Integration  Hadoop (Big Data), Spark  Python

Analyse des Exigences : Collaborer avec les équipes métier pour comprendre les besoins en matière d'analyse de données et de traitement. Conception de Solutions : Concevoir des architectures de données et des solutions de traitement distribué en utilisant Apache Spark. Proposer des modèles de données adaptés aux cas d'utilisation spécifiques. Développement de Pipelines de Données : Développer des pipelines de données robustes et évolutifs en utilisant Apache Spark pour l'ingestion, le nettoyage, la transformation et la préparation des données. Utiliser Spark Streaming pour le traitement en temps réel des flux de données. Optimisation des Performances : Optimiser les performances des jobs Spark en ajustant les configurations, en utilisant des techniques de partitionnement et de cache, et en améliorant l'efficacité des transformations. Gestion des Versions : Utiliser des outils de contrôle de version pour gérer le code source et les artefacts des pipelines Spark. Tests et Validation : Élaborer des stratégies de test pour les pipelines Spark et mettre en œuvre des tests unitaires, d'intégration et de régression. Valider la qualité des données à différentes étapes du pipeline. Déploiement et Monitoring : Déployer les pipelines Spark sur des clusters de production et surveiller les performances en temps réel. Mettre en place des alertes pour détecter les problèmes de performance ou de disponibilité. Sécurité : Implémenter des mesures de sécurité pour protéger les données sensibles tout au long du pipeline. Utiliser des technologies telles que Kerberos, Ranger, ou des outils de chiffrement pour assurer la sécurité des données. Documentation : Documenter les pipelines de données, les flux de travail, les configurations et les bonnes pratiques. Créer des guides d'utilisation pour les autres membres de l'équipe et les utilisateurs finaux.

Technodym est à la recherche d'un chef de projet / PO Middleware pous son client basé en Eysines à Bordeaux Fiche de poste: Le Chef de Projet Middleware est chargé de gérer le développement et l'intégration du middleware au sein du système d'information, en s'assurant que celui-ci répond aux besoins de communication et d'échange entre les différentes applications Il travaille en collaboration étroite avec son homologue côté Intégrateur Porter les missions décrites dans la fiche PO pour les aspects spécifiques du Middleware En complément : Porter le projet de mise en place du middleware (dont bus KAFKA) sur l'infrastructure GCP Piloter les équipes de l’intégrateur sur le domaine Middleware Coordonner les équipes techniques (dont l’architecte technique et les équipes d’exploitation) pour l'intégration et la configuration du middleware Superviser les tests et la mise en production du middleware Assurer la liaison avec les fournisseurs et les partenaires technologiques Maitriser le budget (dont TCO en mode Run), le planning et les ressources du projet middleware Si vous êtes disponible et intéressé n'hésitez pas à m'envoyer votre CV

La prestation consiste à contribuer à/au(x) : Maintien de l'environnement legacy et contribution au projet de migration de l'application vers le Big Data. - Mise en place de la One Plateforme (On premise + Cloude public) - Challenge des choix architecturaux - Audit du codes existants et solutions de factorisation du code - contribution à la validation des futurs développement - Développements, tests unitaires et homologation technique sur des composants applicatifs dans les plannings et délais demandés. La mission doit être effectuée dans le cadre des normes du projet. - Assistance sur les développements produits jusqu'à la mise en production. - Support de production

Nous sommes à la recherche d'un(e) Data Ingénieur / Développeur Flux passionné(e) par les technologies de flux de données et le développement de solutions ETL/ESB. Rejoignez-nous pour faire partie d'une équipe dynamique et contribuer à la conception et à l'implémentation de projets data de haute qualité pour nos clients. Description de la mission : En tant que Data Ingénieur / Développeur Flux, vous serez intégré(e) à un plateau agile et vous aurez pour mission la conception et l'implémentation de solutions ETL/ESB pour nos clients. Vous travaillerez sur des projets data transverses, en étroite collaboration avec les équipes métier et business, et vous contribuerez à faire évoluer et à challenger les process de l'entreprise. Responsabilités : Concevoir et développer des programmes et applications ETL/ESB en fonction des spécifications fonctionnelles et des besoins client. Réaliser les procédures de tests techniques, d'intégration et de recette des développements. Analyser les problèmes techniques et fonctionnels et proposer des correctifs et des mises en conformité techniques. Élaborer et rédiger des documentations techniques à destination du service informatique client. Automatiser l'acquisition, la collecte et l'agrégation des données provenant de différentes sources. Gérer les bases de données de stockage et nettoyer, consolider et structurer les données à l'aide d'outils et d'algorithmes. Travailler en étroite collaboration avec les autres membres de l'équipe technique pour assurer la pertinence et la qualité des solutions développées.

Je cherche un dispositif d’1 tech lead et 3 dév juniors pour la mise en oeuvre d’une Customer Data Platform Les compétences techniques demandées seront : • Apache Spark / PySpark • Apache Kafka • Apache Superset • Python • MongoDB / PyMongoDB • SQL/NoSQL Périmètre : • Instruire la conception technique détaillée • Réaliser les développements • Réaliser les tests unitaires, d’intégration et prendre part aux tests techniques en préprod (perf, cyber, etc.) • Réaliser de bout en bout (d’interopérabilité avec les autres systèmes) • Réceptionner et valider l’infrastructure nécessaire à la CDP • Préparer les livrables, les packages de production • Être garant des déploiements sur les différents environnement (CI/CD) • Participer à la rédaction du dossier d’exploitation (DEX) • Organiser la répartition des tâches • Encadrer le ou les développeur(s) junior(s) Ses qualités : • Compétences techniques solides • Familier du pilotage d’équipe et de la gestion de la relation avec l’éditeur • Capacité à fédérer • Facilité à entrer dans les sujets et les comprendre rapidement • Dynamisme, pro activité et rigueur, y compris dans les communications écrites et orales • Autonomie • Capable de challenger le métier • Connaissance du SI

Réalisation des évolutions techniques et fonctionnelles pour une innovation continue sur du legacy. - Rédaction de documents techniques détaillés assurant une compréhension claire du code. - Garantie de la cohérence et de la qualité des applications à travers leur cycle de vie logiciel. - Utilisation de technologies avancées telles que Java 12, Spring, Hibernate/JPA. - Implémentation de pratiques modernes de développement telles que TDD, API REST/JSON, et design de Transactions distribués. - Collaboration avec des outils de gestion de projet efficaces tels que Git, JIRA, Confluence, et IntelliJ. - Possibilité de travailler sur des architectures distribuées avec Kafka, Hazelcast, et Zookeeper/Curator.

Temps partiel 3 jours par semaine Dans le cadre de la modernisation des applications, nous recherchons un Chef de Projet expérimenté . Compétences : Chefferie de Projet technique Méthodologies Agile (KANBAN) Connaissances Cloud, de préférence GCP Expériences de projets de migration Environnement: Environnement technique : AS400 / GCP et GKE / WebApp JS (STRUT, ExtJS, Vue...) Environnement fonctionnel : métiers de l'approvisionnement Environnement bureautique : Google Workplace Outillage projet : Confluence, JIRA, TRISKELL Outillage technique : GIT, IntelliJ, Maven, Jenkins... Le/la Chef/fe de Projet sera chargé(e) de piloter ce projet technique : Suivi de l'activité des personnes mobilisées, suivi des coûts, suivi de l'avancement / délai, suivi de la qualité. Pour mener à bien le projet, il interagira avec l'ensemble des membres de l'équipe (Gestionnaire d'intégration, Développeurs, Testeurs, Agile Master,...) et reportera au Manager. La méthodologie retenue pour l'exécution du projet est la méthodologie Agile.

Expert Middleware (WAS / JBoss / Apache Tomcat / IIS) L'expert rejoindra le service qui regroupe les équipes d'ingénieries infrastructures, middlewares et bases de données. Missions: Administration courante WAS (Websphere) Administration courante JBoss / Wildfly Mise en œuvre des infrastructures serveurs Web d'applications (Apache Tomcat et IIS) Administration des outils CI/CD Automatisation (Scripting / Ansible / Rundek) Support de niveau 4 (la production est opérée à Singapour) Développement JAVA (optionnel)

- Développement Spark/Scala et HIVE - Une bonne expertise des environnements hadoop- Environnement Anglophone 2 - Livrables attendus Les livrables attendus sont :- Revue de code et re-factoring - Projet agile (Scrum) - Traitement d'un gros volume de données - L'application des normes de développements 3 - Expertise(s) / technologie(s) Les expertises attendues pour réaliser cette prestation sont listées ci-après :  Agile Scrum  Hive  PostGreSQL  Python  Scala Dans le cadre de cette prestation, le pourcentage d'exécution prévu hors site est de 60%

Contexte de la mission Nous cherchons une expertise en développement Fullstack .NET / Angular pour intervenir sur la maintenance et le développement de nouvelles fonctionnalités au sein de notre équipe. En particulier, nous travaillons sur un projet de transformation. L'environnement technique comprend .NET 6 / Angular 16 / SQL Server / MongoDB / Kafka. Objectifs et livrables Nous cherchons à atteindre les objectifs suivants : o Maintenance et développement de nouvelles fonctionnalités o Participation active au projet de transformation o Amélioration de la performance, la fiabilité, la maintenabilité et la scalabilité du code et des architectures conçues o Collaboration efficace avec les différentes parties prenantes des projets, y compris non techniques (métier, management etc...).