Trouvez votre prochaine mission ou futur job IT.

Il met en avant ses qualités pour mener à bien ses missions : o Autonomie, rigueur et force de proposition o Capacités d'analyse et de synthèse. o Esprit d’équipe 4 à 5 années d'expérience sont attendues sur le rôle au minimum. Expertise Spark, quelque soit le langage de prédilection (Java, Scala, Python). Défini/challenge les solutions et architectures techniques permettant le traitement de volumes importants de pipelines de données suffisamment sécurisés et lisibles Intervient auprès des architectes et urbanistes pour la préparation des dossiers techniques Anime les équipes Data sur toutes les étapes du traitement de la donnée Assure la bonne prise en compte des recommandations du CTO Nex’Us Maîtrise des solutions de stockage de données Maîtrise des technologies du Big Data permettant le traitement et la manipulation de données Maîtrise des outils de gestion de code et de déploiement projet Maitrise des fondamentaux de l’agilité Maîtrise des solutions de stockage de données Maîtrise avancée des langages structurés Maîtrise avancée des technologies du Big Data permettant le traitement et la manipulation de données Expertise Spark Oracle

Dans le cadre de la croissance rapide de HEXATEAM, nous renforçons notre équipe technique en intégrant de nouveaux talents capables d’accompagner notre transition et expansion dans l’univers du Big Data . Nous cherchons actuellement des Architecte Data Engineer AWS pour concevoir, évoluer et maintenir nos plateformes data sur le cloud AWS. En tant qu'Architecte Data Engineer AWS, vous jouerez un rôle clé dans la conception, le développement, l’optimisation et la maintenance des pipelines de données pour répondre aux besoins de nos clients et assurer la robustesse de notre infrastructure Data. Conception et Gestion de Databricks : Création et gestion de clusters , jobs , et notebooks dans Databricks. Utilisation avancée de SQL pour créer des requêtes performantes et gérer de grandes bases de données. Maintien en condition opérationnelle : Analyser, corriger et prévenir les incidents et les défauts de la plateforme data en production. Assurer la stabilité et la disponibilité de la plateforme. Développement de pipelines d'ingestion et de transformation des données : Utilisation de Python avec Apache Spark pour traiter de grands volumes de données. Conception de jobs d’ingestion automatisés et performants. Stratégie à long terme : Proposer et implémenter une vision stratégique pour le développement de la plateforme Data. Travailler en collaboration avec les équipes pour définir la feuille de route technique à long terme. Accompagnement et diffusion des bonnes pratiques : Promouvoir les standards de qualité dans l'équipe. Accompagner les équipes dans l’adoption des bonnes pratiques en termes de développement et de gestion des données. Participation aux ateliers de conception techniques et fonctionnels : Collaborer avec les équipes de développement et de produit pour concevoir des solutions adaptées aux besoins métiers. Documentation technique : Rédiger et maintenir à jour la documentation technique des projets en cours. Indispensable : Langages : Python, SQL Big Data Framework : Apache Spark Outils : Databricks Cloud AWS : Expérience avec les services AWS (S3, Glue, Lambda, Airflow, CloudWatch, IAM) Versioning : Git Méthodologies : Travail en Agile , principalement en mode Scrum Suivi de projet : Expérience avec JIRA et Confluence Souhaité (plus) : CI/CD : Connaissance et utilisation de GitLab pour l’intégration et le déploiement continus. Outils Big Data : Expérience dans la gestion de grands volumes de données . Expérience en CI/CD avec des pratiques avancées d'automatisation.

📑 CDI (42-50K€) / Freelance / Portage Salarial - 🏠 10 jours de télétravail / mois - 📍 Lyon - 🛠 Expérience de 5 ans minimum 🌟 Envie d’un nouveau challenge... CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un(e) Développeur – Big Data | Spark pour intervenir chez un de nos clients. 💻💼 Contexte : vos missions tournent autour de 4 axes : - Fournir une expertise en Big Data pour simplifier la manipulation des données. - Concevoir des solutions techniques pour le traitement massif de données. - Implémenter des solutions de stockage de données (SQL, NoSQL, etc.). - Assurer la sécurité et la lisibilité des pipelines de données pour faciliter l'analyse et la transformation. Voici un aperçu détaillé de vos missions 🎯 : - Création, maintenance, optimisation et sécurisation des bases de données pour garantir leur intégrité et leur performance. - Détection, proposition et suivi des optimisations des requêtes SQL, PL/SQL afin d'assurer l'efficacité des applications métier en termes de traitement des données. - Fournir un soutien aux équipes de développement en identifiant et en recommandant des solutions SGBD adaptées aux besoins métier, tout en assurant leur performance et leur pertinence. - Effectuer une veille technologique sur les outils utilisés dans le cadre du projet, afin de maintenir la pertinence et la compétitivité des solutions mises en œuvre. - Partager et dispenser des formations sur les bonnes pratiques en matière de gestion des bases de données, contribuant ainsi à l'amélioration continue des processus et des compétences au sein de l'équipe.

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'n Data Engineer Python/Spark. Les missions de la prestation notamment seront : Remplacement des pipelines Informatica par des pipelines spark, pyspark et python Ordonnancement : Remplacement du DAC de OBIEE par Dagster Restitution : Création de rapports sur Apache SuperSet sur la base du LakeHouse Les principales missions à mener sont : - Description des fonctionnements existants et des besoins couverts, - Développement d’une solution de collecte de données, - Développement d’un système de stockage de la donnée, - Réalisation de tests unitaires, - Mise en place d’un suivi des traitements, - Assistance à la recette par la MOA / les utilisateurs.

Nous sommes un acteur majeur de la distribution. Au cœur de notre stratégie de transformation numérique, notre département IT déploie un programme ambitieux de rénovation de notre Système d'Information centré sur la data et le cloud (Azure). Cette mission s'inscrit dans une démarche de structuration de notre Big Data et de nos solutions BI répondant aux besoins critiques de nos métiers. ▶️ Missions Développer et mettre en œuvre des solutions d'analyses Big Data. Analyser les besoins, réaliser des études d'impact et concevoir des solutions techniques innovantes. Concevoir et modéliser des données dans un Data Lake utilisant des formats optimisés. Construire et optimiser des pipelines de données. Développer des notebooks avancés pour le traitement des données. Participer au Cloud Datawarehousing, incluant tuning et optimisation SQL. Rédiger des documentations techniques. Être impliqué dans la revue de code et les tests unitaires. Assurer la maintenance et l'évolution des solutions. Contribuer à l'optimisation des processus de livraison en environnement DevOps. 🔦Stack technique À maîtriser Azure Cloud Databricks, Spark Langages : Scala, Python, SQL CI/CD, Azure DevOps Architecture Lakehouse => Environnement technique global Outils Agile, notamment JIRA Environnement DevOps

Ingénieur MLOPS Montpellier Senior DevOps : Maîtrise de GitHub, Docker, Kubernetes. Outils : MLFlow, Expérience avec Airflow. Plateformes : Connaissance de Spark (Databricks) ou GCP (Vertex AI), AWS, . Langages : Excellente maîtrise de Python et Scala. Pré embauche sous 1 an de mission ASAP Vos principales responsabilités : Concevoir et développer des solutions logicielles pour l'IA et la gestion des flux de données. Proposer et implémenter des stratégies novatrices pour l'extraction, le traitement et l'analyse de l'information. Assurer le déploiement, le test et la maintenance des solutions MLOps. Vous serez également en charge de : Participer aux rituels de gestion de projet (Agile ou cycle en V). Rédiger de la documentation technique détaillée. Réaliser une veille technologique proactive autour des données et de leur traitement. Votre profil : Formation : Diplôme d'Ingénieur ou équivalent (Bac+5) en sciences ou informatique. Expérience : Expertise avérée sur des projets en data & IA, avec une forte inclinaison pour le développement et une culture solide en data et DevOps. Compétences Techniques : DevOps : Maîtrise de GitHub, Docker, Kubernetes. Outils : MLFlow, Expérience avec Airflow. Plateformes : Connaissance de Spark (Databricks) ou GCP (Vertex AI), AWS, . Langages : Excellente maîtrise de Python et Scala. Qualités Personnelles : Esprit d'équipe, passion pour la data, autonomie et capacité d'adaptation.

Au sein du Pôle Administration & Transition (ATR) de la Direction des Opérations (DOP), l'administrateur applicatif Big Data sénior interviendra en tant qu’administrateur des applications du client. Veuillez noter que la durée du bon de commande mentionnée est estimative. Elle est sujette à ajustement en fonction des besoins et des évolutions du projet. Objectifs et livrables La principale mission est de participer à : La maintenance en condition opérationnelle des services applicatifs sur la base des meilleures pratiques ITIL ; La mise en œuvre de nouveaux projets pour le client. Mission complémentaire: S’assurer du bon niveau de résolution des incidents et problèmes des Middlewares. Support à la mise en œuvre des changements et des mises en production (Recette d’exploitabilité). Mise en place du Monitoring des nouveaux Middlewares. Participer avec la MOE/MOA aux évolutions des Middlewares. Identifier les impacts des évolutions Middlewares et mettre en place les actions et procédures d’exploitation associées. Rédaction des fiches d’exploitation des Middlewares. Assurer un reporting régulier auprès de son Manager. Spark :Confirmé Kafka :Confirmé Linux (RH, CentOS …) :Confirmé Cassandra :Confirmé Hadoop :Confirmé

Hello ! Nous c’est WEKEY ! Nous ne sommes ni une ESN ni un cabinet de recrutement. Aaah mais qui sommes-nous alors ? Pour tout savoir sur nous et votre future mission c’est par ici 😁⬇ Vous êtes Data Scientist H/F et vous recherchez une mission en freelance ? Nous avons le projet qu’il vous faut pour l'un de nos clients basé à Niort dans le secteur des assurances. CE QUI VOUS ATTEND 👀 Dans le cadre de la mission votre rôle sera : · Concevoir, développer et mettre en œuvre des modèles en utilisant des techniques avancées d'apprentissage automatique et de statistiques. · Travailler en collaboration avec les équipes métier pour comprendre les objectifs, identifier les variables clés et définir les critères de succès pour les modèles. · Collecter, nettoyer et préparer les données nécessaires à l'entraînement des modèles. · Utiliser Python et d'autres outils analytiques pour développer des scripts et des pipelines de données efficaces. · Évaluer la performance des modèles, ajuster les paramètres et effectuer des améliorations continues. · Communiquer efficacement les résultats des analyses et des modèles aux parties prenantes non techniques.

Contexte / Objectifs : La mission va se dérouler au sein de l'IT Data Management & BI dans l'équipe Trade et Treasury Solutions qui aujourd'hui développe et gère un datalake (GT Lake) Ce datalake est une brique clé dans la mise en oeuvre des projets de développements autour du plan stratégique et des besoins métiers. Les principales missions consisteront notamment à : - Rédiger des spécifications techniques détaillées - Analyser les impacts des nouveaux projets sur les traitements/processus du système d’information existant - Comprendre et faire évoluer les modélisations - Développer des requêtes - Réaliser des développements (avec une approche industrielle) - Organiser et réaliser des recettes - Planifier et suivre la production - Implémenter et automatiser de bout en bout des programmes et solutions de Data Engineer dans un environnement Big Data - Intégrer, former les collaborateurs data ingénieur de l'équipe, définir les bests practices... - Participer à la communauté BigData de la BGC La mission se fera exclusivement dans un contexte méthodologique Agile. Il impliquera de pouvoir travailler avec des collègues travaillant à distance dans l’entité de Porto. Activités et tâches : • Acheminement de la donnée • Mise à disposition de la donnée aux équipes utilisatrices • Mise en production de modèles statistiques • Suivi de projet de développement • Développement job spark • Traitement et ingestion de plusieurs formats des données • Développement des scripts • Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données • Développement des moyens de restitution via génération de fichier et ou API & Dashboarding • Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers • Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) • Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP • Participer à la conception, mise en place et administration de solutions Big Data • Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka • Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

Smarteo recherche pour l'un de ses clients, Un Data Ingénieur(Spark,spark streaming,batch, Kafka,Java,Stack Hadoop Cloudera)sur Nantes Descriptif: Notre client nous soumet une de mande de prestation de DATA ENGINEERING Taches réalisées : - Développer les cas d'usages Data - Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) - Mettre en ?ouvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents - Accompagner l'évolution des pratiques de l'équipe dans une logique d'amélioration continue de la qualité du code Compétences techniques attendues : - Spark (spark streaming et batch), Kafka, Java - Stack Hadoop Cloudera - Hdfs, Hive, Hbase, Phoenix, MongoDB - DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana - Scrum (cadre agile entreprise) La mission nécessite de l'autonomie, de l'adaptabilité et une bonne communication (lien direct avec les Squads : PO ou DEV), Si vous êtes disponible et intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word.

Missions: · Développement Scala/Spark · Maîtrise de l’environnement technique (AWS Databricks, AWS S3) · Expériences sur la Qualité logicielle (revue de code ; conformité aux critères de qualité SONAR, tests automatisés) · La connaissance de Power BI (Azure) est un plus -Les compétences fonctionnelles attendues sont les suivantes : · Méthode Agile · Expérience sur des projets de technologies similaires · Connaissance du domaine Data · Expérience de travail sur des projets en équipe, (notamment savoir solliciter son écosystème au bon moment)

- Intégrer des données provenant de sources externes et exploiter pleinement le Datalake. - Générer et diffuser automatiquement des agrégats quotidiens, hebdomadaires et mensuels. - Mettre en place la chaîne complète d'ingestion, validation, croisement et stockage des données enrichies dans le Datalake. - Respecter les normes d'architecture définies lors du développement. - Documenter les user stories en collaboration avec le PO - Créer des scripts de déploiement et prioriser la résolution des anomalies. - Soutenir les équipes d'exploitation et contribuer à l'implémentation de la chaîne de livraison continue. - Automatiser les tests fonctionnels.

SquareOne intègre sur ses projets partenaires des Ingénieurs Data Spark / Scala pour renforcer des équipes Big data dans la modernisation de leurs plateformes big data / DevOps, initialement basées sur un legacy VM AIX, Linux, BDD Oracle / C++, SQL, Shell, vieillissantes. -> Scala / Spark / Java Spring. La Défense + TT / Projet long terme. Anglais impératif (échanges FR / EN avec des équipes support basées en Inde). Profil recherché : Data Engineer confirmé, autonome, Team player, ayant une expérience avec les technologies Spark, Scala, et autres technologies Big data. Une expérience dev Java et/ou Python est appréciée. CDI / Freelance - Selon profil.

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation de différents projets, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Ingénieur Data (H/F) 🚀 Votre mission est pour un client du secteur social opérant sur tout le territoire français . 📝 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Administration de la plateforme Dataiku DSS, gestion des environnements, surveillance des performances, gestion des utilisateurs, et maintenance. 🔸 Support aux utilisateurs, accompagnement sur les projets, bonnes pratiques, et résolution d'incidents. 🔸 Optimisation de l'architecture, collaboration avec l'éditeur pour améliorer et optimiser la plateforme. 🔸 Construction d'une offre de service autour de la plateforme DATA/IA fédérée.

Taches : Travailler avec le PO pour l'alimentation et la gestion du backlog Implémenter les fonctionnalités validées par le métier Revue de code Préparation et déroulement des plans de tests et de recette Réception, validation et intégration des données : Base de données relationnelles Web services Fichiers Analyse et résolution des incidents : Supervision des applications pour s'assurer de ; La bonne exécution des traitement / La complétude et cohérence des données Attendue de la mission : Rédaction et affinage des récits utilisateurs Design et réalisation des applications Big Data Etude de faisabilité et réalisation des POC Chiffrage des évolutions et étude d'impact Participation à des rituels Agile Résolution des incidents Support et Assistance technique des utilisateurs Migrations et montées de version Packaging des versions et déploiement CI / CD Tests unitaires Tests intégration Assistance et accompagnement pour les plans de recette

Contribuez à des projets data complexes avec des technologies avancées. Quel sera votre rôle ? Nous recherchons un(e) Data Engineer Scala / Spark. Vous rejoignez l’équipe d’ingénierie data pour concevoir des pipelines de traitement de données à grande échelle. Au quotidien, vos missions seront les suivantes : Développer et optimiser des pipelines de données en utilisant Scala et Spark, dans un environnement distribué. Mettre en place des modèles de données complexes en SQL pour répondre aux besoins métier. Collaborer avec les data scientists pour garantir l’efficacité des flux de données et des modèles analytiques. Environnement technique : Scala, Apache Spark, SQL, Hadoop, Kafka