JFrog Integration

JFrog Integration mit NVIDIA NIM Microservices beschleunigt GenAI-Bereitstellung

, JFrog | Autor: Herbert Wieler

JFrog Integration mit NVIDIA NIM Microservices beschleunigt GenAI-Bereitstellung

Durchgängige und sichere DevSecOps und MLOps Lösung mit nativer NVIDIA NIM-Integration

JFrog Ltd (Nasdaq: FROG), Liquid Software-Unternehmen und Entwickler der JFrog Software Supply Chain-Plattform, gibt die allgemeine Verfügbarkeit seiner Integration mit NVIDIA NIM Microservices , Teil der NVIDIA AI Enterprise Software-Plattform, bekannt. Die JFrog-Plattform ist die einzige einheitliche, durchgängige und sichere DevSecOps und MLOps Lösung mit nativer NVIDIA NIM-Integration. Sie ermöglicht die schnelle Bereitstellung von GPU-optimierten, vorab genehmigten Machine Learning-Modellen (ML) und großen Sprachmodellen (LLMs) für die Produktion – bei gleichzeitiger Sicherheit auf Unternehmensniveau sowie erhöhter Transparenz und Verwaltungskontrolle. Ihre einheitliche Infrastruktur ermöglicht es Entwicklern, KI-gestützte Anwendungen effizienter und sicherer als bisher zu entwickeln und bereitzustellen.

Neue Integration beschleunigt die Bereitstellung von GenAI- und LLM-Modellen und erhöht Transparenz, Rückverfolgbarkeit und Vertrauen

„Immer weiter steigt die Nachfrage nach sicheren und effizienten KI-Implementierungen an. Viele Unternehmen wollen ihre KI-Strategien bis 2025 ausbauen. Allerdings gibt es oft Schwierigkeiten, die KI-Implementierungen in die Produktion zu überführen – aufgrund der erheblichen sicherheitstechnischen Herausforderungen“, so Gal Marder, Chief Strategy Officer bei JFrog . „KI-gestützte Anwendungen abzusichern, bereitzustellen und zu verwalten ist von Natur aus eine komplexe Angelegenheit. Die Bedenken hinsichtlich der Sicherheit von Open Source-KI-Modellen und -Plattformen nehmen zu. Es freut uns, dank der Kooperation mit NVIDIA, nun eine einfach zu implementierende End-to-End-Lösung anbieten zu können, die es Unternehmen ermöglicht, die Bereitstellung ihrer KI/ML-Modelle zu beschleunigen und dabei auf Unternehmensniveau sowohl Sicherheit und Compliance als auch Provenance gewährleistet.“

JFrog AI

Mit dem Anstieg der Nachfrage nach KI in Softwareanwendungen sehen sich Datenwissenschaftler und ML-Ingenieure, wenn sie ihre Enterprise-ML-Modellbereitstellungen zu skalieren suchen, vor große Herausforderungen gestellt. Die Komplexität der Integration von KI-Workflows in bestehende Softwareentwicklungsprozesse – in Verbindung mit einem fragmentierten Asset Management, mit Sicherheitsschwachstellen und Compliance-Problemen – kann zu langwierigen, kostspieligen Bereitstellungszyklen führen, KI-Initiativen nicht selten auch gänzlich scheitern lassen. Laut IDC werden 65 Prozent aller Unternehmen bis 2028 DevOps-Tools einsetzen, die MLOps-, LLMOps-, DataOps-, CloudOps- und DevOps-Funktionen kombinieren, um ihren Weg zur KI-Wertschöpfung in Softwareentwicklungsprozessen zu optimieren.

„Die Verbreitung von Open Source-MLOps-Plattformen hat KI für Entwickler aller Qualifikationsstufen zugänglicher gemacht. Schnell können sie nun erstaunliche KI-Anwendungen erstellen. Der Prozess muss jedoch sicher und in Übereinstimmung mit den sich schnell entwickelnden staatlichen Vorgaben erfolgen“, so Jim Mercer, Program Vice President, Software Development, DevOps & DevSecOps von IDC. „Da Unternehmen ihre generativen KI-Implementierungen skalieren, ist ein zentrales Repository mit vorab genehmigten, vollständig konformen und leistungsoptimierten Modellen, aus dem Entwickler auswählen und schnell Implementierungen vornehmen können – dies alles, während es ein hohes Maß an Transparenz, Nachverfolgbarkeit und Kontrolle durch die Nutzung bestehender DevSecOps-Workflows beibehaltet – sehr überzeugend.“

NIM Repositories

Die JFrog-Integration mit NVIDIA NIM ermöglicht es Unternehmen, die neuesten LLMs – einschließlich Metas Llama 3 und Mistral AI – nahtlos zu implementieren und zu verwalten. Gleichzeitig hält sie eine Sicherheits- und Verwaltungskontrolle auf Unternehmensniveau für die gesamte Software-Lieferkette bereit. JFrog Artifactory – das Herzstück der JFrog-Plattform – bietet eine einzige Lösung für das Hosting und die nahtlose Verwaltung aller Software-Artefakte, Binärdateien, Pakete, ML-Modelle, LLMs, Container-Images und Komponenten während des gesamten Software-Entwicklungszyklus. Durch die Integration von NVIDIA NIM in die JFrog-Plattform können Entwickler einfach auf NVIDIA NGC zugreifen – ein Hub für GPU-optimierte Deep Learning-, ML- und HPC-Modelle. Kunden erhalten so eine einzige Source of Truth für ihre Software-Modelle und -Tools, während sie gleichzeitig die besten DevSecOps-Praktiken von Unternehmen nutzen können, um im Hinblick auf ihre Software-Lieferkette Transparenz, Governance und Kontrolle zu erhalten.

Das Update der JFrog-Plattform bietet KI-Entwicklern und DevSecOps-Teams mehrere Vorteile, darunter:

  • Vereinheitlichte ML & DevOps Workflows: Datenwissenschaftler und ML-Ingenieure können jetzt Modelle mit den JFrog DevSecOps-Softwareentwicklungs-Workflows, die sie bereits kennen und denen sie vertrauen, versionieren, sichern und bereitstellen. Dadurch entfällt die Notwendigkeit für Teams, separate ML-Tools zu verwenden. JFrog Curation gewährleistet automatische Compliance-Prüfungen, Audit-Trails und Governance der ML-Modelle.
  • End-to-End-Sicherheit & Integrität: Implementieren Sie kontinuierliche Sicherheitsscans über Container, KI-Modelle und Abhängigkeiten hinweg. So erhalten Sie kontextbezogene Einblicke, über NIM-Microservices hinweg, um Schwachstellen zu identifizieren. Hinzu kommt eine intelligente Bedrohungserkennung, die sich auf echte Risiken und proaktiven Schutz vor kompromittierten KI-Modellen und Paketen konzentriert.
  • Außergewöhnliche Model-Performance und Skalierbarkeit: Optimierte KI-Anwendungsperformance, unter Ausnutzung der beschleunigten Computing-Infrastruktur von NVIDIA, die niedrige Latenzzeiten und hohe Durchsatzraten für die skalierbare Bereitstellung von LLMs in großen Produktionsumgebungen mit sich bringt. Einfaches Bündeln von ML-Modellen mit Abhängigkeiten, um externe Anforderungen zu reduzieren und bestehende Workflows für einen nahtlosen KI-Einsatz auszunutzen. Darüber hinaus bietet die JFrog-Plattform flexible Bereitstellungsoptionen für erhöhte Skalierbarkeit – einschließlich selbst gehosteter, Multi-Cloud- und Air-Gap-Bereitstellungen.

„Performance und Sicherheit sind entscheidend für erfolgreiche KI-Bereitstellungen in Unternehmen“, so Pat Lee, Vice President für Enterprise Strategic Partnerships bei NVIDIA. „Mit NVIDIA NIM, das direkt in die JFrog-Plattform integriert ist, können Entwickler die Einführung von KI mit einer einheitlichen, durchgängigen Lösung für die Erstellung, Bereitstellung und Verwaltung von KI-Agenten im Produktionsmaßstab beschleunigen.“

Um einen tieferen Einblick in die Integration von NVIDIA NIM in die JFrog-Plattform zu erhalten, besuchen Sie https://jfrog.com/nvidia-and-jfrog Sie können sich über die Integration von JFrog und NVIDIA NIM auch auf der NVIDIA GTC, der führenden KI-Konferenz, die vom 17. bis 21. März in San Jose, Kalifornien, stattfinden wird, informieren.