AI System of Record – erste Ende-zu-Ende DevOps, DevSecOps und MLOps Plattform für vertrauenswürdige AI Deliveries

JFrog Ltd (Nasdaq: FROG), das Liquid Software-Unternehmen, Entwickler der JFrog Software Supply Chain Platform , hat heute JFrog ML veröffentlicht, eine revolutionäre MLOps-Lösung, die es Entwicklungsteams, Datenwissenschaftlern und ML-Ingenieuren ermöglicht, im Rahmen der JFrog-Plattform schnell und in großem Umfang unternehmenstaugliche KI-Anwendungen zu entwickeln und zur Anwendung zu bringen. KI-Initiativen in Unternehmen sehen sich zunehmend mit Herausforderungen in Bezug auf Sicherheit, Skalierbarkeit und Management konfrontiert. Derzeit ist JFrog die weltweit einzige Plattform, die die sichere Bereitstellung von Machine-Learning-Technologien, neben allen anderen Anwendungskomponenten, in einer einzigen Lösung anbietet. JFrog ML ist die erste Ergänzung der Plattform, die sich aus der Übernahme von QWAK.ai im Jahr 2024 ergeben hat.

Durch die nahtlose Verknüpfung von Machine Learning (ML)-Verfahren mit traditionellen DevSecOps-Entwicklungsprozessen können Unternehmen sicherstellen, dass ihre Modelle nahtlos bereitgestellt, gesichert und gewartet werden, wodurch sich die Leistung und Zuverlässigkeit der Modelle in realen, produktiven Anwendungen verbessern soll. Die Bereitstellung von JFrog ML ist Teil von JFrogs Einsatz, die Nachfrage nach skalierbareren, sichereren KI-Anwendungsbereitstellung zu befriedigen – so wie schon die Integrationen mit Hugging Face, AWS Sagemaker, MLflow (entwickelt von Databricks) und NVIDIA NIM.

JFrog ML Screenshot-1

„Mit zunehmender Nachfrage nach KI-gesteuerten Anwendungen, wachsen die Bedenken hinsichtlich der Fähigkeit, diese neue Domäne auch an allen Abschnitten kontrollieren und verwalten zu können – von MLOps bis zur ML-Sicherheit. Unser Team von Sicherheitsforschern war das erste, das neue, bösartige Zero-Day-ML-Modelle in Hugging Face aufgespürt und beseitigt hat“, so Alon Lev, VP & GM, MLOps bei JFrog. „Um Modelle in die Produktion zu bringen, kombiniert JFrog ML ein überragendes, unkompliziertes und problemloses Nutzererlebnis mit dem erforderlichen Maß an Vertrauen und Provenienz, das Unternehmen von JFrog erwarten, so dass sie ihre KI-Initiativen mit gutem Gewissen beschleunigen können.“

JFrog ML Screenshot-1

Die Entwicklung von ML-Modellen und ihre Überführung in die Produktionsreife ist ein äußerst komplexer Prozess, der sowohl technisches Fachwissen als auch ein tiefgreifendes Verständnis von Softwarebereitstellung erfordert. Um Zuverlässigkeit und Effizienz in einer Live-Umgebung gewährleisten zu können, müssen Modelle sorgfältig geplant und getestet werden. Darüber hinaus arbeiten die Data Scientists, die die Modelle erstellen, nicht allein. Sie benötigen Dateningenieure, um Daten zu strukturieren und aufzubereiten, Softwareingenieure, um Modelle als Microservices bereitzustellen, und DevSecOps-Teams, um eine reibungslose und sichere Integration in die Produktion zu ermöglichen.

JFrog ML hilft dabei, diese oft lähmenden Herausforderungen mit einem strukturierten Rahmen zu überwinden. Er wurde entwickelt, um die gesamte Organisation zu unterstützen und sicherzustellen, dass Modelle erfolgreich aus ihren experimentellen Phasen herausgeführt werden.

„Die Einrichtung und Aufrechterhaltung robuster ML-Workflows erfordert eine komplexe Infrastruktur, von der Funktionsentwicklung bis hin zur Modellbereitstellung und Modellüberwachung. JFrog ML wurde entwickelt, um all dies zu ermöglichen. JFrog Artifactory kommt dabei als Modell-Registry, JFrog Xray zum Scannen und Sichern von ML-Modellen zum Einsatz. Durch die Bereitstellung einer einheitlichen Plattform für DevOps, DevSecOps und MLOps wird die Nutzereffizienz verbessert“, so Yuval Fernbach, VP & CTO bei JFrog ML. „KI entwickelt sich weiter. Unternehmen können JFrog ML nutzen, um ihre Infrastruktur kontinuierlich anzupassen und alle Entwicklungen zu unterstützen – von traditionellen ML-Modellen bis hin zu hochmodernen GenAI-Anwendungen.“

Dadurch, dass ML-Modelle von Beginn an als Softwarepaket behandelt werden und dadurch, dass ML-Modellmanagement und Softwareentwicklung in einer einzigen Source of Truth zusammengeführt werden, können Reibungen und Fehler zwischen den einzelnen Entwicklungsphasen und -Teams erheblich reduziert werden. JFrog ML bietet eine KI-Entwicklung und -Bereitstellung mit voller Nachvollziehbarkeit, Steuerbarkeit und Sicherheit.

Zu den wichtigsten Features zählen:

• Eine einheitliche DevOps-, DevSecOps- und MLSecOps-Plattform: JFrog ML bietet, als Teil der JFrog-Plattform, eine ganzheitliche Sicht auf die gesamte Software-Lieferkette – von traditionellen Softwarepaketen bis hin zu LLMs und GenAI – wodurch KI-Pipelines gestrafft werden und sichergestellt wird, dass Modelle, ebenso wie andere Software-Artefakte, sicher verwaltet werden.

• Geschützte ML-Modelle: Ermöglicht KI-Innovationen und sorgt gleichzeitig für die Sicherheit von Unternehmen – mit der einzigen Plattform, die ein standardmäßiges Modellsicherheitsscanning auf bösartige oder anfällige Modelle bietet, die von Ihrem Unternehmen generiert wurden – oder aus Open Source importiert wurden.

• Ein einheitliches Aufzeichungsystem für KI: Als Teil der JFrog Software Supply Chain-Plattform verwaltet JFrog ML ML-Modelle und -Datensätze zusammen mit anderen Bausteinen, wie Containern und Python-Paketen und schafft so einen einzigen Ort, um anpassbare Sicherheits- und Compliance-Richtlinien während des gesamten KI-Entwicklungsprozesses durchzusetzen.

• Intuitive Modellbereitstellung für die Produktion: JFrog ML hilft dabei, KI-Initiativen mit vereinfachten Modellentwicklungs- und -bereitstellungsprozessen voranzutreiben, indem es Data-Science- und ML-Engineering-Teams dabei unterstützt, die Modellbereitstellung in der Produktion zu beschleunigen und gleichzeitig die Sicherheit drastisch zu verbessern und die Modellverwaltung, das Rollback und die Neubereitstellung zu vereinfachen.

• Modelltraining und Qualitätsüberwachung: Vollständige Verwaltung von Datensätzen und Unterstützung von Funktionsspeichern.

• Vertrauenswürdige ML-Umgebung: JFrog ML erstellt ein reproduzierbares Artefakt jedes mit der JFrog-Plattform erstellten Modells und ermöglicht so Sicherheitsscans und automatisierte Qualitätsprüfungen, um sicherzustellen, dass Modelle genauso streng geprüft werden, wie andere Softwarekomponenten auch.

• Unterstützung für NVIDIA NIM KI-Modelle auf Enterprise-Niveau: Der JFrog ML-Katalog wird auch die Bereitstellung von NIM-basierten Modellen als Teil seiner Modellbibliothek enthalten, was eine Bereitstellung mit nur einem Klick erlauben wird.

Sie können sich auch am 4. März 2025 auf der ersten MLOps Days Community-Veranstaltung  in New York City oder während der NVIDIA GTC, der ersten KI-Konferenz, die vom 17. bis 21. März 2025 in San Jose, Kalifornien, stattfinden wird, mit JFrog ML-Experten austauschen.