baseten
Prompt ausprobieren
Deutsch

Plattformübersicht

Was macht baseten in der Praxis für KI-Teams?

Wenn Sie sich fragen, was baseten macht, lautet die kurze Antwort: Baseten stellt Infrastruktur für die Bereitstellung und den Betrieb von KI-Modellen bereit. Die Plattform hilft Teams, aus einem Modell einen Inferenzdienst für Anwendungen zu machen, statt die Infrastruktur dafür vollständig selbst entwickeln zu müssen.

KI-Tools entdecken
Illustration für die Landingpage von Baseten

Definition in einem Satz

Baseten ist eine KI-Infrastrukturplattform, die darauf ausgerichtet ist, Modelle in Anwendungen einzusetzen. Ihre zentrale Aufgabe ist die Bereitstellung von Modellen: Anfragen entgegennehmen, ein Modell ausführen und Ergebnisse zurückgeben.

4 min Lesezeit

Weiterführende Artikel

Die Definition ist ein Ausgangspunkt. Diese Leitfäden zeigen, wo die Plattform zugänglich ist, wie ein Inferenzablauf gestaltet wird und was vor der Übermittlung von Daten zu prüfen ist.

So funktioniert es

Model Serving verbindet ein vorhandenes Modell mit der Software, die seine Vorhersagen oder generierten Ausgaben benötigt. Die genaue Einrichtung hängt vom Modell und der Anwendung ab.

  1. 1

    Modell vorbereiten

    Ein Team wählt das Modell aus, das es betreiben möchte, und legt die Anforderungen an Ein- und Ausgaben fest. Ein Textmodell benötigt beispielsweise ein anderes Anfrageformat als ein Bildmodell.

  2. 2

    Serving-Endpunkt bereitstellen

    Das Modell wird über eine Inferenzinfrastruktur verfügbar gemacht. Diese Infrastruktur übernimmt die operativen Aufgaben, Anfragen entgegenzunehmen und das bereitgestellte Modell auszuführen.

  3. 3

    Anwendung anbinden

    Der Anwendungscode sendet Eingaben an den Endpunkt und verwendet die zurückgegebenen Ausgaben. Das Team muss weiterhin die Qualität der Antworten testen, Fehler behandeln und überwachen, ob die Ergebnisse seinen Anforderungen entsprechen.

Was es leisten kann und was nicht

Baseten kann eine Serving-Schicht bereitstellen. Ein Modell bereitzustellen ist jedoch nicht dasselbe, wie es auszuwählen, zu bewerten oder Regeln für seinen Einsatz festzulegen. Dies sind die praktischen Anforderungen an ein Inferenzprojekt.

Erforderlich Optional

  • Eine klar definierte Aufgabe und ein dafür geeignetes Modell — Die Infrastruktur sagt nichts darüber aus, ob ein Modell nützliche oder zuverlässige Antworten liefert.

  • Ein- und Ausgaben, die Ihre Anwendung verarbeiten kann — Die Anwendung muss wissen, was sie senden soll und wie sie eine Antwort verwenden oder zurückweisen kann.

  • Ein Plan zum Testen von Qualität, Fehlerfällen und Datenverarbeitung — Die Bereitstellung ersetzt weder die Bewertung des Modells noch die Prüfung des Umgangs mit sensiblen Informationen.

  • Eigene Anwendungsfunktionen rund um das Modelloptional — Eine Benutzeroberfläche oder ein Geschäftsprozess kann erforderlich sein, ist aber vom Inferenz-Serving getrennt.

Für wen es gedacht ist

Baseten ist vor allem für Teams relevant, die Software entwickeln, die KI-Modelle aufruft, und weniger für Personen, die eine fertige Chat- oder Bildbearbeitungs-App suchen.

Illustration einer KI-Infrastruktur Anwendungsentwicklung

Schritt 1

Anwendungsentwickler

Ein Entwickler benötigt möglicherweise einen Backend-Dienst, der eine Anfrage aus einer Anwendung entgegennimmt, ein Modell aufruft und das Ergebnis an den Nutzer zurückgibt. Baseten übernimmt dabei den Teil, der das Modell für Anfragen bereitstellt. Die umgebende Benutzeroberfläche, Fehlermeldungen und die Entscheidung, wann das Modell aufgerufen wird, bleiben Aufgabe der Anwendungsentwicklung.

  • Anwendungscode mit der Modellinferenz verbinden
  • Festlegen, was geschieht, wenn eine Anfrage fehlschlägt
Illustration eines Workflows zur Modellbereitstellung Modellbetrieb

Schritt 2

Teams für maschinelles Lernen und Plattformteams

Diese Teams haben möglicherweise ein Modell, das sie anderen Diensten zur Verfügung stellen möchten. Baseten bietet ihnen eine Infrastruktur, die sie für die Bereitstellung und Inferenz in Betracht ziehen können. Die Verantwortung für die Auswahl des Modells, die Überprüfung seines Verhaltens und die Entscheidung, ob es die Anforderungen ihrer Organisation erfüllt, bleibt jedoch bei ihnen. Diese Aufgabenteilung ist wichtig, wenn aus einem vielversprechenden Experiment eine zuverlässige Anwendung werden soll.

  • Ein Modell für andere Dienste verfügbar machen
  • Ausgaben anhand der vorgesehenen Aufgabe bewerten

KI-Infrastruktur erkunden

Wenn Sie wissen, was Baseten leistet, können Sie die Bereitstellung eines Modells vom Modell selbst und der darauf aufbauenden Anwendung unterscheiden. Wenn Sie sich allgemein über KI-Tools informieren möchten, führt der folgende Link zu Synexa, einem separaten Dienst. Er führt nicht zu einer Bereitstellungskonsole von Baseten.

Den nächsten Schritt mit KI-Tools gehen

  • Bestimmen, welche Aufgabe Ihr Modell erfüllen soll
  • Die Funktionen des Zieldienstes prüfen, bevor Sie Daten weitergeben
KI-Tools erkunden

FAQ

Baseten stellt Infrastruktur für die Bereitstellung und den Betrieb von KI-Modellen bereit. In der Praxis hilft es Teams, ein Modell für Inferenzanfragen aus ihren Anwendungen verfügbar zu machen.

Die Bereitstellung eines Modells und die Anwendungsentwicklung sind unterschiedliche Aufgaben. Baseten stellt die Infrastruktur für den Betrieb eines Modells bereit. Das Team, das die Anwendung entwickelt, entscheidet hingegen, wie Nutzer damit interagieren und wie die Ausgaben des Modells verarbeitet werden.

Nein. Die Bereitstellung ermöglicht Inferenzanfragen, aber die Ausgaben des Modells müssen weiterhin anhand der vorgesehenen Aufgabe getestet werden. Teams müssen die Qualität, mögliche Fehlerfälle und etwaige Anforderungen an den Umgang mit Daten bewerten.

Eine Anwendung sendet eine Inferenzanfrage mit einer Eingabe, die für das bereitgestellte Modell geeignet ist. Das Modell erzeugt eine Ausgabe, die die Anwendung anschließend verarbeiten oder einem Nutzer anzeigen kann; die konkrete Eingabe und Ausgabe hängen vom Modell ab.

Prompt ausprobieren
Prompt ausprobieren