Plattformüberblick

Was macht baseten in der Praxis für KI-Teams?

Separater Partnerdienst: /go öffnet den Katalog des Anbieters für die Inferenz mit bestehenden Modellen und den API-Zugriff, nicht für individuelle Bereitstellungen von Baseten oder einen LLM-Katalog. Melden Sie sich dort an und prüfen Sie die Preise und Verfügbarkeit der einzelnen Modelle.

Wenn Sie sich fragen, was baseten macht: Baseten bietet Infrastruktur für die Bereitstellung und den Betrieb von KI-Modellen. Die Plattform hilft Teams, ein Modell als Inferenzdienst für Anwendungen bereitzustellen, statt die gesamte Infrastruktur dafür selbst aufbauen zu müssen.

Illustration für die Landingpage von Baseten

Definition in einem Satz

Baseten ist eine KI-Infrastrukturplattform, die Modelle für Anwendungen nutzbar macht. Ihre zentrale Aufgabe ist der Betrieb von Modellen: Anfragen entgegennehmen, ein Modell ausführen und Ergebnisse zurückgeben.

4 Min. Lesezeit

So funktioniert es

Bei der Modellbereitstellung wird ein bestehendes Modell mit der Software verbunden, die seine Vorhersagen oder generierten Ausgaben benötigt. Die genaue Einrichtung hängt vom Modell und der Anwendung ab.

  1. 1

    Das Modell vorbereiten

    Ein Team wählt das Modell aus, das es betreiben möchte, und legt die Anforderungen an Eingaben und Ausgaben fest. Ein Textmodell benötigt beispielsweise ein anderes Anfrageformat als ein Bildmodell.

  2. 2

    Einen Serving-Endpunkt bereitstellen

    Das Modell wird über eine Inferenzinfrastruktur verfügbar gemacht. Diese Infrastruktur übernimmt die operativen Aufgaben: Sie nimmt Anfragen entgegen und führt das bereitgestellte Modell aus.

  3. 3

    Die Anwendung anbinden

    Der Anwendungscode sendet Eingaben an den Endpunkt und nutzt die zurückgegebenen Ausgaben. Das Team muss weiterhin die Qualität der Antworten testen, Fehler behandeln und überwachen, ob die Ergebnisse seinen Anforderungen entsprechen.

Was sie leisten kann und was nicht

Baseten kann eine Bereitstellungsschicht bereitstellen. Ein Modell bereitzustellen ist jedoch nicht dasselbe, wie es auszuwählen, zu bewerten oder zu kontrollieren. Dies sind die praktischen Anforderungen an ein Inferenzprojekt.

Erforderlich Optional
  • Eine klar definierte Aufgabe und ein dafür geeignetes Modell — Die Infrastruktur sagt nichts darüber aus, ob ein Modell nützliche oder zuverlässige Antworten liefert.

  • Eingaben und erwartete Ausgaben, die Ihre Anwendung verarbeiten kann — Die Anwendung muss wissen, was sie senden soll und wie sie eine Antwort verwendet oder zurückweist.

  • Ein Plan zum Testen der Qualität, zum Umgang mit Fehlern und zur Datenverarbeitung — Die Bereitstellung ersetzt weder die Bewertung noch die Prüfung des Umgangs mit sensiblen Informationen.

  • Individuelle Anwendungsfunktionen rund um das Modelloptional — Eine Benutzeroberfläche oder ein Geschäftsprozess kann erforderlich sein, ist aber von der Inferenzbereitstellung getrennt.

Wer es nutzt

Baseten ist vor allem für Teams relevant, die Software entwickeln, die KI-Modelle aufruft, und weniger für Menschen, die eine fertige Chat- oder Bildbearbeitungs-App suchen.

Illustration einer KI-Infrastruktur Anwendungsentwicklung

Schritt 1

Anwendungsentwickler

Ein Entwickler benötigt möglicherweise einen Backend-Dienst, der eine Anfrage aus einer Anwendung entgegennimmt, ein Modell aufruft und das Ergebnis an den Nutzer zurückgibt. Baseten übernimmt dabei die Bereitstellung des Modells. Die umgebende Benutzeroberfläche, Fehlermeldungen und die Entscheidung, wann das Modell aufgerufen wird, bleiben Aufgaben der Anwendungsentwicklung.

  • Anwendungscode mit der Modellinferenz verbinden
  • Festlegen, was bei einem Fehlschlag der Anfrage geschieht
Illustration eines Workflows zur Modellbereitstellung Modellbetrieb

Schritt 2

Machine-Learning- und Plattformteams

Diese Teams haben möglicherweise ein Modell, das sie anderen Diensten zur Verfügung stellen möchten. Baseten bietet ihnen eine Infrastruktur für die Bereitstellung und Inferenz. Die Verantwortung für die Auswahl des Modells, die Überprüfung seines Verhaltens und die Entscheidung, ob es die Anforderungen ihrer Organisation erfüllt, bleibt jedoch bei ihnen. Diese Aufgabenteilung ist wichtig, wenn aus einem vielversprechenden Experiment eine zuverlässige Anwendung werden soll.

  • Ein Modell für andere Dienste verfügbar machen
  • Ergebnisse anhand der vorgesehenen Aufgabe bewerten

KI-Infrastruktur erkunden

Wenn Sie wissen, was Baseten leistet, können Sie die Modellbereitstellung vom Modell und der darauf aufbauenden Anwendung unterscheiden. Wenn Sie sich allgemein über KI-Tools informieren möchten, führt der folgende Link zum Anbieter, einem separaten Dienst. Es handelt sich nicht um eine Bereitstellungskonsole von Baseten.

Den nächsten Schritt mit KI-Tools machen

  • Die Aufgabe bestimmen, die Ihr Modell erfüllen soll
  • Die Funktionen des Zieldienstes prüfen, bevor Sie Daten weitergeben
Modellkatalog des Anbieters ansehen

FAQ

Baseten bietet Infrastruktur für die Bereitstellung und den Betrieb von KI-Modellen. Konkret hilft es Teams, ein Modell für Inferenzanfragen aus ihren Anwendungen verfügbar zu machen.

Modellbereitstellung und Anwendungsentwicklung sind unterschiedliche Aufgaben. Baseten stellt die Infrastruktur für den Betrieb eines Modells bereit. Das Team, das die Anwendung entwickelt, entscheidet hingegen, wie Nutzer mit ihr interagieren und wie die Modellausgaben verarbeitet werden.

Nein. Die Bereitstellung ermöglicht Inferenz, aber die Ausgabe des Modells muss dennoch anhand der vorgesehenen Aufgabe getestet werden. Teams müssen die Qualität, Fehlerfälle und alle Anforderungen an den Umgang mit Daten bewerten.

Eine Anwendung sendet eine Inferenzanfrage mit Eingaben, die für das bereitgestellte Modell geeignet sind. Das Modell erzeugt eine Ausgabe, die die Anwendung anschließend verarbeiten oder einem Nutzer anzeigen kann. Die konkreten Ein- und Ausgaben hängen vom Modell ab.

Dokumentation
Dokumentation