Tutorial zur Inferenz

Ein Leitfaden für Entwickler zur Nutzung von baseten inference

Separater Partnerdienst: /go öffnet den Katalog der KI-Inferenz-API für die Inferenz mit bestehenden Modellen und den API-Zugriff, nicht für benutzerdefinierte Bereitstellungen von Baseten oder einen LLM-Katalog. Melden Sie sich dort an und prüfen Sie die Preise und Verfügbarkeit für das jeweilige Modell.

Wenn Sie lernen möchten, wie Sie baseten inference nutzen, beginnen Sie mit einem Modell, auf das Sie zugreifen können, und einer kleinen Testeingabe. Dieser Leitfaden begleitet die Anfrage von der Vorbereitung bis zur Prüfung der Antwort, ohne ein bestimmtes Eingabeformat vorauszusetzen.

Abstrakte Darstellung eines Workflows für Modellinferenz

Nummerierte Schritte

Folgen Sie dieser Abfolge mit einem Modell und einer repräsentativen Eingabe, bevor Sie die Inferenz in eine größere Anwendung einbinden.

  1. 1

    Modell auswählen

    Bestimmen Sie das Modell, das Sie aufrufen möchten, und lesen Sie die aktuellen Anweisungen zu seinen Ein- und Ausgaben. Text-, Bild- und Embedding-Modelle können unterschiedliche Anfragefelder erwarten.

  2. 2

    Kleinen Test senden

    Verwenden Sie die für dieses Modell angegebene Zugriffsmethode, übermitteln Sie eine minimale gültige Nutzlast und speichern Sie Zugangsdaten weder in Quelldateien noch in Code, der im Browser einsehbar ist.

  3. 3

    Ergebnis prüfen

    Prüfen Sie, ob die Anfrage erfolgreich war, und sehen Sie sich dann die zurückgegebenen Daten an, bevor Sie Code schreiben, der eine bestimmte Antwortstruktur voraussetzt.

nummerierte Schritte

Prüfen Sie diese Anforderungen vor Ihrer ersten Inferenzanfrage an Baseten; die modellspezifische Dokumentation hat Vorrang vor einem allgemeinen Beispiel.

Erforderlich Optional
  • Ermitteln Sie ein zugängliches Modell und dessen aktuelle Anweisungen für die Inferenz. — Notieren Sie die Modellkennung oder den Endpunkt genau so, wie für das gewählte Modell angegeben.

  • Bereiten Sie die Authentifizierungsmethode vor, die der von Ihnen aufgerufene Dienst verlangt. — Speichern Sie Geheimnisse außerhalb von eingechecktem Code und clientseitigen Anwendungen.

  • Erstellen Sie eine Eingabe, die dem dokumentierten Schema des Modells entspricht. — Verwenden Sie ein kleines, repräsentatives Beispiel statt eines vollständigen Batches.

  • Wählen Sie ein Tool, das eine Anfrage senden und die vollständige Antwort anzeigen kann. — Ein API-Client oder ein kurzes serverseitiges Skript kann Ihnen helfen, den Status und die zurückgegebenen Felder zu prüfen.

  • Bereiten Sie eine zweite Eingabe zum Vergleich vor, sobald die erste Anfrage funktioniert.optional — Ein gegensätzliches Beispiel kann Annahmen in Ihrem Code zur Verarbeitung der Antwort aufdecken.

nummerierte Schritte

Die erste erfolgreiche Anfrage sollte bestätigen, dass Ihr Modell, Ihre Eingabe und Ihr Code zur Verarbeitung der Antwort zusammenpassen – nicht bloß, dass eine Verbindung besteht.

1

Anfrageformat prüfen

Öffnen Sie die Anleitung für das ausgewählte Modell. Prüfen Sie, wo die Eingabe hingehört, welche Felder erforderlich sind und welche Art von Ausgabe zu erwarten ist. Übernehmen Sie nicht einfach die Nutzdaten eines anderen Modells, nur weil es ebenfalls auf Baseten läuft: Ein identischer Übertragungsweg bedeutet nicht, dass die Modelle dieselben Eingaben erwarten. Halten Sie lokal kurz fest, welches Modell und welche Nutzdaten Sie getestet haben, damit sich spätere Änderungen leichter nachvollziehen lassen.

2

Einen kontrollierten Aufruf durchführen

Senden Sie über die für das Modell unterstützte Schnittstelle eine minimale, gültige Eingabe. Halten Sie den ersten Inferenztest mit Baseten bewusst klein: eine kurze Textprobe für eine Textaufgabe oder eine entsprechend vorbereitete Datei für ein Modell, das andere Medien akzeptiert. Erfassen Sie den Status der Anfrage und etwaige Fehlermeldungen, ohne geheime Zugangsdaten zu protokollieren. Falls der Aufruf fehlschlägt, ändern Sie jeweils nur eine Variable, statt die gesamte Integration neu zu schreiben.

3

Ausgabe vor der Verwendung prüfen

Prüfen Sie die gesamte zurückgegebene Struktur, nicht nur das Feld, das Sie zu erhalten hofften. Kontrollieren Sie, ob die Ausgabe zu Ihrer Eingabe passt und ob Ihre Anwendung leere oder unerwartete Ergebnisse sicher verarbeiten kann. Erst danach sollten Sie die Antwort Ihren eigenen Datentypen oder Ihrer Benutzeroberfläche zuordnen. Wiederholen Sie den Test mit einer zweiten Eingabe, um fest codierte Annahmen aufzudecken.

Häufige Fehler und Lösungen

Ein allgemeiner Leitfaden kann nicht jedes Modell diagnostizieren, aber mit diesen Prüfungen lassen sich die häufigsten Ursachen für Inferenzfehler eingrenzen.

1

Zugriff wird verweigert

Eine Anfrage kann nicht erfolgreich sein, wenn die Zugangsdaten, die Modellreferenz oder die Zugriffsberechtigungen falsch sind. Gehen Sie nicht davon aus, dass ein Fehler bedeutet, dass das Modell selbst nicht verfügbar ist.

Was Sie stattdessen tun sollten

Gleichen Sie die konfigurierte Zugriffsmethode und die Modellreferenz mit den aktuellen Anweisungen ab. Ersetzen Sie ein offengelegtes Geheimnis, statt es erneut zu verwenden.

2

Die Eingabe ist ungültig

Baseten kann ein Modell nicht dazu bringen, Felder oder Medien zu interpretieren, die nicht dem dokumentierten Schema dieses Modells entsprechen. Auch eine gültige Netzwerkanfrage kann unbrauchbare Nutzdaten enthalten.

Was Sie stattdessen tun sollten

Reduzieren Sie die Nutzdaten auf ein dokumentiertes Beispiel, überprüfen Sie Feldnamen und Datentypen und fügen Sie anschließend Ihre eigene Eingabe Stück für Stück wieder hinzu.

3

Die Antwort weicht von Ihrer Annahme ab

Verschiedene Modelle können unterschiedliche Strukturen zurückgeben, und ein erfolgreicher Aufruf garantiert nicht, dass das von Ihrem Code erwartete Feld vorhanden ist.

Was Sie stattdessen tun sollten

Prüfen Sie die vollständige Antwort, kontrollieren Sie Pflichtfelder, bevor Sie sie auslesen, und behandeln Sie fehlende oder unerwartete Werte ausdrücklich.

4

Ein langsamer oder fehlgeschlagener Aufruf ist schwer zu erklären

Dieses Tutorial kann weder eine Latenzgarantie geben noch die Ursache jedes Timeouts allein auf Clientseite ermitteln.

Was Sie stattdessen tun sollten

Erfassen Sie die Anfragedauer und nicht sensible Fehlerdetails, testen Sie eine kleinere Eingabe und lesen Sie die aktuellen Betriebshinweise für das Modell.

Tipps für Fortgeschrittene

Sobald ein einzelner Baseten-Inferenzaufruf funktioniert, passen Sie denselben verifizierten Vertrag an die Umgebung an, in der Sie ihn verwenden werden.

Anwendungsentwickler

Schaffen Sie eine stabile Schnittstelle für Modellaufrufe

Bündeln Sie die modellspezifische Erstellung von Anfragen in einem einzigen serverseitigen Modul. Validieren Sie eingehende Anwendungsdaten, bevor Sie sie in die Modellnutzlast umwandeln, und geben Sie bei fehlgeschlagener Inferenz einen vorhersehbaren Fehler auf Anwendungsebene zurück. So können Sie ein Modell oder die Zuordnung seiner Anfragedaten ändern, ohne Annahmen über die gesamte Codebasis zu verstreuen.

  • Bewahren Sie Zugangsdaten in einer geschützten serverseitigen Konfiguration auf.
  • Validieren Sie sowohl ausgehende Eingaben als auch eingehende Ausgaben.
  • Testen Sie neben erfolgreichen Antworten auch die Fehlerbehandlung.

Modellevaluatoren

Vergleichen Sie Ausgaben anhand einheitlicher Eingaben

Erstellen Sie eine kleine Auswahl repräsentativer Testfälle, darunter auch eine schwierige Eingabe oder einen Grenzfall. Halten Sie fest, welches Modell und welche Anfragekonfiguration das jeweilige Ergebnis erzeugt haben. Vergleichen Sie bei der Bewertung des Inferenzverhaltens von Baseten die Ausgaben mit Ihren Aufgabenkriterien, statt einen erfolgreichen Antwortstatus als Qualitätsmaß zu betrachten.

  • Verwenden Sie wiederholbare Testfälle.
  • Trennen Sie die Bewertungskriterien von den Prüfungen der Datenübertragung.
  • Prüfen Sie unerwartete Ausgaben, bevor Sie Entscheidungen automatisieren.

Betriebsteams

Machen Sie Fehler erkennbar, ohne Daten offenzulegen

Legen Sie fest, welche nicht sensiblen Anfragedetails für die Fehlersuche nützlich sind, und vermeiden Sie es, Zugangsdaten oder private Eingaben in regulären Protokollen zu speichern. Erfassen Sie Fehlerkategorien und Antwortzeiten im Kontext Ihrer eigenen Anwendung. Überprüfen Sie die Integration erneut, wenn Sie das Modell, die Nutzlast oder die anwendungsseitigen Timeout-Einstellungen ändern.

  • Unterscheiden Sie Zugriffsfehler von Fehlern durch ungültige Eingaben.
  • Protokollieren Sie keine Zugangsdaten oder sensiblen Nutzdaten.
  • Testen Sie nach Konfigurationsänderungen erneut.

Tipps für Fortgeschrittene

Gehen Sie mit einer verifizierten Anfrage vor: Wählen Sie ein Modell aus, befolgen Sie dessen aktuelle Anweisungen, testen Sie eine kleine Eingabe und prüfen Sie das Ergebnis, bevor Sie es in eine Anwendung integrieren. Für das Ziel können eigene Zugriffsanforderungen und modellspezifische Hinweise gelten.

Machen Sie den nächsten Schritt mit Modellinferenz

  • Beginnen Sie mit den modellspezifischen Anforderungen an die Anfrage.
  • Testen Sie die Verarbeitung der Ausgabe, bevor Sie die Nutzung skalieren.
  • Schützen Sie Zugangsdaten und sensible Eingaben.
Modellkatalog der KI-Inferenz-API ansehen

Tutorial-FAQ

Wählen Sie ein Modell aus, auf das Sie Zugriff haben, und lesen Sie dessen aktuelle Inferenzanweisungen. Bereiten Sie eine minimale Eingabe vor, die dem Schema entspricht, senden Sie über die unterstützte Schnittstelle eine Anfrage und prüfen Sie die vollständige Antwort, bevor Sie die Anwendungslogik anbinden.

Prüfen Sie die Modellreferenz, die erforderliche Zugriffsmethode und das dokumentierte Eingabeformat. Hinterlegen Sie Zugangsdaten nicht im clientseitigen Code und verwenden Sie ein Tool zum Senden von Anfragen, mit dem Sie sowohl Fehler als auch erfolgreiche Ausgaben prüfen können.

Unterscheiden Sie zunächst, ob ein Zugriffsproblem, ungültige Nutzdaten oder ein Problem bei der Verarbeitung der Antwort vorliegt. Vergleichen Sie die Modellreferenz und die Eingabefelder mit den aktuellen Anweisungen und versuchen Sie es dann erneut mit der kleinstmöglichen dokumentierten Eingabe.

Prüfen Sie zuerst die Antwort auf eine erfolgreiche Testanfrage und ermitteln Sie, welche Felder Ihre Anwendung tatsächlich benötigt. Validieren Sie diese Felder vor der Verwendung, behandeln Sie fehlende oder unerwartete Werte und bündeln Sie die modellspezifische Auswertung an einer Stelle, damit sie aktualisiert werden kann.

Dokumentation
Dokumentation