| Ausgangspunkt |
Bestimmen Sie zunächst, welches Modell Sie bereitstellen möchten und welches Verhalten Ihre Anwendung bei der Bereitstellung benötigt.
|
Ermitteln Sie zunächst, welches der verfügbaren Modelle für Ihre Anwendung akzeptable Ergebnisse liefert.
|
| Modellauswahl |
Prüfen Sie, ob das gewählte Modell, seine Gewichte und die Serving-Konfiguration für Ihre geplante Bereitstellung unterstützt werden.
|
Prüfen Sie den aktuellen Katalog gehosteter Modelle und vergewissern Sie sich, dass genau das getestete Modell und die getestete Version weiterhin geeignet sind.
|
| API-Integration |
Stimmen Sie Ihr Anfrageschema, die Verarbeitung der Antworten, die Authentifizierung und die Fehlerbehandlung auf den bereitgestellten Endpunkt ab.
|
Stimmen Sie dieselben Abläufe Ihrer Anwendung auf den Endpunkt des ausgewählten gehosteten Modells ab; gehen Sie nicht davon aus, dass die Payloads austauschbar sind.
|
| Leistungstests |
Führen Sie Benchmarks für das bereitgestellte Modell mit repräsentativen Prompt-Größen, Ausgabelängen, gleichzeitigen Anfragen und einer akzeptablen Latenz bei langsamen Anfragen durch.
|
Führen Sie Benchmarks für das ausgewählte Modell mit denselben Eingaben und demselben Traffic-Profil durch; ein anderes Modell kann sowohl die Geschwindigkeit als auch die Ausgabequalität verändern.
|
| Ausgabequalität |
Halten Sie Modell und Evaluierungsdatensatz beim Testen des Bereitstellungsverhaltens konstant, damit Änderungen an der Infrastruktur Qualitätsunterschiede nicht verdecken.
|
Wenn Sie ein anderes gehostetes Modell vergleichen, bewerten Sie dessen Antworten separat, statt Modellunterschiede der Plattform zuzuschreiben.
|
| Betrieb |
Prüfen Sie Deployment-Updates, Monitoring, den Umgang mit Fehlern und Rollback-Verfahren anhand der Produktionsprozesse Ihres Teams.
|
Prüfen Sie das verfügbare Monitoring, die Kontrollmöglichkeiten für Versionswechsel, den Umgang mit Fehlern und die Unterstützung für Ihre Produktionsprozesse.
|
| Kostenbewertung |
Schätzen Sie die Kosten anhand Ihrer tatsächlichen Arbeitslast und der aktuellen Konditionen für die benötigte Deployment-Konfiguration.
|
Schätzen Sie die Kosten für das konkrete Modell, den Anfragemix und die aktuellen Konditionen, die Sie nutzen würden. Vergleichen Sie keine unterschiedlichen Arbeitslasten.
|
| Prüfung der Datenverarbeitung |
Lesen Sie die aktuellen Dokumentationen und Vereinbarungen zur Datenverarbeitung und -speicherung sowie zu allen Kontrollmöglichkeiten, die Ihre Organisation benötigt.
|
Führen Sie dieselbe Prüfung für den ausgewählten Dienst und das ausgewählte Modell durch. Schließen Sie nicht von ähnlichen APIs auf identische Richtlinien.
|